English version is here.

実時間全焦点顕微鏡システム

 近年,マイクロマシン環境における作業として,顕微鏡画像を覗きながらの細胞やDNA操作が求められている. また、LSI製品検査では、ワイヤーボンディングされたチップ表面とボンディング面を同時に観測・検査したいという要望が高い。しかしながら顕微鏡画像の様に被写体深度が浅い光学系では, ある奥行きの物体に焦点を合わせると、異なる奥行きにある物体に焦点が合わないことから、異なる焦点距離で何枚かの画像を取り、画像処理を使って製品検査しているという例が多く見受けられる.
 そこで我々は、焦点距離を高速に動かし、異なる焦点距離での複数枚の画像を高速撮像、さらに高速画像処理することにより、実時間で視野全部にいつもピントが合っている(全焦点画像)と、同時に物体の奥行きデータを獲得する実時間全焦点顕微鏡カメラの試作を行っている。観察者は顕微鏡画像の替わりにコンピュータ内で三次元データと全焦点画像を再構成したVR表示を見ながらオペレーションすることが可能となり、物体を見たい視点位置から自由に観測することが出来る。産総研では実時間全焦点顕微鏡システムを構築した。

製品版: "FOCUSCOPE"  から発売 


IC chip inspection:                     Bio medical field application:

試作システム(二号機) 共同研究:

 可変焦点機構は、応答速度が仕様を満たす事から、試作一号機と同様の可変焦点レンズを用いる。高速画像撮像機構としては、近年、高速度観測用に用いられている高速ビデオカメラを用いる。画像処理部分は大容量のメモリーが必要になり、大規模な並列演算回路が一昔前は必要であったが、最近は高速、大容量のFPGA(Field Programmable Gate Array)が出現しており、それほどの大規模の回路構成は必要がなくなっている。
試作二号機の概観を図に示す。高速センサ−の出力はCDS(Correlated Double Sampling)、ADCを経て高速デジタルインタ−フェ−スのLVDS(Low Voltage Differential Signaling)に変換され画像処理部分に転送される。ここまでが高速度カメラ部分である。LVDSはハイレ−トの映像信号を送る場合の標準インタフェ−スで主にデジタルの液晶ディスプレイに使われている規格である。同時に可変焦点レンズ用のノコギリ波発生回路は高速度カメラ部分のクロックジェネレ−タから同期信号を得て、30Hzのノコギリ波を発生させ、レンズ駆動アンプでレンズを駆動する。画像処理部では入力デジタル映像信号でIQM演算、画像合成を行い、VGA信号として出力する。3次元デ−タはLVDS信号でPCに転送する。PCではPCIバスのLVDSキャプチャーボ−ドでデ−タを受ける。
 動画には、試作二号機による出力画像例を示す。

図: 試作二号機

動画: 試作二号機でのデモ

試作システム(1号機) 共同研究:

高速可変焦点機構としては、株式会社デンソ−で開発された可変焦点レンズを用いた。駆動はピエゾ素子で、ピエゾ素子にかける電圧を変えると焦点距離が変わる。構造はシンプルでモ−タ類は一切ない。構造はバイモルフアクチュエータでガラスダイアフラムを駆動させ、焦点距離を変える。このレンズはPZTバイモルフに印加する電圧を変える事により、凸レンズから凹レンズに変化する事も可能である。150Hz程度まで位相が遅れずにこの周波数に応答する事が検証されている。このレンズは電圧を加えない場合は平板のガラスである。この可変焦点レンズの最大の特徴はその高速性である。ピエゾ素子によりガラスダイヤフを直接駆動させるので高速な焦点距離の移動が可能になったのである。
高速度撮像機構と高速度画像処理演算回路については、本特集のビジョンチップを用いた。ここでは単位時間あたりの画像データ量と画像処理能力の多さから、コラムパラレル型のビジョンチップである、スウェーデンのIVP社のMAPP2200を用いた。ビジョンチップハードウェアの詳細な内容は、本特集のデルフトハイテックからの記事を見ていただきたいが、基本構成としては、256x256画素のCMOSイメージセンサと、256個のADC、256個のパラレルプロセッサからなる。
評価実験として、可変焦点レンズから160mmの場所に35mmの奥行きを持つ物体を置き、21枚の画像を取り込み処理している事から、奥行き解像度は1.67mmである。システムの空間解像度は, 光学機器の設定に依存するが、今回の場合、16mm×16mm平方を画像解像度256×256で処理する事から, 62.5μm / pixel の解像度を持つ。この時、焦点距離を動かしながら取られた21枚の画像の一部を図に示す。前述のような処理を施す事により、全焦点画像とVR表示がそれぞれ得られた。全焦点画像自体は適当であるものの、奥行き画像は、平滑化する領域が小さい事、奥行き方向の解像度が少ない事などから、大きな分散結果が得られた。

図: システム概観

図: 全焦点画像の概念図

参考文献