初めまして!2019年8月中旬からエムスリー エンジニアリングG AIチームで10日間インターンに参加した三澤です。インターンでは「CycleGANを用いてモダリティ(CT, MRI, PETなどの画像撮影装置)の違う画像の変換に関する手法」に関する論文について、Surveyと実装をしました。CycleGANというのは「夏の風景画と冬の風景画」や「写真と絵画」などといった画像のスタイルを変換するDeep Laerningの手法です。医療画像診断においては、「MRI画像とCT画像」といった、モダリティの異なる画像の変換にCycleGANが使えるのではないかと研究されています。
本記事では、CycleGANに応用ができるMINDと呼ばれる特徴量(正確には記述子)が非常に興味深かったので、紹介して実装していこうと思います。
MINDの登場とCycleGAN
2012年に、医療用画像の複数のモダリティ間の画像のレジストレーション(位置合わせ)という文脈でMIND(Modality Independent Neighborhood Descriptor) ^1が提案されました。これは組織などに依らず画像の構造を抽出しようというものです。
このMINDがCycleGANにも使えるという話が最近報告されています。医療画像におけるCycleGANでは、例えばMRI画像とCT画像を変換しようとしたとき、教師データが「同じ人の同じ部位のMRI画像とCT画像である」(=ペアである)と良いのですが、
そのようなデータを大量に用意するのは工数もかかり大変な作業です。また教師データがペアでは無い場合、同じ輪郭を持った画像が生成されるとは限らないという点が課題でした。
今回注目する論文^2は、ペアではない医療画像のモダリティの変換において、「CycleGANにMINDという特徴量に基づく損失(Loss)を加える」と教師データがペアである場合にヒケを取らない結果が出た、と主張するものです。
ここで、もし構造を抽出するMINDが機能すれば、教師データをペアになるようにデータを集めたりレジストレーションしたりする工程が省かれるということが考えられます。加えてCycleGANでモダリティの変換ができれば画像診断におけるデータ拡張でも今後使えますし、またMINDそれ自身を特徴量として用いることができます。
今回はMINDの計算方法が結構複雑なのでそれを解説した後、Keras(Python)で実装をしていこうと思います。
続きを読む