少量の不均衡データに対する異常検出を用いたディープラーニングの診断精度向上の検討 : MRIを用いた耳下腺腫瘍の良悪性鑑別

概要

Kobe University Repository : Kernel
PDF issue: 2024-05-02

Diagnostic accuracy of deep-learning with
anomaly detection for a small amount of
imbalanced data: discriminating malignant
parotid tumors in MRI

松尾, 秀俊
(Degree)
博士（医学）

(Date of Degree)
2023-03-25

(Resource Type)
doctoral thesis

(Report Number)
甲第8607号

(URL)
https://hdl.handle.net/20.500.14094/0100482355
※ 当コンテンツは神戸大学の学術成果です。無断複製・不正使用等を禁じます。著作権法で認められている範囲内で、適切にご利用ください。

（課程博士関係）

学位論文の内容要旨

Diagnostic accuracy of deep-learning with anomaly detection for
a small amount of imbalanced data: discriminating malignant
parotid tumors in MRI

少量の不均衡データに対する異常検出を用いたディープラーニングの診断精度向上の
検討 : MRI を用いた耳下腺腫瘍の良悪性鑑別

松尾 秀俊,

西尾 瑞穂, 神田 知紀, ⼩路⽥ 泰之,
手島 直則, 大月 直樹,

河野 淳,

丹生健一, 村上 卓道

神戸大学大学院医学研究科医科学専攻
放射線医学分野
(指導教員： 村上 卓道 教授)

松尾 秀俊

堀 雅敏,

【目的】
耳下腺腫瘍の大部分は良性であるが、その一部は悪性であることが知られている。し
かし、悪性耳下腺腫瘍は多数の組織型を有することが知られており、画像から高精度に
悪性腫瘍の診断を行うことは困難である。そのため吸引細胞診が広く行われているが、
その精度は必ずしも高くなく、播種のリスクもあることから画像診断の改善が望まれて
きた。近年、人工知能の発展は著しく、一部の医療分野では専門家を凌ぐ性能を示して
いる。そのシステムの多くはディープラーニング(深層学習)を使ったモデルであり、大
量のデータを使用して構築される。一般に少数で不均衡なデータを使用して高精度な深
層学習モデルを構築することは困難であることが知られている。しかし医療画像データ
は個人情報保護の問題や解答作成（ラベリングなど）にコストがかかることから大量の
データを集めることは困難である。こうした理由により耳下腺腫瘍のような比較的少数
で偏りが強い腫瘍の良悪性鑑別を行う深層学習モデルを構築する際には大きな問題で
あった。
本研究では深層学習モデルを用いた特徴抽出に加え、不均衡なデータセットに対して
よく用いられる異常検出を組み合わせることで、この問題の解決を試みた。加えて少数
のデータを元に学習した深層学習モデルで問題となる頑健性を確保するために、非医用
画像を加えるという工夫も行った。本研究の目的は異常検知を用いた深層学習モデルに
より耳下腺腫瘍の MRI を元に良性/悪性の判別を高精度に行うことである。
本研究では不均衡かつ小規模なデータセットを用いて深層学習と異常検知の組み合
わせによる性能を検討した。実際の例として耳下腺腫瘍の MRI による良悪性判別を用
いている。良好な性能を示すために特徴量の抽出を行う深層学習モデルの使用に異常検
知の手法を加え、非医療用の画像を追加した。
【方法】
2010 年 4 月から 2019 年 3 月までに当院で画像診断および病理組織が確認された 245
症例の耳下腺腫瘍 MRI から T1 強調画像(T1WI)、T2 強調画像(T2WI)を収集した。190
例(77.6%)が良性、55 例(22.4%)が悪性に分類された。各症例について T1WI、T2WI の
画像から放射線科医により腫瘍の最大水平断面が選択され、T1WI グレースケール画像
と T2WI グレースケール画像を擬似カラー画像に合成して、スケールを調整した後に
入力画像として用いた。これらの画像の 60%を訓練データセット、20%を検証データセ
ット、20%をテストデータセットに分割して用いた。これらの分割に於いては良性と悪
性の画像が同じ割合になる様に分割した。
本研究では 2 段階からなるモデルを用いた。第一段階では深層学習を用いた分類モデ
ルを使用し、第二段階で異常検知の外れ値検出の手法を使用した。第一段階の深層学習
モデルは VGG16 を元にした深層学習モデルを用いて学習を行った。その最終出力層直
前の特徴量を第二段階の局所外れ値検出(Local outlier factor(LOF))に入力し、良性の
特徴量を正常、悪性の特徴量を外れ値となるように分類させた。

全ての学習は GPU(Graphics Processing Unit)を搭載しないノート PC (CPU: Core
i5 5257U, RAM 8GB) 上 で 行 っ た 。 プ ロ グ ラ ミ ン グ 言 語 に は Python (3.6.8)
(http://www.python.org) 、 深 層 学 習 フ レ ー ム ワ ー ク に は Keras 2.1.6
(https://github.com/fchollet/keras)と TensorFlow 1.13.2 (http://tensorflow.org/)を使用
した。
頑健性を保つための工夫として、非医療画像を追加の画像として加えた。具体的には
CUReT と呼ばれる線維の画像を良性・悪性でない第 3 のグループとして加えて、学習
を行った。
これらと性能を比較するために第一段階の深層学習のモデルを変更したもの
(MobileNet, ResNet50)、少数で不均衡なデータセットにより向いている損失関数に変
更したもの(L2-Constraint Softmax Loss)、第二段階の異常検知の手法を変更したもの
(LOF)、サポートベクターマシン(OCSVM)、CUReT データセット追加の有無、異常検
知によく用いられる畳み込み変分オートエンコーダー(CVAE)についてテストデータセ
ットに対する判別能を ROC-AUC や Precision-Recall(PR-AUC)を評価して比較した。
その性能比較のために放射線科医により画像の悪性度を 1–5 点（1 点；良性と診断–5
点：悪性と診断）で評価し、比較対照した。
【結果】
第一段階に VGG16 由来の深層学習モデルを使用し LOF、CUReT を用いたモデルは
ROC-AUC 0.86, PR-AUC 0.77 と最も高い精度を示した。それに対して放射線科医は
ROC-AUC 0.74, PR-AUC 0.70、CVAE は ROC-AUC 0.68, PR-AUC 0.64 であった。
第一段階に用いられる深層学習モデルを変更すると MobileNet の場合 ROC-AUC 0.79,
PR-AUC 0.63、ResNet50 の場合 ROC-AUC 0.75, PR-AUC 0.47 といずれも VGG16 に
は及ばなかった。
【結論】
VGG16 を元に CUReT データセット、L2-Constraint Softmax Loss、LOF の組み合
わせは、すべての深層学習モデルの中で最も高い診断性能を示す結果となった。放射線
科医は CVAE よりも良い結果を得たが、L2-Constraint Softmax Loss と LOF を用い
た VGG16 ベースのモデルよりも悪い結果となった。
【議論】
対象を 2 つのグループに分割する際には 2 カテゴリー分類がしばしば用いられてき
た。しかし、データセットが小規模の場合に深層学習を用いて 2 カテゴリー分類を行う
と、過学習を容易に起こすことが知られている。本研究では小規模の学習データにおい
ても第三のカテゴリーとして CUReT データセットを加えて異常検知の手法を組み合
わせることで大幅な性能向上が可能であることを示した。これは CUReT データセット
の追加により一般的な視覚パターンの抽出が容易になり、画像数の少なさによる過学習

が軽減されたためと考えられる。
本研究では、小規模かつ不均衡なデータセットの特徴抽出において、一般的にカテゴ
リー分類に用いられる Categorical Softmax Loss よりも優れていることが実証された
L2-Constraint Softmax Loss を用いた。この損失関数を用いて DCNN 分類モデルを学
習させたところ，多様性が低く，数が多い良性腫瘍の特徴記述子は特徴空間において密
であり，多様性が高く，数が少ない悪性腫瘍の特徴記述子は疎で良性腫瘍とはかけ離れ
ていることが確認された．このような特徴記述子の特徴から、局所密度や距離に基づく
LOF や異常検知の利用が有効であることが示唆された。このように異常検知の手法と
深層学習を組み合わせることでより精度を向上させることができる可能性が示された。
本研究では、深層学習モデルの学習に一般的に採用されている GPU を使用せず、一
般的なアプリケーションで採用されている CPU を使用して学習と評価を行った。その
結果、提案モデルの診断精度は少なくとも放射線科医と同等であることが実証された。
深層学習モデルのうち，VGG16 は MobileNet や ResNet50 よりも概ね良好な性能
を示した．これは、修正可能なパラメータ数（VGG16, 138,357,544, MobileNet,
4,253,864, ResNet50, 25,636,712） や ImageNet ベースの評価（トップ 1 精度
VGG16, 0.713, MobileNet, 0.665, ResNet50, 0.759） と矛盾している。一方、VGG-16
の性能が優れているのは、VGG-16 のアーキテクチャ深度が本研究のデータセットか
ら学習するのに最適であることに起因している。低解像度やアンバランスなデータセッ
トを特徴とする医用画像に最適な深層学習モデルは、今後の研究で検討されるべきであ
る。
超音波による良悪性の判別は、パルスドップラやカラードップラ超音波検査でも精度
が低いことが報告されている（感度 72％、特異度 88％）
。また、非造影 MRI では、悪
性度と MRI の特徴との間に明確な相関は認められないと報告がある。さらに、ダイナ
ミック MRI と見かけの拡散係数を用いることで、良性・悪性の判別の精度が向上した
（感度 86％、特異度 92％）という報告も見られる。我々の結果は、感度 75％、特異度
82％とそれらと比較して低い診断値であった。診断精度は、研究対象疾患の検査前確率
に影響されるため、異なる研究間で値そのものだけを比較することは合理的ではない。
この問題を解決するため、本研究では、画像解釈実験により放射線科医の診断精度を評
価し、提案する深層学習モデルの診断精度よりも低いことを実証した。
一般に、診断性能の高い深層学習モデルの構築には、大量の画像データが必要である。
少数のデータセットや不均衡なデータセットを用いると、頑健で信頼性の高い深層学習
モデルの構築は困難と考えられる。本研究の結果、提案手法により、画像数が少ない場
合にも深層学習モデルの構築が可能であることが実証された。医療分野では、希少疾患
のように均衡かつ大規模なデータを収集することが困難な場合が多いため、提案手法に
より、診断性能が高く、頑健な深層学習モデルの構築が促進されることが期待される。

神 戸 大 学 大 学 院 医 学（
系）
研究科（博士課程）

論 文審 査 の 結 果 の 要 旨

論文題目

甲第

3272 号

氏

名

受付番号

松尾秀俊

D
i
a
g
n
o
s
t
i
ca
c
c
u
r
a
c
yo
fd
e
e
p
・l
earn
i
ngwithanomalyd
e
t
e
c
t
i
o
nf
o
ra
s
mal
lamounto
fimbal
anc
edda
t
a:
d
i
s
c
r
i
m
i
n
a
t
i
n
gmal
i
gnan
t
par
o
t
i
dt
umorsi
nMRI

T
i
t
l
eo
f
少 量 の 不 均 衡 デ ー タ に 対 す る 異 常 検 出を用いた デ ィ ー プ ラ ー ニ ン グ
Di
s
s
e
r
t
a
t
i
o
n
MRIを用 いた 耳 下 腺 腫 瘍 の 良 悪 性 鑑 別
の診断精度向上の検討 ：

ヽ

主
審査委員

Exami
n
er

玉
ヽ査

Ch
i
e
fExaminer
副＂
、
査
"
,
:

.

V1
i
c
e・
exam1n
e
r
副 査

V1
i
c
e・
exam1n
er

栂 J
F弓
枠
：
：
：

m［

＼
見
ぃ芦
∼
シ

（要旨は 1, 000字 ∼ 2
, 000字程度）

【目的 】
耳下腺腫瘍の大部分は良性であるが、その一部は悪性であることが知られて いる 。 しかし 、悪性
耳下腺腫瘍は多数の組織型を有することが知られており 、画像から高精度に悪性腫瘍の診断を行う
ことは困難である 。そのため吸引 細胞 診が広く行われているが 、その精度は必ずしも高くなく、播
種のリスクもあることから画像診断の改善が望まれてきた。近年深層学習など人工知能の発展は著
しく、 一部の医療分野では専門家を凌ぐ性能を示している 。そのシステムの多くは大砿のデータ を
使用して構築された深阿学習モデルであり、 一般に小規模や不均衡なデータを使用して高精度な深
居学習モデルを作成することは困難であることが知られている 。 しかし医療画像データは個人情報
保護や解答作成にコストがかかることから大砿のデー タを集めることは困難で ある 。そのため耳下
腺腫瘍のような比較的少数で偏りが強い腫瘍の良悪性鑑別を行う深思学習モデルの作成は困難と
されてきた。
本研究では不均衡かつ小規模なデー タセットとなる耳下腺腫瘍の MRIによる良悪性判別を用い
て深膀学習と非医用画像の追加
、 異常検知の手法の組み合わせによる性能向上を 検討し た。

【
方法 】
2010年 4月から 2019年 3月までに当院で画像診断および病理組織が確認された 245症例の耳
90例 (
77.
6%
）
が良性 、55例 (
22.4%
）
が悪性に分類
下腺腫瘍の TlWI、T2WIの MRIを収集した。 1
された。 各症例につ いて TlWI、T2WIの画像が放射線科 医により腫瘍の最大水平断面が切り出さ
れ
、 TlWIグレースケール画像と T2WIグレースケール画像を擬似カラ ー画像に合成して 、スケー
ルを調整した後に人力画像として用いた。これ らの画像の 60％を訓練データセット 、20
％を検証デ
％をテストデータセットに分割して用いた。 これらの分割においては良性と悪性の
ータセット、 20
画像が同じ割合になる様に分割を行った。
本研究では 2段階からなるモデルを用 いた。第 一段階では深恩学習を 用 いた分類モデルを使用し 、
第二段階で異常検知の外れ値検出の手法を使用した。第一段階の深層学習モデルは VGG16を元 に
した深庖 学 習 モ デ ル を 用 い て 学 習 を 行 っ た 。 学 習 時 の l
o
s
sを異常検知により向いている

L
2
-Constrai
n
tS
o
f
t
maxLos
s(
L
2l
os
s
)に変更し、その最終出力屈直前の特徴砿を第二段階の局所外
L
o
c
a
lou
t
l
i
e
rf
a
c
t
o
r
(
L
O
F
)
）
に人））し、良性の特徴砧 を正常 、悪性の特徴凪を外れ値となる
れ値検出 (
ように分類させた。
頑健性を保ち、パターンの学習を容易にするために非 医療画像を追加の画像として加えた。具体
的には CUR
e
T と呼ばれる線維を元にした人］：画像を良性 ・悪性でな い第 3のグループとして加え
て、学習を行 った。
これ ら と 性 能 を 比 較 す る た め に 第 一 段 階 の 深 暦 学 習 の モ デ ル を 変 更 し た も の (Mo
b
i
l
eNet,

Re
s
Ne
t
5
0
)、l
o
s
sを一般的な深恩学習の他クラス分類で使用されるものに変更したもの、第 二段階
の異常検知の手法を変更したもの (
LOF、サホ ー トベク ターマシン (
OCSVM)、使用無し）、 CUReT
データセット追加の有無、異常検知によく用い られる性み込み変分オー トエンコーダー (CVAE)、

ec
i
s
i
o
nRe
cal
l(PR-AUC
)を評価し
についてテストデー タセットに対する判別能を ROC-AUCや Pr
5点で評価を行った。
て比較した。 その性能比較のために放射線科 医が画像の悪性度を 1

【
結果】
第 一段階に VGG1
6由来の深層学習モデルを使用し、人工画像 (CUReT)の追加、異常検知の手法

(L2・Cons
t
r
a
i
n
tSoftmaxLo
s
s
,LOF
)
を使用したモデルは ROC-AUC0
.
8
6,PR-AUC0
.
7
7と最も嵩
い精度を示した。 それらの手法を加えないモデルは ROC・
AUC0
.
6
4
,PR・AUC0
.
3
5を示しており、

.
7
4,PR-AUC0
.
7
0、 CV
AEは ROC・
AUC
大幅な精度向上が見られた。放射線科医は ROC-AUC0
0
.
6
8
,PR-AUC0
.
6
4であった。
第一段階に用いられる深胴学習モデルを変更すると Mo
b
i
l
e
Ne
tの場合 ROC・AUC 0
.
7
9,P
R
・AUC

50の場合 ROC・
AUC0.
7
5,P
R
・AUC0.
4
7といずれも VGG16には及ばなかった。
0
.
63、ResNet
これらの結果から人工画像の追加、異常検知の手法を組み合わせることにより大幅な精度向上を
来すことが明らかになった。

【
総括 ］
本研究では耳下腺腫瘍を題材として 、少数で不均衡なデータセットにおける深層学習モデル開発
における人工画像の追加や異常検知の手法の使用の効能について検討を行っている 。その検討の中
で VGG1
6を元にして、人工画像の追加、異常検知の手法の組み合わせは、すべての DCNN分 類
モデルの中で最も高い診断性能を示す結果となった。
本研究は、 MRIを用いた耳下腺腫瘍の良悪性鑑別における人工画像の追加や異常検知の手法を用
い ることによる深庖学習モデルの診断粕度向ヒについて研究したものであるが 、従来ほとんど行わ
れなかった少数で不均衡なデータセットにおける深恩学習モデル開発について重要な知見を得た
ものとして価値ある集積であると認める 。
よって、本研究者は、 t
J
}
j
.
J
: （医学）の学位を得る貧格があると認める 。