リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

大学・研究所にある論文を検索できる 「深層学習を用いた胎児超音波動画における胎児胸壁に対するセグメンテーションを行うためのModel-Agnosticな新手法の確立」の論文概要。リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。
リケラボ

コピーが完了しました

URLをコピーしました

論文の公開元へ論文の公開元へ
書き出し

深層学習を用いた胎児超音波動画における胎児胸壁に対するセグメンテーションを行うためのModel-Agnosticな新手法の確立

生水 貫人 富山大学

2022.03.23

概要

〔目的〕
近年，人工知能(artificial intelligence：AI)はその技術革新とともに医学分野を含め幅広い分野で目覚ましい成果を上げている．強力な機械学習の一つである深層学習を用いて，ピクセル単位でラベルを付与できる画像セグメンテーション手法を医用画像に応用することは，AIを用いた診断支援モデルを構築するための有効な戦略となっている．胎児超音波スクリーニングにおいてもAIを用いた診断支援モデルにより，先天性疾患の検出率の向上が期待できると考える．しかしながら現状として，超音波画像は対象物と背景のコントラストが低く曖昧であるため，解剖学的構造を正確にセグメンテーションすることは依然として難しい課題となっている．また，胎児の超音波診断では，先天性疾患の検出や新生児の予後の評価に重要な要素である心臓と肺を含む胸部の評価，特に四腔断面（four-chamber-view：4CV）による評価が不可欠である．そして胸壁は4CVを評価する上で重要な構造であり，検査者は胸壁を確認することで胸郭内の構造物の相対的な向きや大きさを認識することができる．そのため胸壁のセグメンテーション性能を向上させることは診断支援モデルを開発する上で重要と考える．本研究では胎児超音波動画における胸壁のセグメンテーション性能を向上させるために，深層学習技術を用いたmodel-agnosticな（モデルに依存しない）手法であるMulti-Frame + Cylinder法（MFCY）を新しく提案した．Multi-Frame法（MF）は超音波動画の時系列情報を利用し，Cylinder法（CY）は胸壁の形状の特性を利用した手法である．今回の提案手法であるMFCYを適用した際の胎児超音波動画における胸壁セグメンテーション性能について，臨床データを利用して検討した．

〔方法並びに成績〕
MF は，対象となる画像とその前後フレームに対して各々胸壁のセグメンテーションを行い，それらの予測ラベルを統合することにより予測結果を得る．これは高フレームレートの超音波動画を構成する連続した時系列画像の中で，前後するフレーム間の類似性を利用することにより予測結果を補完することが期待できる．また，CYは，胸壁に加え，胸腔と胸郭全体の3つの予測ラベルを独立した学習済みモデルから取得しこれらを統合することにより予測結果を得る．胸壁は常に円筒形であるという事前知識を利用し，統合時には胸郭全体のラベルから胸腔ラベルを差し引きし，胸壁ラベルを足し合わせることにより，お互いの情報を補完することが期待できる．そして，MFとCYを組み合わせた手法がMFCYとなる．本研究では提案手法の性能評価を臨床データで行うために，2018年4月から2019年5月の間に，昭和大学の4病院で妊娠中期に胎児超音波スクリーニングを受けた正常胎児を妊娠する妊婦を対象とし，超音波動画を取得した．結果，妊娠18週から28週（中央値：20週）の妊婦256例から538 枚の 4CV 画像を得ることができた．この4CV画像に対して胸壁のアノテーションラベルを付与し，これを利用してMFCYに必要な教師あり学習を行った．その際には，畳み込みニューラルネットワーク（convolutional neural network：CNN）としてU-netとDeepLabv3+を使用した．今回，セグメンテーション性能を評価するために5-foldクロスバリデーションを行った．MFCYを使用すると，平均 intersection over union (mIoU) は0.448（U-net）vs. 0.493（U-net + MFCY），0.417（DeepLabv3+）vs. 0.470（DeepLabv3+ + MFCY）であり，既存モデルよりも優れた結果を得ることができた．また，平均再現率でも，0.568（U-net）vs. 0.738（U-net＋MFCY），0.525（DeepLabv3+）vs. 0.729（DeepLabv3+＋MFCY）と，既存モデルよりも高かった．

〔総括〕
本研究では，2つのmodel-agnosticな手法を組み合わせることで，胎児超音波動画における新規のセグメンテーション手法であるMFCYを提案した．MFCYは，2つの手法の独立した予測結果のアンサンブル学習に基づいており，超音波動画の時系列情報と胸壁の形状情報を相互に補完することができる．また，臨床データを用いて行った胸壁セグメンテーションにおいて，MFCYは既存モデルよりも優れた性能を示した．MFCYは，既存のCNNの予測結果をそのまま利用し，各動画のターゲット画像とその前後フレームの予測結果を統合することで機能する．データセットが限られた中で，ネットワークに修正を加えることなく，またより多くの追加のアノテーションを行わずとも，セグメンテーション性能を向上させることができた．MFCYはこのようにネットワーク構造に依存しないため，他のネットワークにも広く適用できる．このことは，model-agnosticな手法の大きな利点である．4CVの評価を支援するAIベースのモデルを構築するためには，胎児の胸壁の正確なセグメンテーションが不可欠である．MFCYが，胎児超音波の自動診断支援技術の開発につながることに期待する．

論文の公開元へ

この論文で使われている画像

関連論文

関連論文をもっと見る

参考文献

1. Jiang, F.; Jiang, Y.; Zhi, H.; Dong, Y.; Li, H.; Ma, S.; Wang, Y.; Dong, Q.; Shen, H.;Wang, Y. Artificial intelligence in healthcare: Past, present and future. Stroke Vasc.Neurol. 2017, 2, 230–243, doi:10.1136/svn-2017-000101.

2. Hamamoto, R.; Komatsu, M.; Takasawa, K.; Asada, K.; Kaneko, S. Epigenetics analysisand integrated analysis of multiomics data, including epigenetic data, using artificialintelligence in the era of precision medicine. Biomolecules 2020, 10,doi:10.3390/biom10010062.

3. Guo, Y.; Liu, Y.; Georgiou, T.; Lew, M.S. A review of semantic segmentation using deepneural networks. Int. J. Multimed. Inf. Retr. 2018, 7, 87–93, doi:10.1007/s13735-017-0141-z.

4. Garcia-Garcia, A.; Orts-Escolano, S.; Oprea, S.; Villena-Martinez, V.; Garcia-Rodriguez,J. A Review on Deep Learning Techniques Applied to Semantic Segmentation. arXiv2017, 1–23.

5. Garcia-Garcia, A.; Orts-Escolano, S.; Oprea, S.; Villena-Martinez, V.; MartinezGonzalez, P.; Garcia-Rodriguez, J. A survey on deep learning techniques for image andvideo semantic segmentation. Appl. Soft Comput. J. 2018, 70, 41–65,doi:10.1016/j.asoc.2018.05.018.

6. Hesamian, M.H.; Jia, W.; He, X.; Kennedy, P. Deep Learning Techniques for MedicalImage Segmentation: Achievements and Challenges. J. Digit. Imaging 2019, 32, 582–596,doi:10.1007/s10278-019-00227-x.

7. Garcia-Canadilla, P.; Sanchez-Martinez, S.; Crispi, F.; Bijnens, B. Machine Learning inFetal Cardiology: What to Expect. Fetal Diagn. Ther. 2020, 47, 363–372,doi:10.1159/000505021.

8. Liu, S.; Wang, Y.; Yang, X.; Lei, B.; Liu, L.; Li, S.X.; Ni, D.; Wang, T. Deep Learning inMedical Ultrasound Analysis: A Review. Engineering 2019, 5, 261–275,doi:10.1016/j.eng.2018.11.020.

9. Salomon, L.J.; Alfirevic, Z.; Berghella, V.; Bilardo, C.; Hernandez-Andrade, E.; Johnsen,S.L.; Kalache, K.; Leung, K.Y.; Malinger, G.; Munoz, H.; et al. Practice guidelines forperformance of the routine mid-trimester fetal ultrasound scan. Ultrasound Obstet.Gynecol. 2011, 37, 116–126, doi:10.1002/uog.8831.

10. Roberts, K.P.; Weinhaus, A.J. Anatomy of the Thoracic Wall, Pulmonary Cavities, andMediastinum. In Handbook of Cardiac Anatomy, Physiology, and Devices; Humana Press:Totowa, NJ, 2559; Vol. 11, pp. 25–50 ISBN 9786162833052.

11. Bethune, M.; Alibrahim, E.; Davies, B.; Yong, E. A pictorial guide for the secondtrimester ultrasound. Australas. J. ultrasound Med. 2013, 16, 98–113, doi:10.1002/j.2205-0140.2013.tb00106.x.

12. The International Society of Ultrasound in Obstetrics ISUOG Practice Guidelines(updated): sonographic screening examination of the fetal heart. Ultrasound Obstet.Gynecol. 2013, 41, 348–359, doi:10.1002/uog.12403.

13. Satomi, G. Guidelines for fetal echocardiography. Pediatr. Int. 2015, 57, 1–21,doi:10.1111/ped.12467.

14. Ronneberger, O.; Fischer, P.; Brox, T. U-net: Convolutional networks for biomedicalimage segmentation. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell.Lect. Notes Bioinformatics) 2015, 9351, 234–241, doi:10.1007/978-3-319-24574-4_28.

15. Liu, L.; Cheng, J.; Quan, Q.; Wu, F.X.; Wang, Y.P.; Wang, J. A survey on U-shapednetworks in medical image segmentations. Neurocomputing 2020, 409, 244–258,doi:10.1016/j.neucom.2020.05.070.

16. Chen, L.C.; Zhu, Y.; Papandreou, G.; Schroff, F.; Adam, H. Encoder-decoder with atrousseparable convolution for semantic image segmentation. Lect. Notes Comput. Sci.(including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics) 2018, 11211LNCS, 833–851, doi:10.1007/978-3-030-01234-2_49.

17. Hamamoto, R.; Suvarna, K.; Yamada, M.; Kobayashi, K.; Shinkai, N.; Miyake, M.;Takahashi, M.; Jinnai, S.; Shimoyama, R.; Sakai, A.; et al. Application of artificialintelligence technology in oncology: Towards the establishment of precision medicine.Cancers (Basel). 2020, 12, 1–32, doi:10.3390/cancers12123532.

18. Liu, X.; Deng, Z.; Yang, Y. Recent progress in semantic image segmentation. Artif. Intell.Rev. 2019, 52, 1089–1106, doi:10.1007/s10462-018-9641-3.

19. Cordts, M.; Omran, M.; Ramos, S.; Rehfeld, T.; Enzweiler, M.; Benenson, R.; Franke, U.;Roth, S.; Schiele, B. The Cityscapes Dataset for Semantic Urban Scene Understanding.Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. 2016, 2016-Decem, 3213–3223, doi:10.1109/CVPR.2016.350.

20. Anwar, S.M.; Majid, M.; Qayyum, A.; Awais, M.; Alnowami, M.; Khan, M.K. MedicalImage Analysis using Convolutional Neural Networks: A Review. J. Med. Syst. 2018, 42,226, doi:10.1007/s10916-018-1088-1.

21. Heuvel, T.L.A. van den; Bruijn, D. de; Korte, C.L. de; Ginneken, B. van Automatedmeasurement of fetal head circumference. PLoS One 2018, 4, 1–20,doi:10.5281/ZENODO.1322001.

22. Arnaout, R.; Curran, L.; Zhao, Y.; Levine, J.; Chinn, E.; Moon-Grady, A. Expert-levelprenatal detection of complex congenital heart disease from screening ultrasound usingdeep learning. medRxiv 2020, 2020.06.22.20137786, doi:10.1101/2020.06.22.20137786.

23. Burgos-Artizzu, X.P.; Perez-Moreno, Á.; Coronado-Gutierrez, D.; Gratacos, E.; Palacio,M. Evaluation of an improved tool for non-invasive prediction of neonatal respiratorymorbidity based on fully automated fetal lung ultrasound analysis. Sci. Rep. 2019, 9, 1–7,doi:10.1038/s41598-019-38576-w.

24. Looney, P.; Stevenson, G.N.; Nicolaides, K.H.; Plasencia, W.; Molloholli, M.; Natsis, S.;Collins, S.L. Fully automated, real-time 3D ultrasound segmentation to estimate firsttrimester placental volume using deep learning. JCI insight 2018, 3, 1–9,doi:10.1172/jci.insight.120178.

25. Li, Y.; Xu, R.; Ohya, J.; Iwata, H. Automatic fetal body and amniotic fluid segmentationfrom fetal ultrasound images by encoder-decoder network with inner layers. Proc. Annu.Int. Conf. IEEE Eng. Med. Biol. Soc. EMBS 2017, 1485–1488,doi:10.1109/EMBC.2017.8037116.

26. Dozen, A.; Komatsu, M.; Sakai, A.; Komatsu, R.; Shozu, K.; Machino, H.; Yasutomi, S.;Arakaki, T.; Asada, K.; Kaneko, S.; et al. Image Segmentation of the Ventricular Septumin Fetal Cardiac Ultrasound Videos Based on Deep Learning Using Time-SeriesInformation. Biomolecules 2020, 10, 1526, doi:10.3390/biom10111526.

27. Yu, L.; Guo, Y.; Wang, Y.; Yu, J.; Chen, P. Segmentation of fetal left ventricle inechocardiographic sequences based on dynamic convolutional neural networks. IEEETrans. Biomed. Eng. 2017, 64, 1886–1895, doi:10.1109/TBME.2016.2628401.

28. Sagi, O.; Rokach, L. Ensemble learning: A survey. Wiley Interdiscip. Rev. Data Min.Knowl. Discov. 2018, 8, 1–18, doi:10.1002/widm.1249.

29. Kusunose, K.; Abe, T.; Haga, A.; Fukuda, D.; Yamada, H.; Harada, M.; Sata, M. A deeplearning approach for assessment of regional wall motion abnormality fromechocardiographic images. JACC Cardiovasc. Imaging 2020, 13, 374–381,doi:10.1016/j.jcmg.2019.02.024.

30. Shozu, K.; Komatsu, M.; Sakai, A.; Komatsu, R.; Dozen, A.; Machino, H.; Yasutomi, S.;Arakaki, T.; Asada, K.; Kaneko, S.; et al. Model-agnostic method for thoracic wallsegmentation in fetal ultrasound videos. Biomolecules 2020, 10, 1–16,doi:10.3390/biom10121691.

31. Isola, P.; Zhu, J.Y.; Zhou, T.; Efros, A.A. Image-to-image translation with conditionaladversarial networks. Proc. - 30th IEEE Conf. Comput. Vis. Pattern Recognition, CVPR2017 2017, 2017-Janua, 5967–5976, doi:10.1109/CVPR.2017.632.

32. Chen, L.C.; Papandreou, G.; Kokkinos, I.; Murphy, K.; Yuille, A.L. DeepLab: Semanticimage segmentation with deep convolutional nets, atrous convolution, and fully connectedCRFs. IEEE Trans. Pattern Anal. Mach. Intell. 2018, 40, 834–848,doi:10.1109/TPAMI.2017.2699184.

33. Cai, S.; Tian, Y.; Lui, H.; Zeng, H.; Wu, Y.; Chen, G. Dense-UNet: A novel multiphotonin vivo cellular image segmentation model based on a convolutional neural network.Quant. Imaging Med. Surg. 2020, 10, 1275–1285, doi:10.21037/QIMS-19-1090.

34. Ruano, R.; Molho, M.; Roume, J.; Ville, Y. Prenatal diagnosis of fetal skeletal dysplasiasby combining two-dimensional and three-dimensional ultrasound and intrauterine threedimensional helical computer tomography. Ultrasound Obstet. Gynecol. 2004, 24, 134–140, doi:10.1002/uog.1113.

35. Çetin, C.; Büyükkurt, S.; Sucu, M.; Özsürmeli, M.; Demir, C. Prenatal diagnosis of pectusexcavatum. Turkish J. Obstet. Gynecol. 2016, 13, 158–160, doi:10.4274/tjod.54514.

36. Paladini, D.; Chita, S.K.; Allan, L.D. Prenatal measurement of cardiothoracic ratio inevaluation of heart disease. Arch. Dis. Child. 1990, 65, 20–23,doi:10.1136/adc.65.1_Spec_No.20.

37. Awadh, A.M.A.; Prefumo, F.; Bland, J.M.; Carvalho, J.S. Assessment of the intraobservervariability in the measurement of fetal cardiothoracic ratio using ellipse and diametermethods. Ultrasound Obstet. Gynecol. 2006, 28, 53–6, doi:10.1002/uog.2813.

38. Usui, N.; Kitano, Y.; Okuyama, H.; Saito, M.; Morikawa, N.; Takayasu, H.; Nakamura,T.; Hayashi, S.; Kawataki, M.; Ishikawa, H.; et al. Reliability of the lung to thoraxtransverse area ratio as a predictive parameter in fetuses with congenital diaphragmatichernia. Pediatr. Surg. Int. 2011, 27, 39–45, doi:10.1007/s00383-010-2725-z.

39. Hidaka, N.; Murata, M.; Sasahara, J.; Ishii, K.; Mitsuda, N. Correlation between lung tothorax transverse area ratio and observed/expected lung area to head circumference ratioin fetuses with left-sided diaphragmatic hernia. Congenit. Anom. (Kyoto). 2015, 55, 81–84, doi:10.1111/cga.12092.

参考文献をもっと見る

全国の大学の
卒論・修論・学位論文
を
一発検索！

この論文の関連論文を見る