リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

大学・研究所にある論文を検索できる 「Multi-stain to Multi-stain Transformation of High-Resolution Renal Biopsy Images by Generative Adversarial Networks Highlights Glomerular and Interstitial Abnormalities with a Virtual Single-section View」の論文概要。リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。
リケラボ

コピーが完了しました

URLをコピーしました

論文の公開元へ論文の公開元へ
書き出し

Multi-stain to Multi-stain Transformation of High-Resolution Renal Biopsy Images by Generative Adversarial Networks Highlights Glomerular and Interstitial Abnormalities with a Virtual Single-section View

藥袋(川井) 将敬 山梨大学 DOI:info:doi/10.34429/00005158

2022.03.18

概要

【目的】
腎生検は腎疾患を診断する上で欠くことのできない重要な病理学的検査である。組織的評価には糸 球体、尿細管、間質の詳細な構造観察が必要で、ヘマトキシリン-エオジン（H&E）染色の他に periodic acid Schiff（PAS）染色、periodic acid-methenamine silver（PAM）染色、Masson’s trichrome（MT） 染色といった複数の特殊染色を加えて病理診断を行っている。しかし、複数枚の組織薄切片に対して それぞれの染色を行うため、染色毎に観察される組織所見が異なるという技術的な課題がある。 本研究では人工知能技術である深層ニューラルネットと敵対的生成的ネットワーク（GAN）の方法を 用いて、ある 1 枚の染色標本から他の染色標本を人工的に生成する、擬似染色の病理学的実用化を試 みた。さらに Cycle GAＮという画像群を相互に変換する GAN のフレームワークを応用し、多染色-多 染色間を擬似的に染色する人工知能、PPHM（PAS-PAM-H&E-MT）-GAN を考案しその性質や臨床的意義に ついて検証した。

【方法】
26例の訓練症例、10例の検証例、9例の半月体検証例を収集し検討を行った。 １）デジタル化された訓練症例の組織切片（WSI）からPAS, PAM, H&E, MTそれぞれ18～20万ほどの 512×512ピクセルの画像を切出し訓練に用いた。3つの同じモデルをそれぞれが少しずつ違った学習の 方法で学習させた。これらの訓練されたモデルを、訓練症例の別切片WSIから切出された2,048×2,048 ピクセルの画像に適用し、人間から見て染色の妥当性（核、尿細管上皮、膠原線維などの色パターン） が高いモデルを選別した。選別されたモデルをそれぞれの染色変換のペアに対応させ、その後の検証に用いた。以上のようなGANモデル、訓練法、モデルの選別法などを総称してPPHM-GANとした。訓練症 例と検証症例の画像についてFrechet inception distance (FID)を計算し、その値と人間の眼で見た 妥当性に大きな乖離がないことを確認した。 ２）10例の検証例WSIから4,096×4,096ピクセルの画像を切出し、各染色変換を行った。スパイク、 篆刻像、半月体形成、メサンギウム細胞増殖、糸球体硬化、間質の炎症、間質の線維化および尿細管 萎縮、動脈硬化といった病理学的所見についてその同定のしやすさを4段階で評価した（G, A, Q, B）。 ３）２）の検討で半月体形成を同定しやすくなることが確認できたが、1糸球体での検討であっため 更に9例の半月体検証例WSIから24個の糸球体を選出し別途検証した。それぞれの糸球体が含まれるよ うに4,096×4,096ピクセルの画像を切出し、各染色変換を行った。3名の病理医が半月体形成について 同定のしやすさを4段階で評価した（G, A, Q, B）。元の染色から変換後の染色となったことによる各 評価の差を整数値で表し、3名の平均値を最終結果とした。

【結果】
本研究により大きく以下の結果が得られた。 １）PPHM-GANにより生成された画像は、概ね組織構築や細胞の位置を修飾することなく別の染色に擬 似染色されていた。特に尿細管や集合管領域で本物の染色として遜色のない擬似染色を実現した。一 方で、細胞密度が高く複雑な糸球体領域では、変換に伴って核の形状が変化する、病理学的所見が同 定しにくくなる、もしくは間違って同定してしまうような望ましくないアーチファクトもみられた。 ２）半月体形成、メサンギウム細胞増加、糸球体硬化、間質の炎症、間質の線維化および尿細管萎縮 といった病理学的所見は、PASもしくはPAMに変換された擬似染色の画像で元の画像よりも同定が容易 になった。 ３）24個の糸球体の内、22個で1つ以上の擬似染色画像が元の画像よりも半月体の同定に優れていた。 特にPASをPAMに変換した画像、H&EをPASもしくはPAMに変換した画像、MTをPAMに変換した画像で顕著 であった。

【考察】
本研究から人工知能により一つの染色から複数の染色へ相互に変換することが可能であることが示 された。擬似染色により半月体を筆頭とする病理学的所見の発見が容易になることが確認され、これ は正確な診断および検体から最大限の情報を得ることを可能とし、患者の利益に資するものである。 また一部の擬似染色のクオリティに差があり、染色変換の方向に非対称性があることから、ある染 色によって表現される情報量に差があることが示唆された。多くの症例ではH&Eから他の染色に変換し た画像よりも、他の染色からH&Eに変換した画像で病理所見の同定に有利であり、H&E切片の有する情 報が他の染色よりも少ない可能性が考えられた。実際上は、腎生検の検体においてH&Eよりも他の染色 切片を多く作製し、H&E切片は他の染色切片から変換して代用することが勧められる。

【結論】
同一切片で多染色-多染色間を擬似的に染色する人工知能、PPHM-GAN を開発した。擬似染色は幾つ かの病理所見の同定に有用で、特に半月体形成に関して元の染色画像よりも同定が容易になること （22/24 糸球体）を複数の病理医により確認した。

論文の公開元へ

この論文で使われている画像

関連論文

関連論文をもっと見る

参考文献

1 US Renal Data System 2019 Annual Data Report: Epidemiology of Kidney Disease in the United States EXECUTIVE SUMMARY..

2 Luciano RL, Moeckel GW. Update on the Native Kidney Biopsy: Core Curriculum 2019. Am J Kidney Dis 2019;73:404–415.

3 Howie AJ. Handbook of Renal Biopsy Pathology. In: 2nd ed., 2008. p. 11–18.

4 Liu Y, Gadepalli K, Norouzi M, et al. Detecting Cancer Metastases on Gigapixel Pathology Images. 2017.[cited 17 December 2017]. Available from: http://arxiv.org/abs/1703.02442.

5 Kather JN, Pearson AT, Halama N, et al. Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer. Nat Med 2019 257 2019;25:1054–1056.

6 Levine AB, Peng J, Farnell D, et al. Synthesis of diagnostic quality cancer pathology images by generative adversarial networks. J Pathol 2020;252:178–188.

7 Goodfellow IJ, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Nets. [cited 20 January 2019]. Available from: http://www.github.com/goodfeli/adversarial.

8 Choi Y, Choi M, Kim M, et al. StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to- Image Translation. [cited 12 February 2019]. Available from: https://arxiv.org/pdf/1711.09020.pdf.

9 Brock A, Donahue J, Simonyan K. Large Scale GAN Training for High Fidelity Natural Image Synthesis. 2018.[cited 9 February 2019]. Available from: http://arxiv.org/abs/1809.11096.

10 Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Networks. Commun ACM 2014;63:139– 144.

11 Isola P, Zhu J-Y, Zhou T, et al. Image-to-Image Translation with Conditional Adversarial Networks. [cited 29 January 2019]. Available from: https://github.com/phillipi/pix2pix.

12 de Bel T, Hermsen M, Jesper Kers R, et al. Stain-Transforming Cycle-Consistent Generative Adversarial Networks for Improved Segmentation of Renal Histopathology. Proc. Mach. Learn. Res. 2019;102:151–163.

13 Bond-Taylor S, Leach A, Long Y, et al. Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models. IEEE Trans Pattern Anal Mach Intell 2021. doi:10.1109/TPAMI.2021.3116668.

14 Karras NVIDIA T, Laine NVIDIA S. A Style-Based Generator Architecture for Generative Adversarial Networks Timo Aila NVIDIA. [cited 9 February 2019]. Available from: https://github.com/NVlabs/stylegan.

15 Heusel M, Ramsauer H, Unterthiner T, et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. Adv Neural Inf Process Syst 2017;2017-December:6627–6638.

16 Levy JJ, Azizgolshani N, Michael •, et al. A large-scale internal validation study of unsupervised virtual trichrome staining technologies on nonalcoholic steatohepatitis liver biopsies. Mod Pathol 2021;34:808–822.

17 Xu Z, Fernández Moro C, Bozóky B, et al. GAN-based Virtual Re-Staining: A Promising Solution for Whole Slide Image Analysis..

18 de Haan K, Zhang Y, Zuckerman JE, et al. Deep learning-based transformation of H&E stained tissues into special stains. Nat Commun 2021 121 2021;12:1–13.

19 Mercan C, Mooij GCAM, Tellez D, et al. Virtual Staining for Mitosis Detection in Breast Histopathology. Proc - Int Symp Biomed Imaging 2020;2020-April:1770–1774.

20 Choi Y, Uh Y, Yoo J, et al. StarGAN v2: Diverse Image Synthesis for Multiple Domains. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit 2019;:8185–8194.

21 Zhu J-Y, Park T, Isola P, et al. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks Monet Photos. [cited 29 January 2019]. Available from: https://arxiv.org/pdf/1703.10593.pdf.

22 Mescheder L, Geiger A, Nowozin S. Which Training Methods for GANs do actually Converge? , 2018[cited 21 May 2019]. Available from: https://arxiv.org/pdf/1801.04406.pdf.

23 Heusel M, Ramsauer H, Unterthiner T, et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. 2017.[cited 16 February 2019]. Available from: http://arxiv.org/abs/1706.08500.

24 Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the Inception Architecture for Computer Vision. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit 2015;2016-December:2818–2826.

25 Russakovsky O, Deng J, Su H, et al. ImageNet Large Scale Visual Recognition Challenge. Int J Comput Vis 2015;115:211–252.

26 Ruifrok AC, Johnston DA. Quantification of histochemical staining by color deconvolution. Anal Quant Cytol Histol 2001;23:291–299.

27 LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition. Proc IEEE 1998;86:2278–2323.

28 Huang X, Belongie S. Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization. 2017.[cited 10 May 2019]. Available from: http://arxiv.org/abs/1703.06868.

29 Anguiano L, Kain R, Anders HJ. The glomerular crescent: triggers, evolution, resolution, and implications for therapy. Curr Opin Nephrol Hypertens 2020;29:302.

30 Appel GB, Lau WL. Treatment of Rapidly Progressive Glomerulonephritis in the Elderly. Blood Purif 2018;45:208–212.

31 Anghel A, Stanisavljevic M, Andani S, et al. A High-Performance System for Robust Stain Normalization of Whole-Slide Images in Histopathology. Front Med 2019;6:193.

参考文献をもっと見る