リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

大学・研究所にある論文を検索できる 「Development of iSCAT Microscopy and Improvement of the Images with Deep Learning」の論文概要。リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。

コピーが完了しました

URLをコピーしました

論文の公開元へ論文の公開元へ
書き出し

Development of iSCAT Microscopy and Improvement of the Images with Deep Learning

小鷲, 智理 東京大学 DOI:10.15083/0002006653

2023.03.24

概要

論文審査の結果の要旨
氏名

小鷲

智理

本論文は5章からなる。第 1 章では、iSCAT(interferometric scattering microscopy)と関
連技術の概要、および高度な方法と深層学習による画像の復元について説明されている。
第 2 章では、iSCAT の光学セットアップとデータ処理の詳細な手順を示されている。 第
3 章では、CARE2D(Content of Aware Image Restoration for 2D)ネットワークを介した
静的ビーズと移動ビーズのデータ処理について説明されている。 第 4 章では、時間的相関
を 考 慮 し た ネ ッ ト ワ ー ク EDVR(Video Restoration framework with Enhanced
Deformable convolution)を介して、移動するビーズのフレームも処理することについて述
べられている。 第 5 章では、CARE2D と EDVR ベースのネットワークを介して得られた
結果を比較している。
第 1 章は蛍光顕微鏡や暗視野顕微鏡を中心に、iSCAT 光学系に関連する光学顕微鏡が紹
介されている。蛍光顕微鏡は、自己集合や化学反応、輸送といった細胞内の生体分子の挙
動を明らかにしてきた。一方、タンパク質を蛍光ラベル化することで、光退色やブリンキ
ングといった様々な問題が生じる。蛍光顕微鏡は蛍光ラベルによる、これらの諸々の問題
があり、時間分解能が犠牲になっている。一方、散乱光のみを検出する暗視野光学系では、
金属ナノ粒子などをプローブに使うことで、高時間分解能を達成していることが論じられ
ている。生体分子の挙動を観察する他の手法としては、観察試料の散乱を利用する方法が
ある。本論文で構築した iSCAT はその一つであり、ガラス-水境界面での反射光と、試料
からの散乱光との干渉を利用する光学系である。これらの干渉を検出するため、試料の散
乱光だけを利用する暗視野顕微鏡に比べ、検出される光の強度の粒子径依存性が低くなる。
そのため、非標識タンパク質まで観察できるようになった。
第 2 章では、iSCAT 光学系が、試料からの散乱光と水/ガラス境界面からの反射光の干渉
を利用することで、シグナル強度の粒子径に対する依存性が暗視野光学系よりも減少する
ことを述べている。また、iSCAT 光学系を独自に構築し、試料の高さ方向の位置、拡散速
度や散乱光強度により既存の背景処理が困難であることが論じられている。
第 3 章では、iSCAT 画像を深層学習により低ノイズの画像に変換する背景処理方法が論
じられている。二つのパートに分かれており、Part1 では CARE2D の、Part2 では EDVR
の、SN 比と位置精度についての学習結果がまとめられている。深層学習を活用して、シグ
ナル-ノイズ(SN)比の低い iSCAT 画像を、他の光学系で取得した低ノイズの画像に変換す
ることが提案されている。本実験では、蛍光観察と iSCAT で 100nm 蛍光ビーズを同時に
取得できるように iSCAT 光学系を再構築した。蛍光画像では背景ノイズが極めて少なかっ
たので、蛍光画像を教師画像として与え、iSCAT 画像が蛍光画像に近づくよう学習させた。
ネットワークには、顕微鏡画像のノイズ除去に使う CARE2D と、フレーム間の相関を出
力する EDVR を選んだ。ガラス基板に固定させたビーズについては CARE2D のみ用い、
SN 比と粒子像が出力される位置の精度を評価した。ブラウン運動させたビーズについて

は、CARE2D と EDVR で SN 比と粒子像が出力される位置の精度を比較した。CARE2D
で学習させた結果、静止画像と動画ともに出力された粒子像の位置は蛍光画像と必ずしも
一致しなかったが、SN 比はほぼ一致した。一方、EDVR で学習させた結果、位置精度は
CARE2D と変わらないうえ、SN 比は背景処理した後の iSCAT と変わらなかった。位置精
度には課題を抱えているものの、CARE2D が iSCAT 像の画像処理に有用であることを示
した。
第 4 章では、第 2 章、第 3 章の結果をまとめている。既存手法での iSCAT 光学系の背
景処理の欠点が触れられたうえ、CARE2D による画像処理の有用性が論じられている。
CARE2D の学習結果は、位置精度には課題があるものの、既存の手法に比べて SN 比が向
上したことが述べられている。位置精度が悪くなった理由として、iSCAT 画像と蛍光画像
を切り出すときに粒子の位置に誤差があったことを挙げている。
最後の第 5 章では、今後の研究の発展として 、CARE2D が、高さ方向の運動を反映し
た画像を生成する可能性を議論している。
なお、本論文第2章以降は、岡田康志氏との共同研究であるが、論文提出者が主体とな
って分析及び検証を行ったもので、論文提出者の寄与が十分であると判断する。
したがって、博士(理学)の学位を授与できると認める。
以上 1999 字

参考文献

1. Robert Hook. Micrographia, or, Some Physiological Descriptions of Minute

Bodies Made by Magnifying Glasses: With Observations and Inquiries

Thereupon. J Martyn, J Allestry. 1665.

2. J. VAN ZUYLE. The microscopes of Antoni van Leeuwenhoek. Journal of

Microscopy. 1981 March(121):309-28.

3. Eugene Hecht. Optics, fourth edition. London: Pearson new international

edition; 2014.

4. Taylor RW, Sandoghdar V. Interferometric Scattering (iSCAT) Microscopy &

Related Techniques. 2018 Dec 27,.

5. Young G, Kukura P. Interferometric Scattering Microscopy. Annual review of

physical chemistry. 2019 Jun 14,;70(1):301-22.

6. McNamara G, Difilippantonio M, Ried T, Bieber FR. Microscopy and Image

Analysis. Current Protocols in Human Genetics. 2018 Feb 13,;94(1):4.4.1,4.4.89.

7. Siedentopf H, Zsigmondy R. Uber Sichtbarmachung und Größenbestimmung

ultramikoskopischer Teilchen, mit besonderer Anwendung auf

Goldrubingläser. Annalen der Physik. 1902;315(1):1-39.

8. DE GROOT P. Principles of interference microscopy for the measurement of

surface topography. Advances in Optics and Photonics. 2015 March 31,;7:1-65.

9. Kong Z, Zhu X, Zhang S, Wu J, Luo Y. Phase contrast microscopy of living

cells within the whole lens: spatial correlations and morphological dynamics.

Molecular vision. 2012;18:2165-73.

10. F. Zernike How I Discovered Phase Contrast. Science. 1955;121:345-9.

11. Lee S, Kim Y, Kang SH. Differential interference contrast microscopy for

real-time dynamics and manipulation of single cells in microchannels.

Microchemical journal. 2005;80(2):107-12.

12

12. Liu Z, Lavis L, Betzig E. Imaging Live-Cell Dynamics and Structure at the

Single-Molecule Level. Molecular cell. 2015 May;58(4):644-59.

13. Wouters FS, Verveer PJ, Bastiaens PIH. Imaging biochemistry inside cells.

Trends in Cell Biology. 2001;11(5):203-11.

14. Schneckenburger H. Total internal reflection fluorescence microscopy:

technical innovations and novel applications. Current opinion in biotechnology.

2005 Feb;16(1):13-8.

15. Kusumi A, Tsunoyama TA, Hirosawa KM, Kasai RS, Fujiwara TK. Tracking

single molecules at work in living cells. Nature chemical biology. 2014 Jun

17,;10(7):524-32.

16. Sahl SJ, Hell SW, Jakobs S. Fluorescence nanoscopy in cell biology. Nature

reviews. Molecular cell biology. 2017 Sep 6,;18(11):685-701.

17. Arroyo JO, Andrecka J, Spillane KM, Billington N, Takagi Y, Sellers JR, et al.

Label-Free, All-Optical Detection, Imaging, and Tracking of a Single Protein.

2015 Jan 1.

18. Spindler S, Ehrig J, König K, Nowak T, Piliarik M, Stein HE, et al.

Visualization of lipids and proteins at high spatial and temporal resolution via

interferometric scattering (iSCAT) microscopy. Journal of physics. D, Applied

physics. 2016 Jul 13,;49(27):274002.

19. Taylor RW, Sandoghdar V. Interferometric Scattering Microscopy: Seeing

Single Nanoparticles and Molecules via Rayleigh Scattering. Nano letters. 2019

Aug 14,;19(8):4827-35.

20. Ortega Arroyo J, Cole D, Kukura P. Interferometric scattering microscopy

and its combination with single-molecule fluorescence imaging. Nature

protocols. 2016 Mar 3,;11(4):617-33.

21. Ueno H, Nishikawa S, Iino R, Tabata KV, Sakakihara S, Yanagida T, et al.

Simple Dark-Field Microscopy with Nanometer Spatial Precision and

Microsecond Temporal Resolution. Biophysical journal. 2010 May;98(9):2014-23.

13

22. Piliarik M, Sandoghdar V. Direct optical sensing of single unlabelled

proteins and super-resolution imaging of their binding sites. Nature

communications. 2014 Jul 29,;5(1):4495.

23. Jacobsen V, Stoller P, Brunner C, Vogel V, Sandoghdar V. Interferometric

optical detection and tracking of very small gold nanoparticles at a water-glass

interface. Optics express. 2006 Jan 9,;14(1):405-14.

24. Andrecka J, Spillane KM, Ortega-Arroyo J, Kukura P. Direct Observation

and Control of Supported Lipid Bilayer Formation with Interferometric

Scattering Microscopy. ACS nano. 2013 Dec 23,;7(12):10662-70.

25. Young G, Hundt N, Cole D, Fineberg A, Andrecka J, Tyler A, et al.

Quantitative mass imaging of single biological macromolecules. Science

(American Association for the Advancement of Science). 2018 Apr

26,;360(6387):423-7.

26. Cole D, Young G, Weigel A, Sebesta A, Kukura P. Label-Free SingleMolecule Imaging with Numerical-Aperture-Shaped Interferometric Scattering

Microscopy. ACS photonics. 2017 Feb 15,;4(2):211-6.

27. Lin Y, Chang W, Hsieh C. Shot-noise limited localization of single 20 nm

gold particles with nanometer spatial precision within microseconds. Optics

express. 2014 April 21,;22:9159-70.

28. Chan CH. Effective absorption for thermal blooming due to aerosols. Appl

Phys Lett. 1975 June 1,;26(11):628-30.

29. Kushwaha VS, Peterman EJG. The temperature dependence of kinesin

motor-protein mechanochemistry. Biochemical and biophysical research

communications. 2020 Aug 27,;529(3):812-8.

30. 95B-Manual. Available from: https://www.photometrics.com/wpcontent/uploads/2019/10/95B-Manual_08062020.pdf.

31. Ando J, Nakamura A, Visootsat A, Yamamoto M, Song C, Murata K, et al.

Single-Nanoparticle Tracking with Angstrom Localization Precision and

14

Microsecond Time Resolution. Biophysical journal. 2018 Dec 18,;115(12):241327.

32. Wang H, Rivenson Y, Jin Y, Wei Z, Gao R, Günaydın H, et al. Deep learning

enables cross-modality super-resolution in fluorescence microscopy. Nature

methods. 2018 Dec 17,;16(1):103-10.

33. Ouyang W, Aristov A, Lelek M, Hao X, Zimmer C. Deep learning massively

accelerates super-resolution localization microscopy. Nature biotechnology.

2018 Apr 16,;36(5):460-8.

34. Nehme E, Weiss LE, Michaeli T, Shechtman Y. Deep-STORM: superresolution single-molecule microscopy by deep learning. Optica. 2018 Apr

12,;5(4):458.

35. Kumar Gaire S, Zhang Y, Li H, Yu R, Zhang HF, Ying L. Accelerating

multicolor spectroscopic single-molecule localization microscopy using deep

learning. Biomedical optics express. 2020 May 1,;11(5):2705-21.

36. Yao B, Li W, Pan W, Yang Z, Chen D, Li J, et al. Image reconstruction with a

deep convolutional neural network in high-density super-resolution

microscopy. Optics express. 2020 May 6,;28(10):15432-46.

37. Zdańkowski P, Trusiak M, McGloin D, Swedlow JR. Numerically Enhanced

Stimulated Emission Depletion Microscopy with Adaptive Optics for DeepTissue Super-Resolved Imaging. ACS nano. 2020 Jan 28,;14(1):394-405.

38. Cheng C, Hsieh C. Background Estimation and Correction for HighPrecision Localization Microscopy. ACS Photonics. 2017 -07-19;4(7):1730-9.

39. Lee S, Negishi M, Urakubo H, Kasai H, Ishii S. Mu-net: Multi-scale U-net for

two-photon microscopy image denoising and restoration. Neural networks.

2020 Jan;125:92-103.

40. (Tutorial) KERAS Tutorial: DEEP LEARNING in PYTHON [Internet].; 2019

[updated -12-10T17:00:00.000Z; cited Dec 12, 2020]. Available from:

https://www.datacamp.com/community/tutorials/deep-learning-python.

15

41. Wang S, Yang DM, Rong R, Zhan X, Xiao G. Pathology Image Analysis

Using Segmentation Deep Learning Algorithms. The American journal of

pathology. 2019 Sep;189(9):1686-98.

42. Park J, Lee H, Park CY, Hasan S, Heo T, Lee WH. Algal Morphological

Identification in Watersheds for Drinking Water Supply Using Neural

Architecture Search for Convolutional Neural Network. Water (Basel). 2019 Jun

28,;11(7):1338.

43. Weigert M, Schmidt U, Boothe T, Müller A, Dibrov A, Jain A, et al. Contentaware image restoration: pushing the limits of fluorescence microscopy. Nature

methods. 2018 Nov 26,;15(12):1090-7.

44. Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al.

Attention Is All You Need. . 2017 /06/12.

45. Zhao H, Jia J, Koltun V. Exploring Self-attention for Image Recognition. .

2020 /04/28.

46. Wang F, Jiang M, Qian C, Yang S, Li C, Zhang H, et al. Residual Attention

Network for Image Classification. . 2017 /04/23.

47. Liu Y, Yuan H, Wang Z, Ji S. Global Pixel Transformers for Virtual Staining

of Microscopy Images. TMI. 2020 Jun;39(6):2256-66.

48. Wang Z, Xie Y, Ji S. Global Voxel Transformer Networks for Augmented

Microscopy. . 2020 Aug 05,.

49. Zhao H, Jia J, Koltun V. Exploring Self-attention for Image Recognition. .

2020 /04/28.

50. Yue H, Cao C, Liao L, Chu R, Yang J. Supervised Raw Video Denoising With

a Benchmark Dataset on Dynamic Scenes. IEEE; Jun 2020.

51. Wu J, Yu X, Liu D, Chandraker M, Wang Z. DAVID: Dual-Attentional Video

Deblurring. IEEE; Mar 2020.

52. Hung K, Qiu C, Jiang J. Video Super Resolution via Deep Global-Aware

Network. Access. 2019;7:74711-20.

16

53. Li F, Bai H, Zhao Y. Learning a Deep Dual Attention Network for Video

Super-Resolution. TIP. 2020;29:4474-88.

54. Su D, Wang H, Jin L, Sun X, Peng X. Local-Global Fusion Network for Video

Super-Resolution. Access. 2020;8:172443-56.

55. Ciresan D, Giusti A, Gambardella L, Schmidhuber J. Deep Neural Networks

Segment Neuronal Membranes in Electron Microscopy Images. Advances in

Neural Information Processing Systems. 2012;25:2843-51.

56. Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic

segmentation. ; June 2015.

57. Seyedhosseini M, Sajjadi M, Tasdizen T. Image Segmentation with Cascaded

Hierarchical Models and Logistic Disjunctive Normal Networks. ; December

2013.

58. Hariharan B, Arbeláez P, Girshick R, Malik J. Hypercolumns for object

segmentation and fine-grained localization. ; June 2015.

59. Minaee S, Boykov Y, Porikli F, Plaza A, Kehtarnavaz N, Terzopoulos D.

Image Segmentation Using Deep Learning: A Survey. . 2020 Jan 15,.

60. Navab N. Medical image computing and computer-assisted intervention MICCAI 2015. Cham ; Heidelberg ; New York ; Dordrecht ; London: Springer;

2015.

61. Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network

Training by Reducing Internal Covariate Shift. . 2015 February 10,.

62. Agarap AF. Deep Learning using Rectified Linear Units (ReLU). . 2018

March 22,.

63. In Ho Choi, Joonwon Kim. A pneumatically driven inkjet printing system

for highly viscous microdroplet formation. Micro and Nano Systems Letters.

2016 09 June , 4(4).

17

64. Huang Y, Zhuo G, Chou C, Lin C, Chang W, Hsieh C. Coherent Brightfield

Microscopy Provides the Spatiotemporal Resolution To Study Early Stage Viral

Infection in Live Cells. ACS Nano. 2017 -03-28;11(3):2575-85.

65. Cheng C, Liao Y, Hsieh C. High-speed imaging and tracking of very small

single nanoparticles by contrast enhanced microscopy. Nanoscale. 2019 -0103;11(2):568-77.

66. Ortega Arroyo J, Cole D, Kukura P. Interferometric scattering microscopy

and its combination with single-molecule fluorescence imaging. Nature

protocols. 2016 Mar 3,;11(4):617-33.

67. Keras. Available from: https://keras.io/.

68. Abadi M, Barham P, Chen J, Chen Z, Davis A, Dean J, et al. TensorFlow: A

System for Large-Scale Machine Learning. ; 2016.

69. Chamier Lv, Jukkala J, Spahn C, Lerche M, Hernández-Pérez S, Mattila P, et

al. ZeroCostDL4Mic: an open platform to use Deep-Learning in Microscopy.

2020.

70. Bloice MD, Roth PM, Holzinger A. Biomedical image augmentation using

Augmentor. Bioinformatics. 2019 November 1,;35(21):4522-4.

71. Kingma DP, Ba J. Adam: A Method for Stochastic Optimization. 2014 /12/22.

72. Boyd N, Jonas E, Babcock H, Recht B. DeepLoco: Fast 3D Localization

Microscopy Using Neural Networks. 2018 Feb 16.

73. Tian Y, Zhang Y, Fu Y, Xu C. TDAN: Temporally Deformable Alignment

Network for Video Super-Resolution. 2018 /12/07.

74. Wang X, Chan KCK, Yu K, Dong C, Loy CC. EDVR: Video Restoration With

Enhanced Deformable Convolutional Networks. IEEE; Jun 2019.

75. Hui T, Tang X, Loy CC. LiteFlowNet: A Lightweight Convolutional Neural

Network for Optical Flow Estimation. arXiv:1805.07036. 2018 /05/18.

18

76. Hui T, Tang X, Loy CC. A Lightweight Optical Flow CNN - Revisiting Data

Fidelity and Regularization. arXiv:1903.07414. 2019 /03/15.

77. Ilg E, Mayer N, Saikia T, Keuper M, Dosovitskiy A, Brox T. FlowNet 2.0:

Evolution of Optical Flow Estimation with Deep Networks. arXiv:1612.01925.

2016 /12/06.

78. Ranjan A, Black MJ. Optical Flow Estimation using a Spatial Pyramid

Network. arXiv:1611.00850. 2016 /11/03.

79. Sun D, Yang X, Liu M, Kautz J. PWC-Net: CNNs for Optical Flow Using

Pyramid, Warping, and Cost Volume. arXiv:1709.02371. 2017 /09/07.

80. Xue T, Chen B, Wu J, Wei D, Freeman WT. Video Enhancement with TaskOriented Flow. 2017 /11/24.

81. Andrew L Maas, Awni Y Hannun, Andrew Y Ng. Rectifier Nonlinearities

Improve Neural Network Acoustic Models - Epistemio. International

Conference on Machine Learning (ICML). 2013.

82. Wang X, Yu K, Dong C, Loy CC. Recovering Realistic Texture in Image

Super-resolution by Deep Spatial Feature Transform. arXiv:1804.02815. 2018

/04/09.

83. Jenia Golbstein. EDVR_Keras.

84. Dennis Segebarth, Matthias Griebel, Alexander Dürr, Cora R. von Collenber,

Corinna Martin, Dominik Fiedler, Lucas B. Comeras, Anupam Sah, Nikolai

Stein, Rohini Gupta, Manju Sasi, Maren D. Lange, Ramon O. Tasan, Nicolas

Singewald, Hans-Christian Pape, Michael Sendtner, Christoph M. Flath, Robert

Blum. DeepFLaSH, a deep learning pipeline for segmentation of fluorescent

labels in microscopy images. bioRxiv. 2018 November 19,.

85. Iglovikov V, Shvets A. TernausNet: U-Net with VGG11 Encoder Pre-Trained

on ImageNet for Image Segmentation. 2018 /01/17.

86. Liu Y, Jin L, Xie Z, Luo C, Zhang S, Xie L. Tightness-aware Evaluation

Protocol for Scene Text Detection. . 2019 /03/27.

19

87. Rezatofighi H, Tsoi N, Gwak J, Sadeghian A, Reid I, Savarese S. Generalized

Intersection over Union: A Metric and A Loss for Bounding Box Regression. .

2019 /02/25.

88. Yu J, Jiang Y, Wang Z, Cao Z, Huang T. UnitBox: An Advanced Object

Detection Network. . 2016 /08/04.

89. Jiao L, Zhang F, Liu F, Yang S, Li L, Feng Z, et al. A Survey of Deep

Learning-Based Object Detection. IEEE Access. 2019;7:128837-68.

90. Liu Y, Jin L, Xie Z, Luo C, Zhang S, Xie L. Tightness-aware Evaluation

Protocol for Scene Text Detection. . 2019 /03/27.

91. Gholami Mahmoodabadi R, Taylor RW, Kaller M, Spindler S, Sandoghdar

V. The point spread function in interferometric scattering microscopy (iSCAT).

I. Aberrations in defocusing and axial localization.

92. Krishnan M, Mojarad N, Kukura P, Sandoghdar V. Geometry-induced

electrostatic trapping of nanometric objects in a fluid. Nature (London). 2010

Oct 6,;467(7316):692-5.

93. Taylor RW, Mahmoodabadi RG, Rauschenberger V, Giessl A, Schambony A,

Sandoghdar V. Interferometric scattering microscopy reveals microsecond

nanoscopic protein motion on a live cell membrane. Nature photonics. 2019 Apr

15,;13(7):480-7.

94. McDonald MP, Gemeinhardt A, König K, Piliarik M, Schaffer S, Völkl S, et

al. Visualizing Single-Cell Secretion Dynamics with Single-Protein Sensitivity.

Nano Lett. 2018 -01-10;18(1):513-9.

95. Spindler S, Sibold J, Gholami Mahmoodabadi R, Steinem C, Sandoghdar V.

High-Speed Microscopy of Diffusion in Pore-Spanning Lipid Membranes. Nano

Lett. 2018 -08-08;18(8):5262-71.

96. Xu X, Xiong X, Wang J, Li X. Deformable Kernel Convolutional Network for

Video Extreme Super-Resolution. 2020 Sep 30.

20

...

参考文献をもっと見る

全国の大学の
卒論・修論・学位論文

一発検索!

この論文の関連論文を見る