機械学習を用いた歯科診療内容推定基盤の構築

概要

＜緒言＞
自動車産業において，ただ自動車を生産するだけでなく深層学習などの情報技術を活用することで実現する機能を併せて総合的なサービスとして自動車を提供するCASE（Connected, Autonomous, Shared＆Services, Electric）やMaaS（Mobility as a Service）といった概念が登場している．CASEやMaaSの実現に必要不可欠な要素技術である画像認識技術や状況認識技術の向上により，車載カメラやセンサーデータに基づく高度運転支援システムが実現されている．情報技術は様々な分野で活用され，銀行業界ではキャッシュレス決済や仮想通貨，流通業界ではAmazonなどのECサイトなどが実現している．このように従来は人の手によってアナログな手法で行われてきたことがデジタルに置き換えられるデジタルトランスフォーメーション（DX）が注目されている．

医療においては診療の記録は電子診療録（Electronic Medical Records: EMR）に記録され，紙カルテがデジタルデータに置き換わったことで，EMRデータの二次利用が盛んに行われるようになった．しかし，診療後もしくは診療途中に言語で診療行為を記載するというフレームワークは紙カルテから大きな変化はなく，その入力作業に多くの時間を費やすことと，それに伴う入力データ量の制限から，EMRデータの二次利用によって得られる情報にも制約があることが明らかになっている．そこで歯科医療においてもDXを実現し，診療のありのままを記録し状況認識を行う新たなフレームワークへ移行することで，診療録記載の自動化と精緻化が可能になると考えられる．

歯科診療においては診療内容に応じて様々な器具を用いる．深層学習による画像認識技術を用いれば，そこで使用する歯科用器具を画像認識により高精度で認識・符号化できる可能性がある．仮に符号の順列が一定の精度で自動的に得られる場合，使用した器具の順列から診療内容を推定することが可能ではないかという仮説を立てた．本研究では一般的な歯科診療を，器具を置くトレーの映像から自動で記録・符号化し，使用した器具の順列から診療内容を推定するプラットフォームを構築し，前述の仮説の証明により，歯科医療のDXを目標としたEMRとは異なる医療情報フレームワークの構築を目的とした．

＜材料・方法＞
23種類の器具および術者の手を認識する画像認識アルゴリズムの作成を行った．大阪大学大学院歯学研究科・歯学部及び歯学部付属病院倫理審査委員会（H29-E23-1）に則って同意の得られた患者の診療中のトレーの様子を撮影した映像129本のうち64本の映像からランダムに508枚の画像を選出し，これとは別にトレー上に器具を1〜3本ランダムに配置した画像1435枚を用意した．2種類の画像群を合わせた計1943枚に対して，23種類の器具の特徴的な部分および術者の手の含まれる矩形領域の座標と存在する物体の情報をそれぞれ手動でラベリングし，“実際の画像のみからなるデータセット”を作成した．手動ラベリングを行える画像数には限界があるため，背景画像にトレーの画像を合成し，その上に手用ファイルを除く5つの器具及び手をランダムに合成した画像の作成を行い，16000枚のバーチャル画像およびラベリングデータを自動的に作成した．前述の実際の画像とバーチャル画像を合わせた合計17943枚の画像からなる“バーチャル画像を併用したデータセット”を作成した．2種類のデータセットを用いて画像認識に関する深層学習をそれぞれ行った．得られた2種類の画像認識システムを用いて，学習に用いなかった100枚の画像に存在する器具の検出を行った．それぞれの画像認識システムによる検出結果をグループAおよびBとした．

4種類の診療内容（P（歯周処置）：25例，CR（う蝕処置）：11例，RCT（根管貼薬処置）：18例，RCF（根管充填処置）：11例）からなる65回の診療中の映像を各フレームにおける24種類の物体それぞれの検出個数を要素とする24次元ベクトルからなるシーケンスデータに符号化し，65個のシーケンスデータを構築した．手が検出されるところでシーケンスデータを区分し，各区間の平均24次元ベクトル値の差分からなるシーケンスデータを作成した．この差分シーケンスデータから，各器具が用いられた回数を求め，時間軸を持たない65個の24次元ベクトルデータ（VD: Vector Data）を構築した．また，元のシーケンスデータ長が1/125になるようダウンサンプリングしたものを圧縮シーケンスデータ（CSD: Compressed Sequence Data）とした．

VDおよびCSDを入力として診療内容を4種類のいずれか推定する分類器を複数作成し，性能を評価した．時間軸を持たないVDの入力に対しては，サポートベクターマシン（SVM），隠れ層が（0, 1, 2, 3, 4, 5）層の多層ニューラルネットワーク（MLNN0〜MLNN5）の2群7種類の分類器を用意した．時間軸を持つCSDの入力に対しては，（1, 2, 3）層の積層Long Short-Term Memory（LSTM）からなるもの（LSTM1〜LSTM3），シーケンスデータを（40, 60, 80, 100, 120）の幅で切り出し特徴抽出する Convolutional Neural Network（CNN）からなるもの（CNN40〜CNN120），CNNと（1, 2, 3）層の積層LSTMを組み合わせたもの（CNN-LSTM1〜CNN-LSTM3）の3群11種類の分類器を用意した．それぞれの分類器を用いて65回のVDおよびCSDを用いてLOOCV（Leave-One-Out Cross-Validation）を行い，正解率，平均再現率，平均適合率，F値(macro-F1)を求めた．

＜結果・考察＞
診療中のトレー画像に存在する器具存在情報の平均符号化精度はグループAでは80.3%となり，グループBでは81.2%となった．グループAからグループBへの各器具の符号化精度の変化として，デンタルピンセット・プローベは10%以上の向上が見られたことから，バーチャル画像の水増しによる小物体の検出精度向上効果が認められた．画像の水増しを行わなかった手用ファイルは14%符号化精度が低下したが，これはグループBでは学習時のミニバッチに手用ファイルが含まれない画像が多く，適切な学習が行われなかったためであると考えられた．

時間軸を持たないVDを入力とした診療内容推定の正解率・平均再現率・平均適合率・F値は，MLNN1（正解率67.7 %）が最も高くなり， MLNN0（正解率40.0 %）が最も低くなった．隠れ層のないニューラルネットワークは線形分離可能な問題しか解くことができないため，VDと診療内容との関係性は非線形である可能性が示された．MLNN1と比較してMLNN2以上では平均再現率・平均適合率が低下したことは，過適合によるものであると考えられた．いずれの分類器においてもP・CRとRCT・RCFを互いに誤って予測する傾向にあった．これらは器具の使用方法に類似性があったためと考えられた．以上からシーケンスデータの次元削減を行ったVDに基づく診療内容推定手法の精度向上は困難であることが示された．

時間軸を持つCSDを入力とした診療内容推定の正解率・平均再現率・平均適合率・F値は，CNN120（正解率76.9 %)が最も高くなり，LSTM1（正解率63.1 %）は正解率・平均再現率・平均適合率が最も低くなった．LSTMおよびCNN-LSTMを用いた分類器はいずれもCNN群すべての分類器の正解率を上回らなかった．このことから，CSDを一定の時間（3分20秒から10分）間隔で区切ることで得られた部分的なシーケンスデータ内の短期的な関係性から診療内容推定を行うCNN群の診療内容推定手法の有効性が示された．LSTM1の正解率が低かったが，単層のLSTMは線形分離可能な問題しか解くことができないため， CSDと診療内容の関係性は非線形であると考えられた．CNN-LSTMでは単層でも正解率の低下が見られなかったが，これはCSDがCNNによって線形な特徴を持つデータに変換されたため単層のLSTMでも診療内容の分類が可能になったとであると考えられた．

CNN120による診療内容推定正解率76.9 %はMLNN1による67.7 %と比較して高精度であるが，非常に高い数値であるとは言い難い．そこで例数による正解率の変化を確認したところ，例数が34例，51例，65例と増加するにしたがって，正解率が73.5 %，74.5 %，76.9%と増加することが認められた．以上のことから，診療の一部を切り出した時系列データに基づく診療内容推定を行うことで，妥当な精度が得られる可能性が示された．

＜結論＞
医療におけるDXのひとつとして，診療効率の向上およびリアルタイムでの医療安全の支援実現を目的とし，歯科診療内容を自動で記録・推定するフレームワークを提案した．提案したフレームワークの実現に向けて，歯科診療を診療用器具の存在に基づいて符号化を行い，得られた符号から診療内容を推定する手法について実験を行った．その結果，76.9 %の精度で診療内容が推定可能であることが示された．また診療内容推定のための分類器の学習に用いる例数を増加させることで精度が向上したことから，提案するフレームワークにより将来の実用化に必要となる精度に到達できる可能性が示唆された．