スポーツ映像解析のための特定物体検出に関する研究

概要

スポーツ映像解析のための特定物体検出に関する研
究
著者
ページ
発行年
その他のタイトル
学位授与年度
学位授与番号
URL

大木 琢郎
1-138
2020-01-01
A Study on Single-Category Object Detection
for Sports Scene Analysis
2020
32682甲第975号
http://hdl.handle.net/10291/20866

2019 年度 理工学研究科
博士学位請求論文 (要旨)
スポーツ映像解析のための特定物体検出に関する研究
A Study on Single-Category Object Detection for Sports Scene Analysis
情報科学専攻
大木 琢郎

1 問題意識と目的
著者は現在，近い将来において毎日のヘルスケアの実践が一般化された社会を構築することを目指し，そ
のために不可欠な生体情報をリアルタイムにモニタリング可能なシステムの構築に関する研究に取り組んで
いる．本研究開発における主要な目的としては次の 2 つが挙げられる．

• 小・中 学 校 な ど の 幼 少 時 期 か ら ，児 童 に 生 体 情 報 セ ン シ ン グ 機 器 を 装 着 さ せ ，生 体 情 報 の 意 義 を 児 童
自身に理解させることによるヘルスリテラシーの醸成．

• 運動 中の選 手の生 体情 報 をリア ルタイム に モニ タリン グする こ とに よる，熱 中症を 始め と する疾 病の
予防及び，選手養成の分野における適切な負荷の設定によるトレーニングの効率化．
著者が実現を目指すモニタリングシステムにおいては，運動中の選手に生体情報を取得可能なセンサデバ
イスを装着し，デバイス間でマルチホップネットワークの構築を行うことで，データ収集を行うノードへバ
ケツリレー方式で生体情報の通信が行われる．この際，リアルタイムかつ高信頼な通信を行うためには，セ
ンサノードの位置情報に基づく適切な通信経路の設定が必要であるが，センサノードの高速な移動や局所的
な高密度化の影響によって，受信電波強度に基づく従来手法が上手く機能しないという問題が存在する．
著者はこの問題に対して，画像処理及び認識の技術を用いた新たなルーティング方式である Image Assisted

Routing(IAR) の提案を行うことで解決を図る．IAR では，図 1 に示されるように，競技場の周辺に固定設置
さ れ た ，あ る い は UAV に 搭 載 さ れ た カ メ ラ か ら 撮 影 さ れ た 映 像 を 用 い て ，運 動 中 の 選 手 (セ ン サ ノ ー ド) の
認識及び位置推定を行い，得られた位置情報に基づいてネットワークの構築を行うことを考える．
本論文では，前述した IAR システムにおいて実用上最も重要であると考えられる高精度かつ実時間処理可
能な物体検出技術に着目し，その実現のために次章に記すような様々な提案及び検証を行った．

図 1 Image Assisted Routing のシステム概要図

1

2 構成及び各章の要約
1 章においては，始めに著者らが現在取り組んでいる運動中の選手から生体情報をリアルタイムにモニタ
リ ン グ 可 能 な シ ス テ ム の 概 要 に つ い て 述 べ ，提 案 モ ニ タ リ ン グ シ ス テ ム の 実 現 が ，本 研 究 に お け る 最 大 の
目的である一般社会への日常生活における健康管理の重要性の認知とその定着に帰着する理由について述
べ る ．そ の 後 ，提 案 モ ニ タ リ ン グ シ ス テ ム を 構 成 す る 技 術 に つ い て の 詳 細 な 解 説 及 び 実 現 に 向 け た 課 題 の
提 示 を 行 い ，そ の 解 決 の た め に 著 者 ら が 提 案 し た 画 像 情 報 に 基 づ く 新 た な ル ー テ ィ ン グ 手 法 で あ る Image

Assisted Routing(IAR) に つ い て の 解 説 を 行 う ．本 論 文 に お け る 研 究 目 的 は ，IAR の 実 現 に 向 け て 不 可 欠 な
要素である高精度かつ実時間処理可能な選手検出手法の提案であり，以降の章において同研究目的達成のた
めに行われた様々な取り組みについて述べていく．

2 章においては，本論文において著者らが取り組む IAR の実現において重要であると考えられる，画像情
報に基づく物体検出の技術や既存研究について網羅的に述べていく．まず，一般的に周知されている物体検
出というタスクが，今日において活発に取り扱われるに至った経緯について，その歴史的背景を踏まえた解
説を行っていく．しかし本論文において著者が取り組むタスクは，この一般物な物体検出とは異なり，特定
のカテゴリに属する物体のみを対象とする特定物体検出と呼ばれるタスクであるため，前述の一般的な物体
検出について述べた後，その研究背景，処理方式及び著名な既存研究についてより踏み込んだ解説を行う．

3 章においては，IAR の実現に必要不可欠な選手検出手法の提案を行う．著者は，IAR が適用される環境
においては背景領域のパターンがある程度限定されること，及び空撮映像の利用によって検出精度低下の原
因となる物体遮蔽の影響が軽減されることを考慮することで，計算コストの高い輝度勾配情報を検出の手が
かりとする従来手法を用いなくとも，特徴表現の方法を工夫することで，実用上十分な精度の達成が可能で
あると考え，物体の統計的な形状情報に基づいた特徴設計を行う Informed-Filters の考え方を取り入れた，計
算コストの低い色空間特徴のみを用いた選出検出向けの手法の提案を行った．一般に公開されているデータ
セ ッ ト で あ る PET2003 を 用 い て 検 出 性 能 の 検 証 を 行 っ た 結 果 ，提 案 手 法 は FPPI (画 像 当 た り の 平 均 誤 検 出
数) が 0.1 であるときに MR(検出見逃し率) が 1.28% であるような非常に高い精度で検出を行うことが可能で
あることを示した．また輝度勾配情報を用いた手法との比較を行った結果，提案手法は，同程度の精度を達
成しながら約 3 倍の高速化を実現することが出来た．

4 章においては，IAR が適用される実際の環境を想定したデータセットの作成を行い，同データセットに
対しても提案手法が有効に機能するかについての検証を行った．作成したデータセットは二種類あり，一つ
は 3 次元仮想空間内に複数の視点を配置した作成した多視点データセットで，もう一つは競技場周辺にカメ
ラを搭載した UAV を配置し，実際に運動している選手の映像から作成された実画像データセットである．
多視点データセットでは，視点の配置による提案手法の検出精度への影響についての検証を行った．検証
を 行 っ た 結 果 ，全 体 と し て 高 い 精 度 を 示 し た が ，特 に 競 技 場 の 真 上 よ り 15◦ -30◦ の 範 囲 に 視 点 を 配 置 す る こ
とで安定して高い検出精度を示すことがわかった．これは視点が多少傾くことによって，真上からの視点よ
りも識別に有効な検出対象の形状情報を表す特徴表現を得られるためであると考えられる．一方で傾きが過
剰に大きくなることで，物体遮蔽の影響が強くなることによる精度の低下が見られた．IAR のような空撮映
像が利用可能な環境においては，視点の位置によって変化する検出対象の形状を表現する情報の量と物体遮
蔽の強さはトレードオフの関係にあることが考えられるため，双方のバランスを考慮した配置を行うことが
重要であると考えられる．また同データセットを用いて，深層学習に基づく手法で近年の物体検出の分野で

State-of-the-art な 精 度 を 達 成 し て い る YOLOv3 と の 性 能 比 較 を 行 っ た 結 果 ，YOLOv3 で は 多 く の 誤 検 出 が
見られ，提案手法の方がより優れた手法であることが示された．
実画像データセットを用いた検証においては，実用に耐え得る精度を保ちながら計算コストを可能な限り
削減することを目的として，弱識別器の数を 5 から 200 個までの計 11 種類の識別器を構築し，それぞれにつ
いて精度評価による検証を行った．検証の結果，実画像を用いた場合でも，弱識別器の個数は 125 個程度使

2

用することで，FPPI が 0.1 であるときに MR が 0.3% という実用に十分耐え得る精度を得ることができた．

4 章ま でで得ら れた検証 結果より，いずれ のデータ セット において も優れ た性能を 示して いる提案 手法は
IAR へ の 高 い 適 応 性 を 保 持 し て い る と 考 え ら れ る ．そ の た め 5 章 に お い て は ，提 案 手 法 の 機 構 を UAV 上 に
搭載する目的として，小型開発ボードである Jetson への移植を目的とした提案手法の GPU 並列実装を行っ
た．提案実装においては，特徴計算時に使用される”Binary”あるいは”Ternary”と呼ばれる複合矩形特徴に対
して，複合矩形の最小数分割処理を適用することによってレイテンシの増大を引き起こす画素へのランダム
ア ク セ ス 回 数 を 大 幅 に 削 減 可 能 な 実 装 手 法 の 提 案 を 行 い ，GPU に よ る 並 列 実 装 と 組 み 合 わ せ る こ と に よ っ
て提案手法の高速化を図っている．検出精度及び処理速度による性能評価を行った結果，提案実装は精度劣
化なしに約 18 倍の高速化を実現した．また Jetson への移植を行った結果，2560 × 1352 画素の画像に対して
約 40 fps で動作可能であるという結果が得られ，提案手法は使用可能な計算リソースが限られる場合でも実
時間での実行が可能であることが確認された．

6 章においては，特定物体検出のより一般的な課題である識別器の学習に使用される訓練サンプルの不均
衡問題の解決に向けた手法の提案を行った．物体検出のさらなる精度向上のための鍵の一つに，正例の数に
比 べ て 負 例 の 数 が 非 常 に 多 く な る と い う 学 習 デ ー タ の 不 均 衡 の 問 題 の 解 決 が 挙 げ ら れ ，学 習 サ ン プ ル が 不
均 衡 で あ る デ ー タ セ ッ ト を 用 い て 学 習 を 行 う 場 合 ，学 習 速 度 の 低 下 や モ デ ル の 偏 り を 引 き 起 こ す 可 能 性 が
あ る ．同 章 で は こ の 問 題 を 解 決 す る べ く ，高 速 且 つ 高 精 度 な 識 別 器 の 構 築 の た め に 広 く 使 わ れ て い る カ ス
ケード識別器の考え方を取り入れた新たなネットワークアーキテクチャ”CasNet”の提案を行った．PASCAL

VOC2012 から作成したデータセットを用いた性能評価の結果，CasNet によって，学習の効率化及び最大で
8.71% の精度向上が確認され，提案手法による不均衡問題の解決に向けたアプローチは単純でありながら有
効に機能することが示された．
ここまでの研究成果より，IAR において不可欠な技術要素である，高精度でありながら実時間での動作が
可能な選手検出手法の提案を行い，様々な観点から多角的な検証を行うことによって，提案手法の高い有効
性 及 び 実 用 性 を 確 認 す る こ と が で き た ．こ の 成 果 は IAR の 実 用 化 に 向 け て 大 き く 寄 与 す る も の で あ る と 考
えられ，ひいては IAR が適用される生体情報モニタリングシステムの実現による，将来の日本における日常
的なヘルスケア実践の定着という，本研究の最終的な目的への貢献となることが期待される．
また検証の過程において，物体検出の対象となるアプリケーションの性質を十分に考慮し，さらに特徴表
現方法や高速化の工夫を行うことによって，提案手法のような古典的物体検出方式に基づく手法が，深層学
習 に 基 づ い た 手 法 を 凌 ぐ 性 能 を 達 成 し ，実 用 上 有 効 で あ る 場 合 が 存 在 す る と い う 知 見 を 得 る こ と が で き た ．
こ れ は 近 年 の 物 体 検 出 に 関 す る 研 究 に お い て ，あ る い は そ の 技 術 の 産 業 へ の 応 用 を 考 え る に 際 し て 主 流 と
なっている深層学習の安易な利用に対して一考の必要性があることを示唆していると考える．

3

この論文で使われている画像