学修者本位の教育実現に向けた学修データの統合・解析　〜WebClassの学年別利用状況の変化〜

概要

１．序論
　東京薬科大学教育改革推進事業は、本学における教育の質保証の観点から、薬学部・生命科学部（学部横断含む）において学内の教育改革を促進させる先進的な教育活動を実施している、または計画している事業を公募するものである。2021年度は、DX（デジタルトランスフォーメーション）が進展する社会をけん引する人材を育成するため、デジタル環境を大胆に取り入れることにより、デジタル（オンライン）とフィジカル（対面・実施）を組み合わせたpostコロナ時代の新たな教育手法の具体化を図り、その成果の普及を目的とする事業が採択されている。
　著者らが2021年度に担当する「学修者本位の教育実現に向けた学修データの統合・解析事業」は、その副題を「AI分析を指向した教職協同による基盤整備」としている。本事業では、AIを活用した学修者本位の教育実現に向けた基盤整備を目的とし、薬学部の学生ごとの情報（入学前、学修、進路等）のデータを教職協働（入試センター、薬学事務課、薬学教育推進センター、情報教育研究センター、キャリアセンター）で集積し、GAKUENのデータと統合後、整理・解析する。そして、統合・整理したデータを「AIの機械学習用」へ、統計解析したデータを「教職員による個別指導」、「事務局へのフィードバック」に用いることを最終的な目的とした基盤整備を行うものである。その背景には、「2040年に向けた高等教育のグランドデザイン」（中央教育審議会）がある[1]。
　本学に導入されているWebClassは日本データパシフィック社が開発・販売する、日本の大学生向けLMS（Learning Management System）である。2004年に導入し、2022年に18年目を迎える。長い間、教材を提示するためのファイルサーバとしての利用が多くを占めていたが、アクティブ・ラーニングに注目が集まるようにつれ、学生同士あるいは教員と学生の間に発生する双方向性の学習ツールのプラットフォームとして活用する教員が増えてきた。

２．目的
　過去にも薬学部の学生・教職員を対象にしたWebClassの利用履歴データを用いた解析と報告が行われている[2-4]。「AIの機械学習用」や「教職員の個別指導」、「事務局へのフィードバック」等に応用するためには、利用年度や学年による相違点を検討しておく必要がある。そこで、本報告では2007年度からのWebClassの学年別利用について、入学年度ごとに解析した結果を報告する。さらに、学習成果との相関を検討し、1-3年次WebClass利用履歴データからの最終学習成果の予測モデルの構築の可能性について検討する。なお、2021年度東京薬科大学教育改革推進事業として実施した検討のうち、WebClassの学年別の利用状況に関する検討の一部を今回は報告する。

３．方法
（1） 解析対象者と解析対象データの作成
　2007年度から2021年度の入学生のうち、休・退学および留年を経ていない学生を対象とした。WebClassサーバに集積されている利用履歴データのうち、Python（ライブラリ：pandas、numpy、datetime）を用いて、解析対象者のログイン日時に関するデータのみ抽出したcsvファイルを作成した。解析は2021年10月に開始した。

（2） 年間総利用回数の変化
　はじめに、解析対象者のデータのみ抽出したcsvファイルをExcelピボットテーブルにて年月ごとに集計し、年間（4月〜翌年3月）の総利用回数を対象学生ごとに算出した。2021年度のデータについては、9月までの実測値に対して1.33倍した予測値を算出した。次に、年間の総利用回数の学年平均、最大値、最小値、標準偏差などを入学年度ごとに集計した。

（3） 年間総利用回数と学習成果との相関解析
　2021年10月の解析の時点で既卒となる2007年度から2015年度入学生のデータを対象に解析を行った。年間総利用回数および学習成果の得点は、平均点と標準偏差を用いて「標準化得点」に変換したものを解析に用いた。標準化得点は「（「得点」−「平均点」）÷標準偏差」にて算出した。学習成果の指標として、GPAと卒業試験の得点率を用いた。はじめに、Excel関数を用いてピアソンの相関係数（rpeason）を算出した。次にPython（ライブラリ：numpy、matplotlib、Axes3D）を用いて分布を可視化した。さらに、EZRを用いて多変量解析（重回帰分析）を行なった。

（4） AI機械学習モデルの検討
　線形モデルを得るためにRidge回帰を、非線形モデルを得るために、複数の機械学習モデルを組み合わせる勾配ブースティング（GBDT）モデルの作成を行った。（3）の解析で利用したデータを訓練データとテストデータに自動分割し、訓練データでモデルを構築し、テストデータでの当てはまりを確認する。モデルの精度を決定係数（R2）、平均絶対誤差（MAE）により評価した。一連の作業にはPython（ライブラリ：scikit-learn）を用いた。

４．結果
（1） 解析対象者と解析対象データの作成
　解析対象の学生のうち、2007年度から2015年度の入学生（合計3,010名、入学者総数に対して77.1％）が2021年3月までにストレートで卒業していた。また、2021年10月の解析の時点で、休学や退学、留年を経験していない在学生は合計2,389名、入学者総数に対して89.7％であった。2011年度入学生は東日本大震災の発生により入学日が2週間遅れた。2015年度入学生は新コアカリで学ぶ最初の学年であった。さらに、2020年度入学生は新型コロナウイルス感染症（COVID-19）の流行により、入学から半年間、完全オンライン授業を実施した。

（2） 年間総利用回数の変化
　卒業までの6年間の総利用回数は、年々増加していることが明らかとなった（図1）。2007年度入学生は、卒業までの6年間に、平均して約130回利用しているのに対し、2014年度入学生は約600回（約5倍）、2015年度入学生は約1,000回（約8倍）に増加していた。COVID-19の発生時に6年生として在学していた2015年度の入学生は大きく増加していた。
2016年度入学生は、2021年10月の解析の時点で6年生として在学しており、2015年度入学生を超える約1,200回になると予測した。同様に、2017年度以降の入学生も、卒業時までの年間総利用回数は大きく増加することが示唆された。
　次に、学年ごとの変化について検討した（図2）。COVID-19発生以前までのWebClassの総利用回数は、入学年度による差はあるものの、1年生でもっとも多く、学年が上がるにつれて減少する傾向にあった。特に、4年生以上の学生のWebClassの利用シーンは限定的であり、その多くが、薬学教育推進センターによるものや調査研究コースの学生のレポート提出に関するものである。
　COVID-19が発生した2020年度の実測値（赤枠）は、完全オンライン授業実施の影響により、いずれの学年も突出していた。最も利用回数が多かったのが当時の3年生であり、前年の4.5倍に増加した。1年生は2.4倍、2年生は3.1倍、4年生は3.5倍、5年生は3.2倍、6年生は3.3倍であった。2021年度の予測値（青枠）をみる限り、オンライン授業の割合が減少するにつれ、元の増加ペースに収束していく可能性が高いと予測される。それでも、2021年度の予測値は、2019年度の2倍以上となった。また、4年生および6年生については2021年度も2020年度と同程度の総利用回数を保持する見込みである。

（3） 年間総利用回数と学習成果との相関解析
　標準化得点を算出するために用いた平均と標準偏差（SD）を表1に示す。平均値と同じ得点は標準化得点0を示し、得点が平均値から±nSDずれている場合、その標準化得点は±nとなる。

（3） 年間総利用回数と学習成果との相関解析
　年間総利用回数と学習成果（得点率）との間で得られた相関係数rpeasonを表2に示す。卒業までの総利用回数でみると、rpeasonは-0.029となり、負の相関となった。学年ごとにみると、1年生のrpeasonは、ほぼ0であり、相関が認められなかったのに対し、2-3年生では正の相関、4-6年生では負の相関が示された。表2の右側は、累積の年間総利用回数とした時の、相関係数を検討した結果、2-3年生の回数が正の相関の中では最も強くなった。入学年度ごとにみると、2014年度入学生については、他の入学年度と比較して、符合の逆転が見られることが多かった。
　1年生の年間総利用回数と学習成果（GPA1）の相関係数rpeasonは、0.165であった。また、2-3年生の累積年間総利用回数と学習成果（GPA3）の相関係数rpeasonは、0.230であった。
　年間総利用回数と学習成果（得点率）の分布を図3に示す。rpeasonは-0.029であるが、卒業までの総利用回数も学習成果もその標準化得点がマイナスとなる第3象限の頻度が高くなっている。
　学習成果（得点率）を目的変数とし、各学年での年間総利用回数の標準化得点を説明変数として、重回帰解析を行った結果、回帰係数の推定値はそれぞれ1年生-0.2707、2年0.2705、3年生0.5839、4年生0.2122、5年生-1.3866、6年生-0.1333、切片70.1586からなる、重回帰式が得られた。分散拡大要因（VIF）は、いずれも3以下であり、多重共線性は認められなかった。自由度調整済みの重相関係数の2乗値は0.034であった。
　できるだけ早い段階で、学習成果（得点率）を予測したい。そこで、説明変数として、3年生までの年間総利用回数と学習成果（GPA1）の標準化得点を用いた解析を行った。回帰係数の推定値はそれぞれ1年生-0.0.6989、2-3年0.1845、学習成果3.6835、切片70.1586からなる、重回帰式が得られた。分散拡大要因（VIF）は、いずれも2以下であり、多重共線性は認められなかった。自由度調整済みの重相関係数の2乗値は0.2404であった。
　前述の通り、統計解析プログラムを用いた重回帰分析により、WebClassの利用履歴を説明変数とし、学習成果（得点率）の予測モデルを作成した。その予測精度を向上することに、AI機械学習の手法が有効であるかを検討した。
　AI機械学習による予測モデルの構築では、訓練データとテストデータに分割し、予測モデルの精度を確認することができる。図4は、AI機械学習による訓練によって得られた予測モデルを使用して、実測値を横軸に、予測モデルによる予測値を縦軸にプロットしたものである。点線で示したy=xの回帰直線にのるプロットが多いほど、予測モデルによる精度が高いことを示している。Model_1は、Ridge回帰を実施した結果を示す。Ridge回帰は線形回帰モデルを算出するもので、（3）で得られた重回帰式に相当する予測モデルが得られる。訓練データもテストデータもy=xの回帰式からは外れており、かつ、学習成果（得点率）の予測値が60-75と狭くなっていることがわかる。Model_1と同じ特徴量を用いて、複数の機械学習モデルを組み合わせる勾配ブースティング（GBDT）モデルを作成した結果がmodel_2である。GBDTモデルのような非線形モデルを用いて解析を行うことで、予測値の上限があがる改善傾向が見られた。学習成果（GPA3）を加えたmodel_3,4への変更により、さらなる改善が見られた。各モデルの決定係数（R2）は、model_1で0.2258、model_2で0.2406、model_3で0.4642、model_4で0.4457であった。平均絶対誤差（MAE）は、model_1で5.1951、model_2で5.1633、model_3で4.2367、model_4で4.3885であった。

５．考察
　WebClassをはじめとするLMSの利用回数がそのまま学習成果につながるとは限らない。今回の検討においても、卒業までの総利用回数と最終成績の間には期待するような正の相関は認められず、むしろ負の相関であった。
　1-3年生の総利用回数は正の相関になっているのに対し、4-6年生では負の相関となっていた。また、1年生の年間総利用回数は、1年時終了時の学習成果との間に正の相関が認められた。近年、大学での学習に使用される教材の多くが電子化され、教材のみならず、学習そのものがオンライン上で行われるようになった。WebClassは、学習に向かう学生たちへのポータルサイト（入口）としての位置付けが強く、そこで提供されている様々な教材やリンク先を活用して始めて学習成果に結びつく。1年生の教科では、担当教員間で連携し、WebClassによる教材の提供を積極的に行うとともに、学習支援活動も展開している。動画教材の提供やレポート課題への個別フィードバックが頻繁に行われていることから、年間総利用回数が多い学生は、こうした機会を活用して、学習方法を早期に確立していることが、学習成果につながっていると考えられる。一方で、最終成果との間には正の相関がなく、やることをやっていれば好成績となる教科以外の学習には向かうことができていない可能性がある。また、前期と後期のデータに分けて再検討することで、早期の支援につなげることができる可能性がある。
　さらに重要な点は、2、3年生の年間総利用回数が少ないことは、最終成績に影響するかもしれないことが示唆されたことである。知識習得のための小テスト教材が多く、実際に何回か解いてみている学生と、答えだけを入力している学生で差が生じているのだろう。そして、4年生以上では、負の相関が強くなった。4年生以上では、学習成果が上十分に上がっていない学生がWebClassを利用する機会が多く、1-3年生とは相関の因果が逆転するためだろう。
　1年生、あるいは1-3年生のWebClass利用状況から、今後の支援が必要となる学生を見出すための指標や予測モデルの可能性を検討した。統計解析は、現象を分析し、知識を得ることを目的としているのに対し、機械学習では機械に予測/分類させることに重きをおいている。いずれも、データサイエンスの領域における主要な手法であり、同一のデータを用いて、アプローチの目的を変えることができるのが魅力である[5]。統計解析では、線形モデルによる解析が主体となる。背景が安定している場合には、その知見を将来に活かしやすい利点がある。しかし、WebClassの利用履歴情報を特徴量とする線形モデルでは、予測式により得られた値の分布は頭打ちしてしまい、機械学習の段階で、実測値と予測値の間のズレが大きかった。そこで、アンサンブル学習と呼ばれる手法を用い、非線形モデルで予測することで、その精度が上がることを確認できた。また、特徴量を増やすことで改善できる可能性も示唆された。
　最後に、学内に構築されている（オンプレミスと呼ばれる）LMSと認証基盤があることで、今回のような検討が可能となったことにも触れておく。コストをかけずにオンライン授業を実施する上で、クラウドサービスの利用は大変魅力的である。その一方で、クラウドサービスで取得できる履歴情報は限られている。オンラインサービスにはアクセスURLが存在する。教員ごとに適したクラウドサービスを選択する自由を残しながら、利用のためのアクセスURLについては科目ごとにWebClassにまとめている。WebClassにログインした後で、必要なサービスへのリンクと認証が行われることは、学生への利便性も高めている。さらに、認証基盤があることでクラウドサービスと東薬IDを共有することが可能であり、今後の取り組みを検討中である。

６．結論
　今後の展開の中で、AI機械学習による予測モデルの作成に活用できる多くの特徴量が利用できるようになる。学生支援や教育の質向上のため、学内データを収集・分析し、最初に述べた「AIの機械学習用」や「教職員の個別指導」、「事務局へのフィードバック」を行うためには、大学におけるIR（Institutional Research）に基づく広範な活動が必要である。

この論文で使われている画像