Nogifa
  1. トップ
  2. ジャーナル
  3. 記事
コラム17分で読めます

その教材は、誰が確かめたのか ― AIで誰でもつくれる時代の、教材の品質

AIに頼めば、問題集が一晩でできる。解説も、アプリの画面も、AIが書いてくれる。

いま、そうしてつくられた教材や学習サービスが、次々に公開されています。一人で、数日で。速さは本物です。私たちも、教材づくりにAIを使っています。

それでも、ひとつ聞いてみたいことがあります。その教材は、誰が確かめたのでしょうか。

教材は、間違っていても気づかれにくいものです。学ぶ人は、まだよく知らないことを学んでいます。整った文章で書かれた誤りを、自分で見抜くのは簡単ではありません。気づかないまま、誤りを覚えてしまうこともあります。

この記事では、研究と私たちの教材づくりをもとに、AIの時代に教材の品質を決めるものは何かを考えます。

AIがつくる教材は、もっともらしく間違える

AIがつくる教材の質を調べた研究は、すでにいくつもあります。

Pardosらは、ChatGPT（GPT-3.5）が書いた代数と統計のヒントの質を確かめました（2024年）。品質のチェックに通らなかったヒントは、全体の32%でした。一方で、代数では、同じ問題に10回答えてもらい、いちばん多い答えを採るようにすると、誤りはほぼなくなりました。AIに任せきりにせず、確かめる手順を挟めば、質は大きく変わるということです。

新しいモデルでも、誤りはなくなっていません。医学教育の選択問題を、GPT-4oと人がそれぞれつくり、専門家が確かめた研究があります（Lawら、2025年）。事実の誤りがあった問題は、AIが6%、人が4%。難しさが合っていない問題は、AIが14%、人が1%でした。AIは作問にかかる時間を大きく縮めましたが、著者たちは「人による確認は欠かせない」と結論しています。

数字は、モデルの世代や分野で大きく変わります。ただ、AIの誤りは、文章として整った、いかにも正しそうな形で出てきます。誤りが混じっていても、文章の見た目からはわかりません。

人がつくれば安心、でもない

では、人がつくれば安心かというと、そうとも言い切れません。

看護学校の試験問題を調べた研究では、人がつくった問題の47%に、問題のつくり方の欠陥（正解の手がかりが選択肢に出てしまう、など）がありました（Tarrant & Ware、2008年）。Lawらの研究でも、人がつくった問題の4%に事実の誤りがありました。

AIも人も、間違えます。だから問うべきは「AIがつくったか、人がつくったか」ではありません。つくったものを、誰が、どう確かめたのかです。

一人と、1つのAIだけでは、何が抜け落ちるのか

一人で、1つのAIを使って教材をつくるとき、意識して補わなければ抜け落ちやすいものが3つあります。

1つめは、自分の誤りに気づく目です。つくった本人は、自分が何を言いたいかを知っているので、書いたものを「正しく」読んでしまいます。AIに確かめてもらう場合も、書いたのと同じAIなら、同じ思い込みで見落とすことがあります。後で紹介するように、AIには自分が書いたものを高く評価しやすい偏りもあります。

2つめは、教える現場の知見です。生徒がどこでつまずくのか、どの順で教えれば伝わるのか。これは、問題を解くだけでは見えにくく、生徒と向き合う中で見えてくるものです。作り手に指導の経験があっても、一人で見られる生徒の数には限りがあります。

3つめは、直し続ける仕組みです。公開したあとに見つかった誤りを、誰が受け取り、誰が確かめ、どう直すのか。この流れがなければ、誤りは残り続けます。

一人でつくること自体が悪いわけではありません。ただ、この3つを一人と1つのAIだけで補うには、相当の工夫が要ります。私たちが、それぞれをどう補っているかを紹介します。

私たちの教材づくり：知見、仕組み、人の目

私たちの教材は、各科目のスペシャリストを集めた教材開発チームがつくっています。AIは、その道具のひとつです。

設計は、人の話し合いから始まる

教材の設計は、AIに書いてもらう前に、人の話し合いから始まります。

ひとつは、講師陣の議論です。毎日生徒のとなりにいるコーチたちが、生徒はどこでつまずくのか、どの順で教えれば伝わるのかについて、気づきを持ち寄って話し合います。もうひとつは、塾生へのインタビューです。実際に学んだ生徒に、どこで迷ったのか、何があれば一人で進められたのかを聞きます。

そのうえで、1つの単元で身につける判断を1つに絞ります。1単元は約60分で、本編・確認テスト・復習でできています。何を教えるかと同じくらい、何を1つの単元に入れないかを大事にしています。

1つのAIに任せない

書いた教材は、観点を変えながら、何度もAIのレビューにかけます。レビューを1回通すことを、ここでは「1巡」と呼びます。

  1. 機械の検品：形式の誤りや表記の揺れを、プログラムで洗い出す。アプリの画面で表示が崩れないかも、端末の画面幅に合わせて表示して確かめる（英語の12冊では、この確認で41か所を直しました）
  2. 正しさ：事実・文法・語の意味は正しいか。正解が1つに決まるか
  3. 受験生の役で解く：正解を知らされていないAIが、生徒の立場で解く。説明だけで解けるか、2つの選択肢が正解に見えないか、選択肢の長さだけで答えがわかってしまわないか、60分に収まるかを見る
  4. 別のAIで、もう一度正しさを見る：最初のAIが見落とした誤りを拾う
  5. 日本語：一文の長さ、用語がそろっているか、言い過ぎがないか

1巡ごとに観点を変えるのには、理由があります。同じ観点だけで何度も確かめると、言い回しの好みによる指摘が増え、直すたびに文章が揺れてしまうからです。

レビューを終える条件も決めています。5つの観点は、すべて1回は通します。そのうえで、原則として、直近の2巡で重大な指摘がなければ、その単元は完成です。重大な指摘を直したあとは、直したことで新しい誤りが入っていないかを確かめるため、もう1巡、確認します。条件を満たさないまま巡が重なったときは「保留」とし、残った指摘を記録して、あらためて確かめます。

巡を重ねても、新しい指摘は出てきます。ある教材の試作では、0件になるまでに5〜11巡かかり、5巡目以降も毎巡、新しい重要な指摘が見つかりました。1回のチェックで「確かめた」とは言えないのです。

AIのレビューで見つかった誤りの例

実際に、どんな誤りが見つかっているのか。記録から、いくつか紹介します。

  • 言い切りすぎ：ワイマール憲法を「社会権を初めて定めた憲法」と書いていた。それより前の1917年のメキシコ憲法が、労働者の権利などを定めている。「教科書や入試では、社会権を本格的に保障した最初の憲法として扱われる」と言える範囲を限り、メキシコ憲法にもふれた
  • もっともらしい定義の誤り：「有機物」を「炭素を含む物質」と説明していた。二酸化炭素のように、炭素を含んでも有機物でないものがある
  • 答えが1つに決まらない：古代ギリシアで地球の大きさを測った学者を問う一問一答が、最初の問い方では、別の学者も答えになりえた。「前3世紀に」「2つの都市での太陽の高さの違いから」と条件を足して、答えが1つに決まるようにした
  • 論理の誤り：「前提が間違っていれば、結論も間違ってしまう」と書いていた。前提が誤りでも、結論がたまたま正しいことはある。「結論が正しいとは限らない」に直した

どれも、文章としては自然で、読み流してしまいそうなものです。こうした誤りを、一つずつ拾っていくのがレビューの役目です。

AIの審査にも、偏りがある

直したあとは、直す前の版と比べます。どちらが新しいかを伏せたうえで、複数のAIに、どちらが良い教材かを審査してもらいます。

AIに審査を任せるときは、AIの偏りにも気をつける必要があります。AIを審査役に使う方法を調べた研究では、先に示されたほうを選びやすい、長いほうを好みやすい、といった偏りが報告されています（Zhengら、2023年）。そこで私たちは、次のようにしています。

  • 2つの版を並べる順を入れ替えて、原則2回ずつ審査する。2回で答えが変わったら「差なし」と数える
  • 審査の基準に「長いほうが良いとは限らない」と書いておく
  • 教材の手直しを担うAIは、審査から外す。最初はGPT・Gemini・Claude・Grokの4つで審査していましたが、手直しを担うClaudeには、自分の書いたものを好む偏りがありえます。そこで途中から外し、いまはGPT・Gemini・Grokの3つで審査しています
  • 2つ以上のAIが直す前の版を選んだら、「前より悪くなった疑い」として人が確かめる

これまでに比べた768単元のうち、603単元で新しい版が良いと判断されました。前より悪くなった疑いが出たのは、1単元です。これはAIによる審査で、学ぶ人の成績で確かめたものではありません。それでも、直したことで教材が悪くなっていないかを、書いた本人以外の目で確かめる仕組みになっています。

最後は、人が確かめる

AIのレビューを何巡重ねても、最後は人の目を通します。

新しい教材は、最初の単元を教材開発チームの人が読み、方向が合っているかを確かめてから、先へ進めます。そして、どの教材も、人の承認がなければ公開されません。

塾の教材は、コーチ自身が解きます。解いていて引っかかった問題があれば、改善の依頼が教材開発チームに届きます。教材を使う人が、そのまま教材を確かめる人になる。この流れが、教材を育てていきます。

教材は、紙面だけでは終わらない

教材の品質は、書いてあることが正しいかどうかだけでは決まりません。とくにデジタルの教材では、いつ、何を、どの順で見せるかも教材の一部です。正しい解説も、出す場面を間違えれば、学びを助けないことがあります。

私たちが、学ぶ体験まで含めてどう設計しているかを紹介します。

答えは、選んでから見せる

本編の問題も確認テストも、選択肢を選ぶまで、正解と解説は隠れています。先に答えが目に入ると、自分で考える前に「わかった気」になってしまうからです。

答えを見る前に、自分で思い出そうとする。そのこと自体が、記憶を強めます。Roediger と Karpicke（2006年）の実験では、文章を何度も読み直した人より、読んだあとにテストで思い出した人のほうが、1週間後によく覚えていました。確認テストは、理解を確かめる場であると同時に、記憶を強める場でもあります。

AIの判定は、生徒が説明したあとに

AIに判定を任せるタイミングも、考えて決めています。

Stadexは、単元の終わりに、学んだことを生徒が自分の言葉で説明するように設計しています。AIは、その説明に欠かせない要素が入っているかを見て、理解できているかを判定します。順番が大事です。AIが先に説明するのではなく、まず生徒が説明し、AIはそれを確かめる側に回ります。

自分で考えて出した答えは、読んだだけの答えより記憶に残りやすい。このことは「生成効果」として古くから研究されてきました（Slamecka & Graf、1978年。86の研究をまとめたBertschらの分析でも確かめられています）。説明を受け取るだけでなく、自分で説明することに、学びの意味があります。

解説は、あえて書きすぎない

AIで教材をつくると、解説はいくらでも長く書けます。でも、長い解説が良い解説とは限りません。

説明の量は、多ければいいわけではありません。初心者に役立つ丁寧な説明が、力がついてきた人にはかえって逆効果になることがある。これは「熟達化反転効果」と呼ばれています（Kalyugaら、2003年）。

たとえば、私たちの解説は、その単元で身につける判断の手順と、その根拠までを書きます。関連する知識を並べて、ページを埋めることはしません。レビューでも、説明に「言い過ぎ」がないかを確かめていて、巡を重ねるほど、指摘は選択肢のつくりと解説の言い過ぎに絞られていきます。

それでも疑問が残れば、その場でAIに質問できます。そのときAIには、いま学んでいる教材の該当する部分と、その解答解説が渡されます。教材から離れた一般論ではなく、いま解いた問題に沿って答えるためです。全員に同じ長い説明を読んでもらうのではなく、足りないところを、その人が聞けるようにする。AIに質問できることを前提にすると、教材の書き方そのものが変わります。

間違えた問題は、日をあけて戻ってくる

一度に何度も繰り返すより、日をあけて思い出すほうが、記憶は長く残ります。184本の論文をまとめたCepedaら（2006年）の分析で確かめられた「分散効果」です。

Stadexは、間違えた問題が、日をあけて復習に戻ってくるように設計しています。いつ復習に戻すかは、AIの判断ではなく、あらかじめ決めたルールに従って決まります。そして「覚えた」とするのは、日をあけて、ヒントも選択肢もなしに自分で思い出せたときだけです。見ただけ、聞いただけでは「覚えた」とは判断しません。

続けやすさも、設計の一部です。復習の時間には上限を設け、その日に新しい単元を学ぶ時間を圧迫しないようにしています。できなかった日の復習を、翌日に積み上げることもしません。「未消化 ◯件」のような数字に追われて、勉強が嫌になってしまっては意味がないからです。

苦手から、その人の教材をつくる

同じ単元を学んでも、つまずくところは人によって違います。

Stadexの「My教材」は、解いた記録から苦手を予測し、その人のための教材をつくる機能として、設計を進めています。

学ぶ人の状態に合わせて問題を出し分ける学習システムは、一斉授業や教科書だけで学ぶより、成績を高める傾向があると報告されています（Maら、2014年のメタ分析）。ただし、小中高の数学では効果が小さかったという分析もあり（Steenbergen-Hu & Cooper、2013年）、いつも効くとは限りません。

出し分ける仕組みがあっても、出し分ける問題そのものの質が低ければ、意味がありません。ここでも、最初に書いた「確かめる仕組み」が土台になります。

直す速さも、品質のうち

どれだけ確かめても、誤りはゼロにはなりません。だから、見つかった誤りを、学ぶ人の手元でどれだけ早く直せるかも品質の一部です。

紙の教材は、一度刷ると、手元の紙面は直せません。学校の教科書は、おおむね4年ごとの周期で検定が行われ、それに合わせて改訂されます。誤りの訂正は途中でもできますが、すでに配られた本については、学校に訂正の内容を知らせる形になります。手元の紙面は、そのまま使われ続けます。

デジタルの教材は違います。私たちの教材では、受講者やコーチから届いた指摘を、人が確かめてから直します。アプリが最新の教材を受け取った時点で、すべての受講者の手元の教材が、直した後の版に切り替わります。直すのに、次の改訂を待つ必要はありません。正誤表を見比べてもらう必要もありません。

違いは、速さだけではありません。紙の教材では、訂正が出たことを知らないまま、誤りを覚えてしまうことがあります。デジタルの教材では、アプリが直った版を受け取れば、その後は直った教材で学べます。直すたびに、次に学ぶ人は、より良い教材で学べます。

まとめ

  • AIを使えば、教材は速くつくれる。でも、AIの誤りはもっともらしく、文章の見た目からはわからない
  • AIも人も間違える。問うべきは、つくったものを誰がどう確かめたか
  • 私たちは、教える現場の知見、観点を変えて何度も通すAIのレビュー、人の目の3つを重ねている
  • デジタルの教材は、紙面だけでは終わらない。いつ答えを見せるか、どこまで書くか、いつ復習に戻すかまでが教材
  • そして、見つかった誤りを、学ぶ人の手元ですぐに直せること

教材は、つくった日に完成するものではありません。確かめて、直して、また確かめる。その積み重ねの先に、安心して学べる教材があると、私たちは考えています。

監修：関根 郁弥（株式会社Nogifa 代表取締役CEO）

出典

  • Pardos, Z. A., & Bhandari, S. (2024). ChatGPT-generated help produces learning gains equivalent to human tutor-authored help on mathematics skills. PLOS ONE, 19(5), e0304013. https://doi.org/10.1371/journal.pone.0304013
  • Law, A. K., So, J., Lui, C. T., Choi, Y. F., Cheung, K. H., Hung, K. K., & Graham, C. A. (2025). AI versus human-generated multiple-choice questions for medical education: a cohort study in a high-stakes examination. BMC Medical Education, 25(1), 208. https://doi.org/10.1186/s12909-025-06796-6
  • Tarrant, M., & Ware, J. (2008). Impact of item-writing flaws in multiple-choice questions on student achievement in high-stakes nursing assessments. Medical Education, 42(2), 198–206. https://doi.org/10.1111/j.1365-2923.2007.02957.x
  • Zheng, L., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems 36 (Datasets and Benchmarks Track). https://arxiv.org/abs/2306.05685
  • Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.
  • Slamecka, N. J., & Graf, P. (1978). The generation effect: Delineation of a phenomenon. Journal of Experimental Psychology: Human Learning and Memory, 4(6), 592–604.
  • Bertsch, S., Pesta, B. J., Wiscott, R., & McDaniel, M. A. (2007). The generation effect: A meta-analytic review. Memory & Cognition, 35(2), 201–210.
  • Kalyuga, S., Ayres, P., Chandler, P., & Sweller, J. (2003). The expertise reversal effect. Educational Psychologist, 38(1), 23–31.
  • Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., & Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological Bulletin, 132(3), 354–380.
  • Ma, W., Adesope, O. O., Nesbit, J. C., & Liu, Q. (2014). Intelligent tutoring systems and learning outcomes: A meta-analysis. Journal of Educational Psychology, 106(4), 901–918.
  • Steenbergen-Hu, S., & Cooper, H. (2013). A meta-analysis of the effectiveness of intelligent tutoring systems on K–12 students' mathematical learning. Journal of Educational Psychology, 105(4), 970–987.
  • 文部科学省「教科書検定の趣旨」 https://www.mext.go.jp/a_menu/shotou/kyoukasho/gaiyou/04060901/1235088.htm
  • 教科用図書検定規則（第14条 検定済図書の訂正） https://laws.e-gov.go.jp/document?lawid=401M50000080020
  • 文部科学省「検定済図書の訂正内容の通知の方法について（通知）」 https://www.mext.go.jp/a_menu/shotou/kyoukasho/kentei/1401887_00005.htm
この記事を書いた人

Nogifa編集部

ほかの記事

ジャーナルの一覧へ

LINE