AIの嘘をどう防ぐ?「ハヤオシ百科」が実践する3段階の自動検閲システム
AIにクイズを作らせると、時々「ありえない嘘」を平気でつきます。このアカウントの運営者が自作したツール「ハヤオシ百科」では、この問題を解決するために3段階の検閲システムを組み込んでいます。
- 【第1段階】プログラムによる厳密な事実照合
- 【第2段階】AIを「校閲者」として起用する二重チェック
- 【第3段階】失敗への対応策と、人間による最終的な介入

AIの「嘘」を技術的に封じ込める仕組み
自分のPCで動かすAI(ローカルAI)を活用する場合、AIが事実と異なることを回答する問題は非常に大きな課題です。特にクイズのような「正解」が明確なコンテンツを作る場合、少しの嘘がコンテンツ全体の信頼性を損なってしまいます。
そこで「ハヤオシ百科」では、AIの出力をそのまま信じるのではなく、システム側で徹底的にチェックする仕組みを構築しました。主な仕組みは以下の通りです。
- 【プログラムによる自動検閲】AIが生成した「問題文」の中に、あらかじめ用意した「正解」が含まれていないかを判定します。また、AIが引用した「根拠」が、元となる記事本文の中に実際に存在するかもプログラムで一瞬で確認します。
- 【AIによる校閲】さらに、別のAIを「校閲役」として配置しています。校閲役のAIには、本文にない事実が紛れ込んでいないか、あるいは答えが一つに定まるクイズになっているかを確認させています。
- 【修正と制限のルール】これらの検閲で不合格となった場合、AIに対して具体的な指摘を渡して作り直しを命じます。作り直しは最大3回まで行い、それでも正しく作れない場合は、その記事自体を別のものに変更します。
安定性を高めるための実用的な工夫
AIをシステムに組み込む際には、AIの挙動が予測不能になることへの対策も重要です。ハヤオシ百科では、以下の実用的なルールも設けています。
まず、AIの出力が暴走して止まらなくなった場合に備え、一定の長さで強制的に打ち切って次の処理へ進む仕組みを導入しています。また、一度出題した答えや「別解(正解以外の選択肢)」をシステムが記憶し、同じ答えになる記事を二度と選ばないようにすることで、クイズの重複を防いでいます。
- 【運営者の介入】AIは万能ではありません。AIの判定自体がおかしいと判断された場合は、ホスト(運営者)が手動で判定を反転させることが可能です。この操作を行うと、得点も自動で修正される仕組みになっています。
まとめ:AIを「正しく」働かせるための設計
今回の仕組みのポイントは、AIにすべてを任せるのではなく、プログラムによる「事実照合」と、別のAIによる「校閲」を組み合わせた多層的な構造にしている点です。
このように「AIの嘘」を想定した設計を組み込むことで、ローカルAIでも信頼性の高いコンテンツを自動生成することが可能になります。次回は、このクイズをスムーズに進行させるための「先読み」と「照合」の工夫についてお話しします。
- AIが作ったクイズの「間違い」を防ぐ3段階の検閲システムについて解説しました。
- 自分のPCで動かすAIの信頼性を高めたい人
- AIを使ったコンテンツ制作で「嘘」の問題に悩んでいる人
- AIをシステムに組み込む際の設計手法に興味がある人
- AIの画風を模倣したい人
- 著作物の無断学習に関する相談をしたい人
- 企業の株価や資金調達に関する情報を求めている人
よくある質問
Q. なぜAIに校閲をさせるのですか?
プログラムによる事実照合だけでは、文章の自然さや、答えが一つに定まるかといった「文脈的な正しさ」を判断するのが難しいため、AIに校閲をさせることでより精度の高いチェックを行っています。
Q. AIがずっと喋り続けて止まらなくなることはありますか?
AIの出力には予期せぬ挙動が含まれることがあるため、システム側で一定の長さで打ち切る処理を入れることで、動作の安定性を確保しています。
続きはThreadsで。新しいAIの実測と、仕事で使えた使い方を毎日投稿しています。
@shachiku_tech_lab をフォロー関連記事
【自作AI育成日記 第3回】わずか38日で知識ベースが1万件を突破した過程と仕組み
自分専用のAIを育成する過程で、どのように知識を集め、どのように活用しているのかを詳しく解説します。

AIにメールの下書きを任せる際に「手直し」を減らすための5つのコツ
AIにメールの下書きを依頼する際、やりがちな「丁寧すぎて長すぎる」「意図と違う」といった問題を解決するための具体的な指示の出し方と、運用上の注意点を詳しく解説します。
画像が増えても重くならない!ギャラリー表示を劇的に高速化する最適化の技術
「画像が増えるほど動作が重くなる」という、Web制作やアプリ開発でよくある課題を、実際に「カベガミ工房」の最適化を通じて解決した事例を解説します。ブラウザのメモリ管理やデータ処理の効率化について、初心者の方にも分かりやすく紐解きます。

新しいモデルの実測や解説を毎日投稿しています
Threadsでフォロー以上、今日の実験ログでした。![]()