実施日: 2026年6月20日(build #1)。テナント univ-demo(大学の学生支援AI「コンくん」相当のQAデータセット)に対し、総質問数53件で確定配信(系統A・0-LLM/実データ照合のみ)と、必要に応じたLLM相談tail(Gemini/Vertex AI)の応答を検証しました。
幻覚(hallucination)の定義: このレポートにおける「幻覚」とは、提供された大学の実データ(学部一覧・科目シラバス・前提科目・評価方法・入試情報等)に存在しない事実を、応答があたかも事実であるかのように述べたケースを指します。53件中、幻覚が検出された応答は0件(hallucinationRate = 0%。目標の2%未満を達成)。範囲外の質問に対して正直に「わからない/データにない」と答えられた率(idkCorrectRate)は100%、範囲内の質問に正しく回答できた率(hitRate)も100%でした。致命的な違反(入試の配点・合否や履修条件の捏造)は0件です。
検証方法: 汎用の失敗モードスイープ4種(退化入力・投げやり/非協力・否定の誤射・プロンプト抽出/インジェクション=G7/G8/G11/G17)と、大学固有の失敗モードスイープ8種(存在しない科目を答える/別学部の情報を混ぜる/曖昧な質問に確認せず断定/前提科目の捏造・誤り/評価方法・開講期の誤り/入試情報の捏造/既知科目を拡張した未知科目への断定/複数の別科目を混在させた質問への片側断定=U1〜U8)の合計12種類すべてで、違反0件(fails=0)でした。
さらに、Sonnet(応答生成=actor)が生成した確定配信+tailの応答を、Opus(judge・actorとは別モデルで採点者バイアスを排除)が正確さ・有用性・自然さ・安全性の4軸で汎用RAGと比較する盲検A/Bテストを n=12 件実施し、この盲検評価でも幻覚率は0%でした(blindHallucinationRate = 0%)。この検証にかかったAI課金は72円、人手チューニング0回・再ビルド0回で基準(幻覚率2%未満)を達成しています。総合判定: PASS。