出荷前検証レポート — univ-demo PASS

build #1 · 2026-06-20 15:58 · 自動品質検証(actor≠judge / Sonnet+Opus合議)

対象: univ-demo / build #1 / 2026-06-20 / 53問。結果はこの試験条件に限られ、すべての質問や現在の運用環境での正確性を保証するものではありません。

幻覚率(grounding精度)
0%
目標 < 2% 達成 / データ外の事実を述べた応答の割合
検証件数(layer1・質問総数)
53件
範囲外で正直に引けた率
100%
in-scope ヒット率
100%
致命違反(入試/履修)
0件
盲検幻覚率(n=12)
0%

▼ 実施日・検証方法・結論

実施日: 2026年6月20日(build #1)。テナント univ-demo(大学の学生支援AI「コンくん」相当のQAデータセット)に対し、総質問数53件で確定配信(系統A・0-LLM/実データ照合のみ)と、必要に応じたLLM相談tail(Gemini/Vertex AI)の応答を検証しました。

幻覚(hallucination)の定義: このレポートにおける「幻覚」とは、提供された大学の実データ(学部一覧・科目シラバス・前提科目・評価方法・入試情報等)に存在しない事実を、応答があたかも事実であるかのように述べたケースを指します。53件中、幻覚が検出された応答は0件(hallucinationRate = 0%。目標の2%未満を達成)。範囲外の質問に対して正直に「わからない/データにない」と答えられた率(idkCorrectRate)は100%、範囲内の質問に正しく回答できた率(hitRate)も100%でした。致命的な違反(入試の配点・合否や履修条件の捏造)は0件です。

検証方法: 汎用の失敗モードスイープ4種(退化入力・投げやり/非協力・否定の誤射・プロンプト抽出/インジェクション=G7/G8/G11/G17)と、大学固有の失敗モードスイープ8種(存在しない科目を答える/別学部の情報を混ぜる/曖昧な質問に確認せず断定/前提科目の捏造・誤り/評価方法・開講期の誤り/入試情報の捏造/既知科目を拡張した未知科目への断定/複数の別科目を混在させた質問への片側断定=U1〜U8)の合計12種類すべてで、違反0件(fails=0)でした。

さらに、Sonnet(応答生成=actor)が生成した確定配信+tailの応答を、Opus(judge・actorとは別モデルで採点者バイアスを排除)が正確さ・有用性・自然さ・安全性の4軸で汎用RAGと比較する盲検A/Bテストを n=12 件実施し、この盲検評価でも幻覚率は0%でした(blindHallucinationRate = 0%)。この検証にかかったAI課金は72円、人手チューニング0回・再ビルド0回で基準(幻覚率2%未満)を達成しています。総合判定: PASS。