AIのハルシネーションを、別のAIのレビューで減らす方法
AIのもっともらしい間違い（ハルシネーション）は、別のAIにレビューさせる手順で減らせます。別の会話で頼む、誤りを見つける役を与える、一次資料の根拠に当てさせる、経緯は渡さない。そのまま使える指示文つきで手順を書きました。
私はAIに作らせた文章や仕組みを、世に出す前に、別のAIにレビューさせています。
レビュー役のAIには「誤りを探す立場」を与えます。この運用で、仕組みの抜けや、書いてはいけない表現を、出す直前に拾ってきました。
結論、AIのもっともらしい間違いは、別のAIにレビューさせることで減らせます。
ただし頼み方には4つの条件があります。条件を満たさずに「確認して」と頼むだけでは、あまり効きません。
私は上場企業でマーケティング責任者を務め、月間1億円規模の広告費を統括していました。責任者になる前は自分で運用も担当していました。現在はMarket Engineering代表として、GA4/GTM/sGTM等の広告計測設計、広告運用代行、広告運用のインハウス移行を北九州・大阪の2拠点で支援しています。最近はAIにも力を入れており、自社の業務を生成AIで仕組み化して運用しながら、経営者向けに1対1のAIコーチングを行っています。
① AIの「もっともらしい間違い」とは何か
AIが、存在しない事実や仕様を、本当にあるかのように答えることを「ハルシネーション」と呼びます。AIを仕事に使ううえで、一番気をつけるべき性質の一つです。
厄介なのは、間違った答えも、正しい答えと同じ口調で返ってくることです。存在しない機能の操作手順、実在しない条文、ありそうな数字。どれも自信のある文章で出てきます。
チャットでAIと会話しているだけだと、間違いに気づけません。答えがそれらしいほど、わざわざ確かめる理由が見つからないからです。
では、どうすれば減らせるのか？ 私が使っているのが、別のAIにレビューさせる方法です。
② 別のAIにレビューさせると、なぜ減るのか
同じ会話の中で「見直してください」と頼むと、AIは自分がさっき書いた答えに沿って見直しがちです。前提を共有しているので、前提ごと間違っていても気づきにくいんですよね。
別の会話のAIは、その前提を持っていません。答えだけを渡されて「誤りを探してください」と頼まれれば、書いた側とは違う角度から読みます。
存在しない仕様や実在しない数字は、公式の資料や原文と照らせば見つかります。この種類の間違いは、レビュー役のAIに根拠を確かめさせることで減らせると考えています。
ただし、レビュー役のAIも同じような資料で学んでいます。同じ系統のAIは、同じ間違いを同じように「正しい」と判断することがあります。なので、根拠に当てさせないレビューは効きが薄いです。
③ レビューを効かせる4つの条件
私の運用では、次の4つをそろえています。
1. 作ったときとは別の会話でレビューさせる
作ったときと同じ会話では、②で書いたとおり前提ごと引き継がれます。私は、作った経緯を知らない、別の会話のAIにレビューさせています。
別のモデル（AIの種類）も選べるなら、別のモデルに依頼したほうがよいと考えています。ChatGPTとClaudeのように製品を変えても、同じ製品の中で別のモデルを選んでもかまいません。
2. 「誤りを見つける役」と役割を書く
役割を書かずに「確認してください」とだけ頼むと、AIは良い点を挙げて終わることがあります。
「あなたはこの回答の誤りを見つける役です」と、何をする役なのかを書きます。レビューの目的が同意ではなく、誤りを見つけることだとAIに伝わります。
3. 根拠に当てさせる
レビュー役のAIも、もっともらしく間違えます。なので、指摘には必ず根拠を付けさせます。
根拠は、一次資料（公式の仕様書、法令や契約の原文、自社の実データのように、元になる資料そのもの）にします。まとめ記事や、AI自身の説明は根拠に数えません。根拠を示せない指摘は採用せず、保留にして、必要なら自分で調べます。
4. 作った経緯や「正しいはず」という前提を渡さない
レビューに作ったときの経緯や意図を渡すと、レビュー役のAIは、書いた側の前提を正しいものとして読んでしまいます。それでは、前提ごと間違っている誤りが見つかりません。
渡すのは、レビューしてほしい回答と、確かめるための根拠、判断の材料になる自社の事実です。渡さないのは「作った経緯」と「正しいはず」という前提です。
どこまでレビューにかけるか
私は、外に出る文章や本番に載せる仕組みについては、この条件をそろえた別のAIのレビューを、出す直前の必須の工程にしています。
ただ、レビューには時間とAIの利用料がかかります。社内のメモのように、間違えても影響の小さいものにまで毎回かけると、コスパが合いません。出したら戻せないもの、外に出るものに絞るのが現実的です。
④ そのまま使える3つの手順
4つの条件を、チャットだけでできる手順にしました。
手順1. 新しい会話を開き、回答だけを貼る（条件1・4）
最初の回答をもらった会話とは別に、新しい会話を開きます。別の製品のAIが使えるなら、そちらでもかまいません。
貼るのは回答の本文だけです。作った経緯は伝えません。
手順2. 役割と根拠を指定して頼む（条件2・3）
回答の下に、次の指示文を付けます。
あなたはこの回答の誤りを見つける役です。
誤りと、その根拠になる一次資料を挙げてください。
根拠が示せない指摘は「不明」と書いてください。
レビュー役のAIも、存在しない出典を作ることがあります。これ自体が、ハルシネーションの典型です。なので、挙がった出典は、まず実在するかを確かめます。
返ってきた指摘のうち、根拠の一次資料が示されたものは、その資料を自分で開いて該当箇所を確かめます。資料に該当する記述がなければ、その指摘は採用しないほうが安全です。根拠が示せない「不明」の指摘は採用せず、保留にして、必要なら自分で調べます。
手順3. 判断の材料になる自社の事実を渡す（条件4）
回答が自社の判断に関わるなら、判断の材料になる自社の事実をレビュー役のAIにも渡します。渡さないのは「作った経緯」と「正しいはず」という前提で、事実は渡します。
前提となる自社の事実は次のとおりです。
【ここに自社の事実を書く】
（書く内容の例: 商品ごとの売上の内訳、取引先との約束、社内の決まりごと。この行は消して送る）
この事実と矛盾する箇所があれば、あわせて挙げてください。
事実を渡さないと、レビュー役のAIも一般論で補って判断します。この手順を入れると、一般論としては正しくても自社の状況には当てはまらない間違いも拾いやすくなります。
往復は2回までで止める
指摘を直して、もう一度同じ手順でレビューにかけます。往復は2回までで止めるのがおすすめです。
2回で収まらないときは、最初の頼み方や前提の切り方が悪い可能性が高いと考えています。レビューを重ねるより、最初の質問に戻って組み直します。
よくある反論への回答
「レビューにもAIを使うと、手間も費用も倍になりませんか？」
増えるのはそのとおりです。ただ、レビューは一から作るより短く済みます。間違いが許されない調べ物など使い所を考える必要があります。
なので③の最後に書いたとおり、出したら戻せないもの、外に出るものに絞ってかけます。すべての回答にかける必要はありません。
「同じAIに見直してもらえば十分では？ 別のAIでも同じ間違いをするのでは？」
同じ会話で見直させても、同じ前提のまま読み返すので、見つかる間違いは限られます。別のAIでも同じ間違いをする可能性はありますが、人間と同じで複数人で議論することで間違いを訂正できる可能性が高まります。ただ、同じ系統のAIなら同じ間違いを共有することもあるので、根拠の一次資料を出させて、自分で開くところまでを手順に入れています。
私は、定期的に動く本番の仕組みについては、作ったAIの「できました」という報告や、テストが通ったことだけを根拠にしないことにしています。作ったAIとは別のAIに、壊れ方を探させてから出します。
「結局、最後に人が確認するなら、AIにレビューさせる意味はないのでは？」
人の確認がなくならないのは、そのとおりです。変わるのは、確認する範囲です。
調べればわかる間違いをAIのレビューに任せられれば、人はこの後の節で書く「自分しか知らないこと」に時間を使えます。全文を同じ熱量で読むより、見落としは減ると考えています。
また、どんなアウトプットも人間が確認すべきです。なぜならAIは間違っていたときの責任をとってくれず、AIが作成したものでも、あなたの名前で世に出るので、そのあなたが確認すべきだからです。
⑤ 別のAIでも見つけられない間違い
この手順でも残る間違いがあります。正解が、AIの調べられる場所にない間違いです。
このブログの記事の下書きをAIに書かせたとき、私が計測を立て直したときの話を、AIが「止められる単位を全部洗い出して止めました」と書いたことがあります。実際には、改善が可能な単位で成果を全て洗い出したうえで、優先度の低いものは停止し、優先度の高いものの改善を優先しています。
この文は、下書きのまま、私が読むまで残っていました。私がどう判断したかは、どこにも書かれていないので、事実を渡されていないレビュー役のAIには見つけられません。
自社の数字、取引先の事情、自分や社員が実際に何をしたか。AIの答えにこうした内容が含まれていたら、特にそこは自分で確かめてください。
まとめ
AIのもっともらしい間違いは、別のAIにレビューさせる手順で減らせます。効かせる条件は、別の会話で、誤りを見つける役を与え、根拠の一次資料に当てさせ、作った経緯は渡さず自社の事実は渡すことです。
この手順が回れば、AIの答えを受け取って終わる使い方から一歩進んで、AIに任せられる仕事の範囲が広がります。
作る、レビューする、人が確かめる。この段取りは、自社の業務に合わせて組む必要があります。
部下の中には「人に見せる前にAIのレビューを1度通せ」と指示しても、そのまま出してしまう方もいらっしゃるでしょう。もしかしたらあなたがそうかもしれません。
ですが、AIによるレビューを自動で行うように設定する方法もあります。
1対1のAIコーチングでは、伴走しながら、そういった複雑な指示や自分の複雑な業務をAIに任せられるようにする方法をお伝えしています。
自社の業務にどう当てはめるか相談したい方は、30分の無料相談も受け付けています。