AI が提供する参考文献をクリックしたことがありますか?
この記事は元々「Vista Newsletter（新しいタブで開く）」No.149 に掲載されたものです。
こんにちは、こんにちは！
最近、大学や研究機関で授業を受けていると、授業後に聞かれる質問が、静かに違う聞き方に変わってきていることに気づきました。
2 年前、誰もが「先生、AI を使って論文を書くことはできますか?」と尋ねました。最近では、「先生、AI から与えられた参照が真実であることをどうやって知ることができますか?」ということがよく聞かれます。
この質問は核心を突いているので気に入っています。 今年のいくつかの海外研究やニュースから判断すると、虚偽引用はもはや大学院生が引き起こした恥ずかしい事件ではなく、学術出版システム全体にとって頭の痛い問題となっているようだ。
この電子ニュースレターでは、まず私が最近読んだいくつかの外国情報を皆さんと共有し、その後、過去 2 か月間に 232 件の実際のテストを実施した後、私が AI 研究活動で目にした最も一般的な間違いについて話したいと思います。 途中で、直接コピーできる 2 つのプロンプト単語が表示されます。 最後に、私が完成したばかりの 2 冊の学術研究マニュアルも紹介します。
インテリジェンス 1: 偽文書は 2 年間で 12 倍に増加しており、その 98% はまだ対処されていません。
今年5月、「The Lancet」は研究レポート（新しいタブで開く）を発表した。 研究チームは、PubMed に含まれる 約 250 万件の論文（新しいタブで開く） をチェックし、参考文献を 1 つずつ比較して、それらが実際に存在するかどうかを確認しました。
その結果、2026 年の最初の 7 週間に出版された論文 277 件に約 1 件が、存在しない文献を引用しました。 この比率は 2 年間で 12 倍に増加しました。
さらに懸念されるのは、偽文書が含まれていることが判明した論文の98％以上について、出版社が査察時に何の措置も講じていなかったことだ。 言い換えれば、これらの論文はまだデータベースに保管されており、次の大学院生によって引用されるのを待っているということです。 (撤回監視（新しいタブで開く）によるレポート)
別の研究では、「AI を使用して文献レビューを書く」ことに焦点を当てています。 昨年 JMIR Mental Health に掲載された実験では、GPT-4o にメンタルヘルスのトピックに関する 6 件の文献レビューを書くよう依頼し、合計 176 件の引用（新しいタブで開く） をもたらしました。 研究者たちは、Google Scholar、Scopus、PubMed、その他のデータベースを 1 つずつチェックし、次のことを発見しました。
- 35 件 (19.9%) は捏造されており、該当する出版物は見つかりませんでした
- 残りの 141 件の真に存在する文書のうち、64 件 (45.4%) の書誌情報に誤りがあります。最も一般的なものは、DOI エラーまたは無効なエラーです。
- あまり馴染みのない話題ほど捏造率が高くなります
合計すると、参考資料の 3 分の 2 近くは直接使用できません。 (原論文（新しいタブで開く）)
この最後の点は大学院生に特に関係があります。 なぜなら、論文のテーマは通常、比較的人気のないものであることが多いからです。
もちろん、これは 2025 年 6 月に GPT-4o を使用して行われた実験であり、新しいモデルのパフォーマンスが向上する可能性があります。 しかし、私の実測の経験から判断すると、モデルの改良により誤差は減りますが、なくなるわけではありません。 そして、間違いが少なくなると、人々は警戒を緩める可能性が高くなります。
インテリジェンス 2: 恥から組織的懲罰まで
虚偽の引用の影響も、過去 2 年間で急速に「拡大」しています。
最初に注目を集めたのは、2023 年に米国で起きた https://stli.iii.org.tw/article-detail.aspx?tp=1&d=9050&no=64（新しいタブで開く） 事件 [マタ対アビアンカ航空] でした。 弁護士はChatGPTがまとめた判例を訴状に記載し、裁判所から5,000ドルの罰金を科された。当時、多くの人がそれを冗談だと考えていました。 3年後の今日、法学者ダミアン・シャーロティンが編集したデータベース（新しいタブで開く）には、コンテンツの捏造にAIが使用されたことが世界中の裁判所で判明した事件が2,190件あった。
政府の報道会社やコンサルティング会社も例外ではありません。 昨年 10 月、デロイトがオーストラリア政府向けに作成した報告書で、存在しない文書（新しいタブで開く） が引用され、裁判官からの引用が捏造されていたことが判明しました。 改訂版では GPT-4o の使用が認められ、最終的にデロイトは金額の一部を返金しました。
学界も真剣に取り組み始めたと考えられる。 今年5月、ネイチャー誌は、プレプリントプラットフォームarXivがAI幻覚文書を引用した著者を停職処分にすると報じた。 (自然によるレポート（新しいタブで開く）)
台湾では、中央研究院が今年初めに「生成 AI の使用に関する参考ガイドライン（新しいタブで開く）」をリリースしました。 3 つの基本原則の 1 つ目は、すべての引用元を手動で確認することです。
ルールはより明確になり、その結果はより深刻になっています。 研究者にとって、AI を使用するかどうかについて議論する必要はほとんどありません。しかし、次に直面するのは、彼らが責任を持ってそれを使用していることをどのように証明するかです。
インテリジェンス 3: 誰もがそれを使用していますが、信頼しているのは 20% だけです
昨年 11 月に発表されたエルゼビアの世界的な研究者調査では、3,000 人以上の研究者にインタビューが行われ、58% がすでに仕事で AI ツールを使用していましたが、前年はわずか 37% でした。 しかし、同じ調査では、現時点で AI ツールが信頼できると考えている人は 22% のみでした。 (調査プレスリリース（新しいタブで開く）)
利用する人は増えていますが、信頼が追いつきません。 このギャップは、おそらく今日の研究者の最も現実的な状況です。このギャップを活用しないと、追いつけなくなるのではないかと恐れます。 もしそれを使ったら、何が起こるかわかりません。
これが、Gemini Notebook (以前の NotebookLM、Google は今年 7 月に正式に名前を変更しました) のようなツールが学術界で特に人気がある理由です。アップロードしたデータに基づいてのみ回答するためです。
昨年、100人の架空の膵臓がん症例をテストしたプレプリント研究がありました。 Gemini Notebook は参照ファイルを使用してがんの病期を決定し、その精度は 70% です。同様に、参照ファイルがその基礎モデルである Gemini 2.0 フラッシュに直接読み取られるように与えられた場合、精度はわずか 38% です。 Gemini Notebook に掲載されている原文も 92% 正確です。 (論文抄録（新しいタブで開く）)
まあ、その差はかなり大きいです。 しかし、70% の裏側では、まだ 30% の誤解が存在しているということです。 ソースを修飾すると、誤った情報の数を大幅に減らすことができますが、正しく読み取れることは保証されません。
これは私自身の実測でもはっきりと分かりました。
私の実際の測定値: AI が犯す最も一般的な間違いは、多くの場合、捏造ではありません。
過去 2 か月間で、実技試験を 2 セット実施しました。
最初のセットは一般的な AI 対話です。 私は出版された中国語と英語の雑誌記事 7 件を素材として使用し、30 個のリサーチプロンプトワードを 4 ラウンドで 120 回テストしました。 2 番目のグループは Gemini Notebook に切り替え、同じ 7 つの論文に加えて、4 つの自己起草および匿名化された逐語的インタビューを使用し、4 ラウンドで合計 112 のインタビューを行いました。
実際の測定の両方のグループは同じ方法を使用しました。つまり、材料に誤差を意図的に埋め込みました。 たとえば、間違った年を書いたり、理論的な論文を「確認」と呼んだり、インタビュー対象者の引用を改変してAIが騙されるかどうかを確認したりするなどです。 各回答は、プロンプトワードの作成に参加していない査読者に渡され、元のテキストに対して一文ずつチェックされます。
その結果には少し驚きました。 最も一般的な問題は、存在しない論文を捏造することではなく、比較的検出が難しい次の 5 つのエラーです。
1. 語気を強めてしまう。原文では「議論」となっていますが、AIにより「確認」に変更されます。原文は「多数派」と書きますが、AI は「全員」と書きます。 かつて、元の文明は明らかに一学期には重要ではなく、二学期にのみ重要であり、AIは両学期とも安定して重要であると書かれていました。 どこも表現の違いにすぎないようで、論文に載せると研究結果の誇張になってしまいます。
2. 研究方法を原文より具体的に書いてしまう。原文には「業界関係者 15 人に尋ねた」としか書かれていないのに、AI は「業界関係者 15 人にインタビューした」と書きました。 文献レビューでは、「尋ねる」と「インタビュー」は 2 つの異なる研究方法です。 口頭試験官が原文を振り返ると、あなたが説明した研究計画では著者がまったくそのように書いていないことがわかるでしょう。
3. 他人の言葉を著者のものにしてしまう。論文の文献レビューには、著者が報告した他の人の研究が多数含まれています。 AI はこれらを著者自身の研究結果であると簡単にみなし、「王大明 (2024) の指摘」と書くよう求めますが、その文は実際には王大明が李暁華 (2019) の研究を言い換えたものです。
4. 引用符があっても原文とは限らない。実際のテストでは、AI は引用符内の単語を変更したり、原文にない英語名を追加したり、独自の書き換えを引用符内に直接入れたりしています。
5. 読めなかったファイルがあっても教えてくれない。これは、Gemini Notebook に関する私の最も予期せぬ発見でした。 ノートブックには 5 つのソースがあり、そのうちの 1 つはテキスト レイヤーのないスキャンされたファイルです。 表示できるすべてのソースをリストするように要求すると、リストされるのは 4 つだけで、それらはすべて読み取ることができると間違いなく表示されます。 文献レビューでは 5 つの記事がカバーされていると思っていましたが、実際には 4 つの記事しかカバーされていませんでした。
これら 5 つの間違いには 1 つの共通点があります。それは、それらがすべて信頼性の高い外観に関連付けられているということです。 文章の後に引用番号、引用符、著者、年が記載されているので、自然と信じてしまいます。
一方で、AIは意外とうまくやってくれることもあります。 Gemini Notebook は、インタビュー対象者からの原文 120 文を逐語草案から抽出し、そのうち 119 文が逐語的に正しかった。 私はそれに 3 つの引用を与え、1 つは正しい抜粋、1 つは変更、1 つは完全に捏造でしたが、3 つすべてが正解でした。 文献レビューの草稿に 7 つの間違いを埋めて、一文ずつ引用をチェックするよう依頼したところ、7 つすべてが見つかりました。
これらに共通するのは、テキストを取り出してソースと比較することです。 したがって、研究に AI を使用する私の現在の原則はシンプルです。結論を導き出させず、比較してみましょう。
3 つの原則は、トラブルの半分を回避するのに役立ちます
1. 資料を提供し、空虚な質問をしないでください
「デジタルギャップに関する文献を見つけるのを手伝ってください」というのは、AI が存在しない論文を何もないところから捏造する最も簡単な方法です。 お手元にある要約、メモ、または草稿を貼り付けて、投稿された内容にのみ基づいて回答してもらいます。 新しい文献を見つけたい場合は、学術データベースに戻って検索してください。
2. 不確実な領域をマークするように依頼します
セリフの中で、不明な点や情報が不足している箇所に、【調査中】や【原文未記載】などのマークをAIに付けてもらいます。 これらのマークを見ても、口頭試験委員会に引っかかる時間を節約できるので、気にしないでください。 マークがない場合は、必ずしも正しいとは限りません。
3. 比較はAIに任せ、判断は自分に任せる
AIは、情報の整理、事前審査、原文の比較、疑問点の抽出を支援します。 研究課題をどのように決定するか、データをどのように解釈するか、どの文書を引用する価値があるかについては、ご自身の判断でなければなりません。 最終的に、書類に署名する責任があるのはあなたです。
思い出させる言葉を 2 つお伝えします
次の 2 つは実際のテスト後の改訂版であり、そのままコピーできます。 [] 内の括弧を独自の内容に置き換えてください。 []はAIに置き換えずに通常通り解答を書くことを要求するマークです。
論文執筆後: 本文中の引用文献と参考文献リストを比較する
ChatGPT、Gemini、Claude、または学校が提供するバージョンの AI ツールに適しています。
以下是我的論文內文（或其中一章）：
【貼上內文】
以下是我的參考文獻清單：
【貼上參考文獻清單】
請幫我比對：
1. 內文有引用，但參考文獻清單沒有的
2. 參考文獻清單有，但內文沒有引用的
3. 同一篇文獻在內文與清單中，作者姓名或年份不一致的
只做比對，不要修改或補充任何書目資料。最後の一文が重要です。 これがないと、AI が著者、年、巻数を追加してくれることがよくありますが、追加された情報が正しくない可能性があります。 この記事は比較のみを目的としています。各参考文献の書誌情報は、DOI またはデータベースを使用して確認する必要があります。
Gemini Notebook を使用して文献レビューを書いた後: 引用バックチェック
まず、引用した論文を同じノートブックにアップロードしてから、このプロンプトを貼り付けます。 私はこれを使用して、前述の 7 つの埋もれた間違いをすべて見つけました。
以下是我的文獻回顧段落：
【貼上段落】
請逐句檢查，用表格列出：
1. 句子
2. 句中提到的來源，以及該來源的性質：實證研究、理論文章、宣言或綜述
3. 來源中支撐這一句的原文，逐字摘錄並附引用；摘錄時連同前後的讓步或結論子句一起列出，不要只截半句；摘錄必須直接支撐或反駁這一句，找不到就寫〔來源未提及〕
4. 判斷：完全支撐、部分支撐、語氣過強、找不到依據，四選一，其他情況寫在說明
規則：
- 理論文章或宣言不能「證實」任何效果，遇到「證實」「證明」一律判語氣過強
- 句中提到的研究方法（訪談、問卷、實驗）、樣本或年份，逐一在來源中檢查，找不到對應字眼的也要標出
- 判斷為「找不到依據」或「語氣過強」的句子，請說明差異在哪裡使用する際には次の点に特に注意してください: 引用文が指す箇所はこの論文の研究結果ですか? もし文献レビューの部分を指しているなら、その一文は実は他人の研究なので、論文では原典を引用するように直すべきです。
2 つのマニュアル: メソッド全体を従うべきプロセスにまとめる
実際の測定結果と上記の 2 つのプロンプト ワードはすべて、過去 2 か月で完成した 2 つのマニュアルからのものです。
研究用プロンプト 30 本を収録し、研究の流れに沿って 6 章に分けています：テーマとリサーチクエスチョン、文献検索と読解、文献レビューの執筆、研究デザインと方法、改訂・推敲と投稿、そして査読への回答、口頭試問と研究倫理です。
各プロンプトは 3 つのパートに分かれています：いつ使うか、そのままコピーできるプロンプト、そしてチェックのポイント（その工程で AI が最も間違えやすい箇所と、その確認方法）です。これらのプロンプトの言葉は、AI ツールに拘束されません。
《Gemini Notebook 研究ワークフロー マニュアル（新しいタブで開く）》
8 つのワークフロー、36 のステップで構成され、研究用ノートブックの作成から始まり、1 本の論文の徹底的な分解、複数文献の相互比較、研究ギャップからリサーチクエスチョンへ、インタビュー逐語録とフィールドノートのコーディング、文献レビューの執筆と引用チェック、そして最後に口頭試問の準備と査読への回答まで進みます。各ステップには、プロンプト ワードと検証リマインダーのほか、プロンプト ワード ライブラリや直接コピーできるカスタマイズされたコマンド テンプレートを含む実装資産パッケージが付属しています。
この 2 冊の本の役割分担は非常に明確です。 1 つ目は、研究プロセスで散在する単一タスクを処理するために、どの AI ツールにも適した、一度に 1 つの質問をすることです。 2 冊目は一度にまとめて読むためのもので、文献や逐語録をまるごとノートブックに入れ、相互比較と体系的な抽出を行います。
特に指摘しておきたいことが一つあります。
両方のマニュアルの付録には、実際の測定で見つかった既知の制限が完全にリストされており、最初のマニュアルでは 19 件、2 番目のマニュアルでは 31 件が挙げられています。 たとえば、どのプロンプトが 1 回しか試していないか、どのプロンプトが 3 回のテストで 2 回間違えたか、そしてなぜ AI の文字数制御はどう直しても直らなかったのか、といったことです。最終的には読者が自分で確認するしかありません。
AIをチェックするためのマニュアルは、レビュー自体にも耐えられるものでなければならないと考えているので、このようなことを書いています。
また、最初に明確にしておきたいのですが、これら 2 つのマニュアルにないものは何ですか?
AI を使って論文を書く方法を教えてくれるわけでも、AI を使っても間違いを犯さないという保証もありません。彼らがやっているのは、研究のあらゆる側面において AI が間違いを犯す可能性が最も高い場所と、それを 1 つずつチェックする方法を知らせることです。
2 つのマニュアルをまとめて購入する
- 「AI学術研究プロンプトマニュアル」：開始価格NT$499（元の価格NT$699）、PDF電子書籍
- 「Gemini Notebook 研究ワークフロー マニュアル」: 開始価格 NT$699 (元の価格 NT$999)、PDF マニュアルと実装アセット パッケージ
- 2 冊をまとめて購入: NT$1,099。これは、2 冊を別々に購入した場合の元の価格より NT$99 割引されます。
- どちらの本も 1 年以内に無料で更新されます
- Portaly を通じて支払うと、取引ごとに電子請求書が発行されます
初価格は各先着50部限定。 一括購入は vista.tw のストア ページ でのみ利用可能で、同じページで個別に購入することもできます。
これら 2 つのマニュアルは、次のタイプの友人に適しています。
・論文執筆中の大学院生：文献を読み終えることができないし、AIが提供する内容が信頼できないのではないかと心配です。 ・すでにジェミニノートを使っている人：答えを紙に直接書き込めるかわからない ・論文指導教員：AIを活用する際の共通の評価基準を学生に持ってもらいたいと思っています。
私がどのようにテストしたのかを先に知りたい方は、研究者向けサイトの無料記事を 2 本どうぞ。〈AI はなぜ文献を捏造し、「探討」を「実証」に書き換えるのか？（新しいタブで開く）〉では 1 組目のテスト結果をまとめ、〈Gemini Notebook 学術活用ガイド（新しいタブで開く）〉ではこのツールでできること・できないことを説明しています。
最後に書きます
冒頭の質問に戻ります。AI によって提供される参照が真実であることはどのようにしてわかりますか?
私の答えは少し残念かもしれません。それを保証できるツールはありません。 あなたにできることは、それらを 1 つずつチェックすることだけです。 そうすれば、すべての引用が元のテキストに遡り、すべての発言が自分の目で確認できるようになります。
AI は整理や照合といった機械的な作業を大幅に省いてくれます。でも、それで浮いた時間は、あなたにしかできないことに使うのがいちばんです：研究課題をしっかり考え抜き、データの背後にある意味を読み解き、そして自分が書いた一文一文に責任を持つことです。
論文を執筆している友人、学生、研究室パートナーがいる場合は、このニュースレターを彼らに転送することもできます。 これら 2 つの即座の言葉を使用した後、何か考えや行き詰まった点があれば、私に直接返信してください。一つ一つ注意深く読みます。
研究の道はどうしても寂しいものですが、一緒に頑張りましょう！
敬具、ビスタ
