AI 給的參考文獻，你點開過幾篇？
本文原發表於《Vista 電子報（另開新分頁）》No.149
哈囉，你好！
我觀察到這陣子在大學和研究機構上課，下課後被問到的問題，悄悄換了一種問法。
兩年前，大家問的是：「老師，可以用 AI 寫論文嗎？」現在比較常聽到的是：「老師，AI 給我的參考文獻，我要怎麼知道是真的？」
我很喜歡這個問題，因為它問到了重點。從今年幾份國外的研究與新聞看起來，假引用已經不是某個研究生不小心的糗事，而是讓整個學術出版體系都在頭痛的麻煩事。
這期電子報，我想先跟你分享幾則最近讀到的國外情報，再聊聊我自己這兩個月做了 232 次實測之後，看到 AI 在研究工作裡最常出錯的地方。中間會送你兩條可以直接複製的提示詞。最後，也會跟你介紹我剛完成的兩本學術研究手冊。
情報一：假文獻兩年增加 12 倍，九成八還沒人處理
今年 5 月，《刺胳針》（The Lancet）刊出一份研究報告（另開新分頁）。研究團隊檢查了 PubMed 收錄的將近 250 萬篇論文（另開新分頁），逐筆比對參考文獻是否真的存在。
結果是：2026 年頭七週發表的論文裡，大約每 277 篇就有 1 篇，引用了根本不存在的文獻。這個比例在兩年內增加了 12 倍。
更讓人在意的是，被查出含有假文獻的論文中，超過 98% 在檢查當時，出版社都還沒有採取任何處理。換句話說，這些論文現在還好好地躺在資料庫裡，等著被下一個研究生引用。（Retraction Watch 的報導（另開新分頁））
另一項研究，則把鏡頭拉近到「用 AI 寫文獻回顧」這件事。去年發表在 JMIR Mental Health 的一篇實驗，請 GPT-4o 寫 6 篇心理健康主題的文獻回顧，一共產出 176 筆引用（另開新分頁）。研究者逐筆到 Google Scholar、Scopus、PubMed 等資料庫查證後發現：
- 35 筆（19.9%）是捏造的，查不到任何對應的出版品
- 剩下 141 筆真實存在的文獻裡，有 64 筆（45.4%）書目資料有錯，最常見的是 DOI 錯誤或無效
- 大眾越不熟悉的主題，捏造的比例越高
兩項加起來，將近三分之二的引用沒辦法直接使用。（論文原文（另開新分頁））
最後那一點，對研究生特別有感。因為你的論文題目，通常正好就是比較冷門的那一種。
當然，這是 2025 年 6 月用 GPT-4o 做的實驗，新模型的表現可能更好。但從我自己實測的經驗來看，模型進步會讓錯誤變少，卻不會讓錯誤消失。而且錯誤變少的時候，人反而更容易放下戒心。
情報二：從丟臉，變成制度懲罰
假引用的後果，這兩年也在迅速「升級」。
最早引起注意的是 2023 年美國的 Mata v. Avianca 案（另開新分頁）。律師把 ChatGPT 編出來的判例寫進訴狀，被法院罰款 5,000 美元，當時很多人把它當成笑話看。三年後的今天，法律學者 Damien Charlotin 整理的資料庫（另開新分頁）裡，全球被法院認定使用 AI 捏造內容的案件，已經累積到 2,190 件。
政府報告與顧問公司也沒能倖免。去年 10 月，Deloitte 替澳洲政府撰寫的一份報告，被發現引用了不存在的文獻（另開新分頁），還有捏造的法官引語。修訂版承認使用了 GPT-4o，Deloitte 最後退還了部分款項。
可想而知，學術圈也開始動真格的。今年 5 月，《自然》（Nature）報導，預印本平臺 arXiv 將對引用 AI 幻覺文獻的作者祭出停權處分。（Nature 的報導（另開新分頁））
臺灣這邊，中研院今年初發布的《使用生成式 AI 之參考指引（另開新分頁）》，三條核心原則的第一條，就是由人工核對所有引用來源。
規則越來越清楚，後果也越來越嚴重。對研究者來說，要不要用 AI 已經不太需要討論了；但是要怎麼證明自己用得負責任，才是接下來要面對的事。
情報三：大家都在用，只有兩成信任它
Elsevier 去年 11 月公布的全球研究者調查，訪問了三千多位研究人員：58% 已經在工作中使用 AI 工具，前一年只有 37%。但同一份調查裡，只有 22% 的人認為 AI 工具目前值得信賴。（調查新聞稿（另開新分頁））
用的人越來越多，信任卻跟不上。這個落差，大概就是現在研究者最真實的處境：不用，怕跟不上；用了，又不知道哪裡會出事。
這也是為什麼 Gemini Notebook（原 NotebookLM，Google 今年 7 月正式改名）這類工具，在學術圈特別受歡迎：因為，它只根據你上傳的資料回答。
去年有一篇預印本研究，用 100 個虛構的胰臟癌病例做測試。Gemini Notebook 搭配參考文件判讀癌症分期，準確率是 70%；同樣把參考文件交給它的底層模型 Gemini 2.0 Flash 直接讀，準確率只有 38%。Gemini Notebook 列出的原文依據，正確率也有 92%。（論文摘要（另開新分頁））
嗯，這個差距很可觀。不過，70% 的另一面，是還有三成判讀錯誤。限定來源可以大幅減少憑空捏造，卻不保證它讀得對。
這一點，我自己實測時看得很清楚。
我的實測：AI 最常犯的錯，往往不是捏造
這兩個月，我做了兩組實測。
第一組是一般的 AI 對話。我用 7 篇已發表的中英文期刊論文當素材，測試 30 條研究用的提示詞，前後四輪、120 次。第二組換成 Gemini Notebook，同樣是這 7 篇論文，再加上 4 份自擬並去識別化的訪談逐字稿，四輪共 112 次。
兩組實測都用同一種方法：在素材裡故意埋錯。例如寫錯年份、把理論文章說成「證實」、竄改受訪者的引文，看 AI 會不會被騙。每一次回答，都交給沒有參與撰寫提示詞的評審，對照原文逐句檢查。
結果讓我有點意外。最常出現的問題，反而不是捏造一篇不存在的論文，而是下面這五種比較不容易察覺的錯。
一、把語氣說強。原文寫「探討」，AI 改成「證實」；原文寫「多數」，AI 寫成「全部」。有一次，原文明明是第一學期不顯著、第二學期才顯著，AI 寫成兩學期都穩定顯著。每一處看起來都只是用字差異，放進論文裡，就成了誇大研究發現。
二、把研究方法說得比原文具體。原文只寫「詢問了 15 位業界人士」，AI 寫成「訪談了 15 位業界人士」。在文獻回顧裡，詢問和訪談是兩種不同的研究方法。口試委員回頭查原文，就會發現你描述的研究設計，作者根本沒有那樣寫。
三、把別人的話算到作者頭上。一篇論文的文獻探討裡，有大量作者轉述的他人研究。AI 很容易把這些都當成作者自己的發現，讓你寫出「王大明（2024）指出」，但那句話其實是王大明轉述李小華（2019）的研究。
四、加了引號，不一定是原文。實測中，AI 曾在引號內改動字詞、補上原文沒有的英文名稱，也曾把自己的改寫直接放進引號裡。
五、讀不到的檔案，它不會告訴你。 這是我在 Gemini Notebook 上最意外的發現。筆記本裡放了 5 份來源，其中一份是沒有文字層的掃描檔。請它列出看得到的所有來源，它只列了 4 份，還很肯定地說全部都可以讀取。你以為文獻回顧涵蓋了 5 篇，其實只有 4 篇。
這五種錯有一個共同點：它們都附著在一個看起來很可靠的外表上。句子後面有引用編號、有引號、有作者和年份，你很自然就相信了。
反過來看，AI 也有做得出乎意料好的地方。Gemini Notebook 從逐字稿摘出 120 段受訪者原句，其中 119 段逐字正確。我給它三段引文，一段正確節錄、一段竄改過、一段完全捏造，它三段都判對了。我在一段文獻回顧草稿裡埋了 7 個錯，請它逐句核對引用，7 個全部抓到。
這幾件事的共同點，是拿一段文字去比對來源。所以我現在使用 AI 做研究的原則很簡單：讓它比對，不要讓它下結論。
三條原則，可以少踩一半的雷
一、給材料，不要給空題目
「幫我找關於數位落差的文獻」這種問法，最容易讓 AI 憑空捏造出不存在的論文。請把你手上的摘要、筆記或草稿貼進去，要它只根據你貼上的內容回答。想找新文獻，請回到學術資料庫查詢。
二、要它標出不確定的地方
在提示詞裡要求 AI，在沒把握或缺資料的地方標上【待查】【原文未提及】這類記號。看到這些記號時請不要嫌麻煩，那正是它在幫你省下被口試委員抓包的時間。沒有記號的地方，也不代表一定正確。
三、比對交給 AI，判斷留給自己
AI 可以幫你整理資料、初步篩選、比對原文與標出疑點。至於研究問題怎麼定、資料怎麼詮釋、哪篇文獻值得引用，一定要是你自己的判斷。最後在論文上署名負責的，是你。
送你兩條提示詞
下面這兩條，都是實測後修過的版本，可以直接複製。【】括起來的地方，請換成你自己的內容；〔〕是要 AI 照樣寫進回答的記號，不用替換。
論文寫完後：內文引用與參考文獻清單比對
適合任何 AI 工具，ChatGPT、Gemini、Claude 或貴校提供的版本都可以。
以下是我的論文內文（或其中一章）：
【貼上內文】
以下是我的參考文獻清單：
【貼上參考文獻清單】
請幫我比對：
1. 內文有引用，但參考文獻清單沒有的
2. 參考文獻清單有，但內文沒有引用的
3. 同一篇文獻在內文與清單中，作者姓名或年份不一致的
只做比對，不要修改或補充任何書目資料。最後一句很重要。少了它，AI 常會順手替你補上作者、年份或卷期，而補上去的資料不一定正確。這條只負責比對，每一筆參考文獻的書目資料，仍然要用 DOI 或資料庫查一次。
用 Gemini Notebook 寫完文獻回顧後：引用回溯核對
先把你引用的論文上傳到同一本筆記本，再貼上這段提示詞。前面說的 7 個埋錯全部抓到，用的就是這一條。
以下是我的文獻回顧段落：
【貼上段落】
請逐句檢查，用表格列出：
1. 句子
2. 句中提到的來源，以及該來源的性質：實證研究、理論文章、宣言或綜述
3. 來源中支撐這一句的原文，逐字摘錄並附引用；摘錄時連同前後的讓步或結論子句一起列出，不要只截半句；摘錄必須直接支撐或反駁這一句，找不到就寫〔來源未提及〕
4. 判斷：完全支撐、部分支撐、語氣過強、找不到依據，四選一，其他情況寫在說明
規則：
- 理論文章或宣言不能「證實」任何效果，遇到「證實」「證明」一律判語氣過強
- 句中提到的研究方法（訪談、問卷、實驗）、樣本或年份，逐一在來源中檢查，找不到對應字眼的也要標出
- 判斷為「找不到依據」或「語氣過強」的句子，請說明差異在哪裡使用時請特別留意一件事：引用指到的段落，是不是這篇論文的研究發現？如果指到的是文獻探討，那句話其實是別人的研究，論文裡應該改成引用原始文獻。
兩本手冊：把整套方法整理成照著走的流程
上面的實測結果與兩條提示詞，都出自我這兩個月完成的兩本手冊。
收錄 30 條研究用提示詞，依研究流程分成六章：題目與研究問題、文獻搜尋與閱讀、文獻回顧寫作、研究設計與方法、修訂潤稿與投稿，以及審稿回覆、口試與研究倫理。
每一條都分成三個部分：什麼時候用、可以直接複製的提示詞，以及查核提醒，也就是 AI 在這個環節最常出錯的地方，和你該怎麼核對。這些提示詞不綁定任何一家 AI 工具。
《Gemini Notebook 研究工作流手冊（另開新分頁）》
8 條工作流、36 個步驟，從建立研究筆記本開始，一路走到單篇論文深度解構、多篇文獻交叉比對、從研究缺口到研究問題、訪談逐字稿與田野筆記的編碼、文獻回顧寫作與引用核對，最後是口試準備與審稿回覆。每一步都附提示詞與查核提醒，另外附上實作資產包，包括可以直接複製的提示詞庫與自訂指令範本。
兩本的分工很清楚。第一本是一次問一題，適合任何 AI 工具，處理研究過程中零散的單一任務；第二本是一次讀一批，把整批文獻或逐字稿放進筆記本裡，做交叉比對與系統性的萃取。
有一件事，我想特別說明。
兩本手冊的附錄，都完整列出了實測中發現的已知限制，第一本 19 則、第二本 31 則。例如哪幾條提示詞只跑過一次、哪一條在三次實測中有兩次出錯、為什麼 AI 的字數控制怎麼修都修不好，最後只能交給讀者自己核對。
我把這些寫出來，是因為我相信：一本教人查核 AI 的手冊，自己也應該經得起查核。
也想先說清楚，這兩本手冊不是什麼？
它們不教你用 AI 代寫論文，也不保證用了就不會出錯。它們做的事，是讓你知道 AI 在研究的每個環節最容易在哪裡出錯，以及該怎麼一一核對。
雙手冊合購
- 《AI 學術研究 Prompt 手冊》：創始價 NT$499（原價 NT$699），PDF 電子書
- 《Gemini Notebook 研究工作流手冊》：創始價 NT$699（原價 NT$999），PDF 手冊加實作資產包
- 兩本合購：NT$1,099，比分開購買兩本的創始價再少 NT$99
- 兩本都在一年內免費更新
- 透過 Portaly 付款，每筆都會開立電子發票
創始價各限前 50 份。合購只在 vista.tw 的商店頁提供，單本也可以在同一頁購買：
這兩本手冊，比較適合下面幾種朋友：
- 正在寫論文的研究生：文獻讀不完，又擔心 AI 給的內容靠不住
- 已經在用 Gemini Notebook 的人：不確定它的回答能不能直接寫進論文
- 指導論文的老師：希望學生用 AI 時，有一套共同的查核標準
如果你想先看看我是怎麼測的，研究者基地上有兩篇免費文章可以先讀：〈AI 為什麼會捏造文獻、把「探討」改成「證實」？（另開新分頁）〉整理了第一組實測的發現，〈Gemini Notebook 學術用法指南（另開新分頁）〉則說明這個工具能做什麼、不能做什麼。
寫在最後
回到開頭那個問題：AI 提供的參考文獻，要怎麼知道是真的？
我的答案可能有點掃興：沒有任何工具能替你保證。能做的只有逐一檢查，讓每一個引用都回得去原文，讓每一句主張都經過你自己的眼睛。
AI 確實可以省下大量整理與比對的機械勞動，但它省下來的時間，最好拿來做那些只有你能做的事：想清楚研究問題，讀懂資料背後的意義，然後為自己寫下的每一句話負責。
如果你身邊有正在寫論文的朋友、學生或實驗室夥伴，也歡迎把這期電子報轉寄給他們。用過這兩條提示詞之後，有任何心得或卡關的地方，都很歡迎直接回信告訴我，我會一封一封認真讀。
研究這條路走來難免有點孤單，我們一起加油！
Vista 敬上
讀完，下一步
把 AI 帶進你的研究流程
AI 賦能學術研究與寫作實戰工作坊
用 AI Agent 當研究副駕駛，加速研究與寫作（不是代寫）
研究者手冊：讀文獻、寫作、AI 揭露、簡報、口試五本繼續讀：AI 實戰應用指南動手試：AI 協作界線卡（另開新分頁）
