AI 系統能否做到良好校准？從超級預測者經驗看 LLM 信心分數

重點摘要

• 校准意指「陳述的信心」與「實際準確率」之間的落差，而目前的語言模型常說「非常可能」，卻沒有可靠的發生頻率作為依據。
• 超級預測者證明，校准是一種可訓練、可衡量的紀律，建立在追蹤、評分與隨時間更新預測之上。
• LLM 信心分數尚不足以作為可信的決策輸入，因為它們很少對應明確的參考類別、評分歷史或不確定性預算。
• 實務上的改善，需要把 AI 信心當成一個必須被工程化與稽核的產品功能，而不是模型與生俱來的性質。
• 使用者應把模型的信心視為多個微弱訊號之一，特別是在高風險或受監管的場景中。

1. 緒論

向大型語言模型提出一個事實性問題，它可能流利而肯定地回答。向它詢問一個未來事件，它可能給出一個聽起來很精確的機率。然而，任何看過模型信心滿滿地給出錯誤答案的人，都知道問題所在：信心分數感覺很權威，即使底層判斷其實很脆弱。

這對在研究、客服、法律審查、醫療分流、風險評估與內容生成等領域使用 AI 的團隊，形成了實務上的兩難。我們希望模型不只告訴我們它「怎麼想」，還要告訴我們「該多相信」這個想法。用技術術語來說，我們希望它們「校准良好」：當系統說某事非常可能時，它應該非常頻繁地正確；當系統說某事不確定時，結果應該經常落在其主要預測之外。

人類校准的參考點，是「超級預測者」傳統——一群對真實世界事件做出機率預測、並隨時間被評分的人。他們的做法像一面有用的鏡子，映照出目前 AI 系統所欠缺的部分，也為更好的 AI 校准提供了一張路線圖。

本文探討 AI 系統是否可能做到良好校准、超級預測者有哪些不同做法、LLM 信心分數目前如何運作、在哪些地方失效，以及產品團隊與使用者在實務上可以採取什麼行動。

2. 校准的真正意義——以及為什麼 LLM 難以做到

核心結論

一個模型可以平均而言很準確，卻仍然校准不良。校准是一項獨立的性質：它問的是，系統所賦予的信心，是否與「在所有被賦予相同信心的案例中，實際正確的頻率」一致。

說明

可以把校准想成一條稽核軌跡。如果系統對一百個預測都賦予「非常可能」，校准問的是：這一百個預測中，有幾個後來是正確的？如果系統校准良好，「非常可能」應該意味著高而一致的命中率，而不只是一種流暢的整體感覺。

目前的 LLM 主要是為了預測序列中的下一個 token 而訓練。在訓練過程中，它們學到的是語言模式，而不是「已陳述機率」與「真實世界結果」之間有紀律的關係。當模型後來表示「我有九成信心」時，那個數字往往是作為合理文字被生成的，而不是檢查過相似預測的參考類別及其歷史準確率之後的結果。

這之所以重要，是因為使用者傾向把信心分數詮釋為來自某種測量過程的產物。實務上，那個數字可能反映的是：

• 文字模式的流暢度或熟悉度。
• 提示詞暗示確定性的強弱。
• 相似措辭在訓練資料中出現的頻率。
• 模型自身的內部 token 機率，而那是衡量「下一個 token 的可能性」，不是事實正確性。

這些都不會自動產生校准。

實務建議

在依賴 LLM 信心分數之前，先問它是由什麼過程產生的。如果答案是「模型把它當成文字生成出來的」，那就把它視為一種語言表達，而非經過驗證的機率。團隊應區分兩個問題：

1. 答案在事實上是否正確？
2. 信心分數是否有意義？

前者通常可以透過檢索或人工審查來確認。後者則需要評分歷史，而大多數系統目前並未維護這類紀錄。

3. 超級預測者的啟示：校准是一門紀律

核心結論

超級預測者證明，良好的校准是一種可衡量、可改善的實踐，而非天生特質。他們的方法可以轉化為對 AI 系統的具體要求。

說明

超級預測起源於長期的預測競賽，參與者針對真實世界問題賦予機率，例如某位領導人是否會繼續在位、某項法案是否會通過、某個市場是否會突破特定門檻。預測者被評分的依據，不只是他們是否正確，更包括他們的機率在大量預測中是否與結果相符。

有幾項做法讓校准良好的預測者與眾不同：

• 追蹤與評分：預測者會保留紀錄。他們知道過去幾次自己說「幾乎確定」時，實際發生了什麼。這種回饋迴圈對校准至關重要。
• 界定參考類別：優秀的預測者會以「在類似條件下，這類事件發生的頻率有多高」來思考。這個參考類別為他們的機率定錨。
• 漸進式更新：當新資訊出現時，預測者以小幅度調整機率，而不是在極端之間來回翻轉。
• 誠實量化不確定性：機率不是一種避險說法，而是對頻率的主張。熟練的預測者會以日後可驗證的方式陳述不確定性。
• 區分內部觀點與外部觀點：內部觀點聚焦在單一案例的細節；外部觀點則問歷史上相似案例的表現。良好的校准通常更依賴外部觀點。

LLM 與這些做法對應得很差。它們不會維護個人的評分歷史。它們通常不會在回答前界定參考類別。除非提示詞明確要求，否則它們不會以可追溯的方式更新信念。而它們的「內部觀點」往往只是文字模式中最可能的延續。

實務建議

團隊可以借用超級預測者的方法，在模型外圍建立一層校准機制：

• 記錄每一個高風險預測，連同模型陳述的信心。
• 事後回顧評分，檢視陳述的信心是否與結果相符。
• 建立提示模板，強制模型在給出機率之前先回答參考類別問題。
• 要求模型說明脈絡中出現了哪些證據，而不是只憑記憶回答。

這樣就能把校准從抽象性質轉化為可操作的流程。

4. LLM 信心分數目前的運作方式——以及哪裡會出問題

核心結論

LLM 信心分數在產品中有幾種技術形式，但大多不是為了超級預測者所實踐的那種結果校准而設計。

說明

目前產品中至少有三種常見的 LLM 信心表達方式：

1. 語言化信心：模型說「我相當有信心」、「很可能」或「不確定」。這些字詞是作為文字生成出來的，沒有固定的數值意義。

2. Token 層級機率：在生成過程中，模型會為候選 token 賦予機率。這對下一個 token 的不確定性提供了真實訊號，但並不直接衡量事實正確性。模型可能對一個信心滿滿的錯誤答案賦予很高的 token 機率，因為那個錯誤答案看起來像流暢且符合預期的文字。

3. 自我評估提示：有些系統會請模型檢視自己的答案並賦予分數。這可以捕捉明顯的錯誤，但仍然是生成出來的判斷。模型可能對「自己是對的」這件事信心滿滿地出錯，也可能對「自己是錯的」這件事出錯。

界線很清楚：這些全都是代理指標。沒有一個自動包含歷史紀錄、明確的參考類別或外顯的不確定性預算。這就是為什麼模型可以說「非常可能」，卻沒有可靠的頻率作為依據。

實務建議

在評估用於信任攸關場景的 AI 系統時，請問供應商或工程團隊：

• 信心分數究竟衡量的是什麼？
• 背後是否有評分歷史或評估集？
• 信心分數是否經過校准測試，還是只測試過準確率？
• 使用者能否看到支持模型信心的證據？

如果得不到這些答案，就把信心分數當成微弱訊號，而非決策準則。

5. 關鍵比較：超級預測者校准 vs. LLM 信心

下表彙整主要差異。這裡刻意採質性描述，因為校准取決於程序，而非單一數字。

對產品團隊的意義

這張表指向的是設計落差，而不只是模型品質落差。一個模型可能在語言生成上非常強大，卻仍缺乏讓校准成為可能的基礎設施。想要校准 AI 的團隊，應思考四個層次：

1. 預測記錄：儲存高風險模型輸出、信心分數與最終結果。
2. 結果評分：定期衡量信心分數是否與結果相符。
3. 校准提示：要求模型在給出機率之前，先陳述其參考類別與證據。
4. 人工把關關卡：將低信心或高影響的案例轉送給審查者，並訂定明確的升級標準。

6. 實務界線條件與法規脈絡

核心結論

校准不只是技術理想。在某些司法管轄區，生成式 AI 服務提供者已經面臨資料品質、使用者引導與內容治理等義務。這些責任使得信心處理成為合規議題，而不只是使用者體驗偏好。

說明

以中國《生成式人工智能服務管理暫行辦法》為例，提供者必須採取有效措施提升訓練資料品質，並增強資料的真實性、準確性、客觀性與多樣性。同時，提供者也必須引導使用者科學、理性地認識生成式 AI 技術，並防止未成年人等特定群體過度依賴。

就本文而言，相關原則是：如果提供者必須協助使用者理性理解技術，那麼把信心分數呈現得像是經過驗證的機率，反而可能造成過度依賴。看到高信心百分比的使用者，可能在底層機制不足以支持這種信任的情況下，依然據以行動。

暫行辦法也涉及資料標註品質。提供者必須制定清晰、具體、可操作的標註規則，進行品質評估，並抽驗標註內容的準確性。這凸顯了一個更廣泛的重點：校准高度依賴資料如何被標註與品質控管。如果標註者對於「什麼算確定、什麼算不確定」的判斷不一致，模型就無法學到「措辭與可靠性」之間的穩定對應。

實務建議

打造 AI 產品的團隊應記錄：

• 信心分數如何生成、代表什麼意義。
• 這些分數有哪些限制。
• 使用者在何種情況下應尋求人工審查或額外驗證。
• 低信心或不確定輸出如何處理。

這些文件同時有助於使用者信任與法規責任，也為日後的校准稽核奠定基礎。

7. 邁向更佳 AI 校准之路

核心結論

AI 系統可以變得「校准得更好」，但大概不是單靠把模型做得更大或更流暢就能達成。改善需要建立超級預測者所使用的評分、回饋與參考類別基礎設施，並將其嵌入產品之中。

說明

幾個實務方向已經浮現，雖然沒有一個是完整解方：

• 校准資料集：建立已知結果的測試集，衡量模型信心是否在各信心水準上追蹤準確率。
• 語言化定錨：以明確的機率語言取代模糊用語，並訓練或提示模型一致地使用該語言。
• 檢索支撐的信心：將模型建立在來源資料之上，並相對於「來源資料是否支持答案」來表達信心。這樣可以減少信心滿滿的捏造。
• 不確定性拆解：有些系統可以區分「偶然不確定性」——世界本身具有的隨機性——與「認知不確定性」——模型本身缺乏知識。了解差異有助於使用者判斷需要更多資料，還是更多謹慎。
• 人機迴圈評分：在高風險領域，將不確定或高影響的預測轉送給人類預測者，由他們應用前述的參考類別與更新做法。

這些方法都不會把 LLM 變成超級預測者，但合在一起，可以把系統從「附帶百分比的流暢斷言」，推向「具有可追溯基礎的陳述信心」。

實務建議

從小處著手。選擇一個高價值使用情境，例如客服回答正確率、合約條款風險，或其他可以記錄結果的領域。實作一個簡單的校准稽核：

1. 記錄一批案例中模型的答案與信心。
2. 由審查者判定正確結果。
3. 比較該批次中陳述的信心與實際準確率。
4. 根據落差調整提示詞、證據要求或升級規則。

這個迴圈比任何單一模型升級都更有價值，因為它建立的是大多數 LLM 部署最缺乏的東西：信心與結果之間可衡量的關係。

8. 常見問題

問 1：大型語言模型真的有可能做到良好校准嗎？

取決於「良好校准」的定義。如果指的是「產生的信心分數能可靠地對應結果頻率」，那麼答案是有條件的：這需要目前大多數部署都不具備的基礎設施。模型需要明確的參考類別、持久的評分歷史、結果回饋，以及有紀律的機率更新方式。這些是流程特徵，不只是模型特徵。因此合理的答案是：是的，一個包含 LLM 的系統可以變得校准得更好，但前提是校准被當成模型外圍的明確層次來加以工程化。

問 2：為什麼 LLM 在犯錯時有時聽起來仍然很有信心？

流暢不等於校准。LLM 被訓練來產生文字的合理延續，而信心滿滿的措辭往往是高度合理的延續。一個用流暢、熟悉語言表達的錯誤答案，很容易獲得高 token 機率。模型也可能只是反映了訓練資料中的確定性風格，而非檢查證據。這就是為什麼語言化信心與 token 機率可能與實際正確性脫節。

問 3：我現在能做些什麼，避免被 LLM 信心分數誤導？

在了解信心分數是如何生成之前，把信心分數當成微弱訊號。在高風險決策中，要求系統展示其證據或來源，將不確定案例轉送給人類審查者，並隨時間記錄陳述的信心與實際結果。如果工具不允許這種稽核，就降低對其陳述確定性的依賴，並與權威來源交叉比對。

問 4：有沒有法規上的理由需要在意 AI 校准？

有。在某些司法管轄區，提供者必須改善訓練資料的真實性、準確性、客觀性與多樣性，並引導使用者理性理解生成式 AI。將未經校准的信心呈現得像是經過驗證，可能助長過度依賴，並削弱使用者保護。記錄信心分數如何運作、何時不應信任，是履行這些責任的實務步驟。

9. 結論

「AI 系統能否做到良好校准？」其實是兩個問題。一個關於能力：我們能否建立信心分數能追蹤真實世界結果的系統？答案是謹慎的肯定，但前提是我們把評分、回饋與參考類別實踐內建到產品中。另一個問題關於當前行為：我們是否應該信任現今典型 LLM 產出的信心分數？答案是否定的，除非有額外驗證。

超級預測者提醒我們，校准是一門紀律。它需要紀錄、回饋、誠實的不確定性與漸進式更新。大多數 LLM 完全沒有內建這些東西。它們有的是流暢的語言，這很有用，但不等於值得信賴的信心。

務實的前進之路，不是要求模型做到完美校准，而是建立讓校准可衡量的系統。記錄預測、評分結果、調整提示與升級規則、以證據支撐信心、記錄限制。這樣，AI 信心才能從一個聽起來合理的數字，演變成值得尊重的決策輸入。