模型實測 · 文件分析推理

整理會議記錄、分析文件,該用哪個 AI 模型?|七款模型同一份逐字稿實測,文件分析推理的分工與固定考題做法

我用自己每天的真實工作出考卷,讓六款模型考前三題、七款模型考逐字稿清理。結果是:清理逐字稿交給 Opus,整理會議記錄由 Opus 寫、Sol 互審,Gemini 4 Hydrogen 當替補。

咪卡拿放大鏡對照一長卷會議逐字稿,朵拉拿夾板和紅筆替桌上七張答卷評分
同一份逐字稿,七份答卷,一個找、一個評。

這篇在講什麼

網路上的模型評比大多在比寫程式、解數學。我的工作是知識工作:開會、整理逐字稿、研發課程、分析文件再推理出結論。這類工作的實測很少人做,所以我用自己每天的真實工作出考卷,讓六款模型考前三題、七款模型考逐字稿清理,再依結果決定誰做什麼。

適合誰
  • 每週都要整理會議記錄、逐字稿,想知道該交給哪個 AI 的人
  • 手上有好幾個 AI 訂閱,不確定哪件事該用哪一個的人
  • 要幫客戶或團隊挑模型、排分工的顧問與講師
你可以帶走什麼
  • 一張清理、整理、審稿的模型分工表,附兩輪實測分數
  • 一套用自己真實工作出考卷的六個步驟
  • 判斷 AI 整理稿可不可信的三種「讀起來很順的錯」
七款 AI 模型:會議工作流實測與分工
定位模型逐字稿清理
兩輪平均
兩輪差距會議統整每次清理費用
清理+整理主力Opus 5.580.01.0 最穩72.2約 4.6 至 6.2 元
整理互審GPT-6.1 Sol73.06.691.6約 2.6 至 4.0 元
審稿替補Gemini 4 Hydrogen72.35.571.4約 0.6 至 2.7 元*
未排入Fable 5.278.48.385.8約 6.6 至 7.7 元
未排入GPT-6 Astra72.33.788.9約 13.9 至 14.4 元
未排入Gemini 4 Argon71.06.074.3約 1.4 至 4.5 元*
待測Sonnet 5.570.87.7未考約 1.7 至 4.5 元

為什麼要用自己的工作考 AI

每次有新模型出來,我就會拿固定考題重測一次。

這次參加的有七款:Anthropic 的 Fable 5.2、Opus 5.5、Sonnet 5.5,OpenAI 的 GPT-6 Astra、GPT-6.1 Sol,Google 的 Gemini 4 Argon、Gemini 4 Hydrogen。

題目考的能力材料
會議統整把逐字稿整理成五節會議記錄,不准加料,待確認的要標出來一場真實例會的清理稿,人名換成代號
課程簡報只能用免費工具,設計 3 小時工作坊的課綱與簡報大綱真實的課程需求,案例只給描述不給細節
規則推理照 11 條作業規則,判斷 6 個情境該怎麼做從我自己的工作規則改寫
逐字稿清理修語音辨識錯字、轉繁體、合併講者,不准硬猜同一場例會的原始逐字稿,標準答案是人工清理版

材料都先去識別,人名換成甲乙丙丁,金額結算這類敏感內容拿掉,題目需要的獎金數字保留。

延伸閱讀

怎麼評分:程式比對加三家 AI 互評

  1. 同題作答,條件一樣七款拿同一份提示詞、同樣的推理強度,在空白環境作答,不讀我平常的規則檔。
  2. 程式比對逐字稿清理的錯字、簡體字、字數交給程式算。26 個已知的聽錯,一個一個比對有沒有修正。
  3. 三家 AI 互評,不評自家Anthropic、OpenAI、Google 各派一個模型閱卷,每份答卷只採計另外兩家的分數。答卷代號打亂,閱卷者不知道是誰寫的。
  4. 跑兩輪看穩不穩逐字稿清理跑兩輪,看同一款模型分數會不會跳。

七款模型成績總表

模型第一份考卷(各跑一輪)逐字稿清理每次清理費用
會議統整課程簡報規則推理第一輪第二輪平均
Opus 5.5Anthropic72.296.098.080.579.580.0約 4.6 至 6.2 元
Fable 5.2Anthropic85.893.587.482.574.278.4約 6.6 至 7.7 元
Sonnet 5.5Anthropic未考未考未考74.666.970.8約 1.7 至 4.5 元
GPT-6.1 SolOpenAI91.695.074.369.776.373.0約 2.6 至 4.0 元
GPT-6 AstraOpenAI88.995.081.270.474.172.3約 13.9 至 14.4 元
Gemini 4 HydrogenGoogle71.493.091.369.575.072.3約 0.6 至 2.7 元*
Gemini 4 ArgonGoogle74.372.681.168.074.071.0約 1.4 至 4.5 元*

滿分 100,紅字是該欄第一。費用是 API 等值價,以 1 美元=32 元台幣估算,這次實際是用訂閱額度跑。Claude 三款取 Claude Code 回報的計價;GPT 兩款取 Codex 紀錄的 token 數乘官方單價(含 Codex 每次固定帶入約 1.3 萬 token 的前置說明)。*Gemini 兩款的反重力不回傳 token 數,改用字數估 token 再乘 Google 官方單價,思考用了多少 token 不知道,所以給範圍,只是推算;Argon 用的是 2026 年 11 月底前的價格,12 月起單價加倍。

實測看到的四件事

逐字稿清理:錯字大家都會修,差距在忠實度

26 個語音辨識聽錯,第一輪七款都修了 24 到 26 個。真正拉開分數的是三種錯:

  • 硬猜地名:原稿一個聽不清楚的地名,清理第一輪有四款直接改成一個真實地名,沒標待確認。
  • 把條件句寫成定案:「如果討論完方向沒問題的話」被改成「今天方向確定」。
  • 把話放到別人嘴裡:一段話從一位講者搬到另一位講者底下。
重點這三種錯單看都很通順,沒對原稿根本看不出來。清理逐字稿最怕的就是這種讀起來很順的錯。

會議統整:最守規矩的贏

GPT-6.1 Sol 會議統整拿 91.6 分。閱卷沒有抓到它加料,待確認的事都有標,格式也守住了。

Opus 5.5 這題只有 72.2 分,扣在兩件事:文末自己加了一段補充說明,寫進逐字稿沒有的日期與判斷,會議重點也超過規定的三句。

同一款模型,強項可以差很多

Sol 會議統整第一,逐字稿清理卻壓縮過頭,漏掉內容又改了語氣。Opus 規則推理 98 分,會議統整卻在後段。所以我不找「最強的模型」,我找「這件工作誰最穩」。

穩定度跟分數一樣重要

清理題跑兩輪,只有 Opus 兩輪都在 80 分上下,差 1 分。其他六款兩輪差 3.7 到 8.3 分。Fable 第一輪 82.5 拿第一,第二輪掉到 74.2。只跑一次就下結論,很容易被運氣騙。

延伸閱讀

我的分工:Opus 主力、Sol 互審、Hydrogen 替補

工作誰做誰審
清理逐字稿(我自己的門檻:一小時內、約兩萬字內的會議)Opus 5.5 一條龍照清理規則自查
整理會議記錄、脈絡分析Opus 5.5GPT-6.1 Sol 互審
審稿替補Gemini 4 Hydrogen

這是我的選擇:Opus 在逐字稿清理、規則推理、課程簡報都排第一,毛病是會多寫;Sol 這次最守「不加料」,所以我讓它來審 Opus。Sol 實際擋加料的效果,這次沒有另外測。Opus 和 Sol 是不同公司的模型,也符合我「審稿要跨家」的規則。

Gemini 4 適合做什麼

以下是我平常使用的經驗加上這次的分數,不全是這次測出來的。這次 Gemini 4 系列的 Argon 和 Hydrogen,我覺得算是重回第一梯隊了。

實測之後還是有落差。複雜的任務、文件分析推理,還沒辦法直接交給它。但如果技能包(寫好的工作說明書)寫好、計畫寫好,只是單純去執行,Gemini 4 已經可以幫忙做雜活跟自動化,兩個模型互審時也可以當替補。

要獨挑大梁,或做比較抽象、不確定性高的文件分析推理,Claude 家的模型還是最厲害。以知識工作者、要做文件分析推理研究來說,Claude Code 還是最強。

現在 Opus 加 Hydrogen 這樣搭配,我覺得省蠻多的,成果也還算穩定。

延伸閱讀

你可以怎麼做:出一份自己的固定考題

STEP 1挑三到四種真實工作

你每週最常做、最怕做錯的那幾件。

STEP 2準備標準答案

人工做過的版本最好,例如你自己清理過的逐字稿。

STEP 3材料先去識別

人名換代號,金額與敏感內容拿掉。

STEP 4同一份提示詞

給每個模型一樣的條件,才比得出差別。

STEP 5至少跑兩輪

看同一款模型穩不穩。

STEP 6找別家模型評分

不讓模型評自己家的答卷。

考卷留著,下次新模型出來,直接拿出來重測。

這次測試的限制

看分數前先知道這些
  • 樣本少:會議統整、課程簡報、規則推理各跑一輪,逐字稿清理跑兩輪。分數差 3 分以內,我自己視為同級,這不是統計檢定。
  • 考卷由 AI 出題,可能偏向 Claude 家擅長的方向。
  • 同一份答卷在不同閱卷家之間可以差 10 分以上。
  • 閱卷時有一個不確定點的設定有瑕疵(原稿同一句已經寫明,不該算錯),我把那條扣分拿掉重算,兩種分數都有保留。
  • Sonnet 這次只考逐字稿清理,而且是單獨清理,沒有搭配 Opus 先做規劃。