這篇在講什麼
網路上的模型評比大多在比寫程式、解數學。我的工作是知識工作:開會、整理逐字稿、研發課程、分析文件再推理出結論。這類工作的實測很少人做,所以我用自己每天的真實工作出考卷,讓六款模型考前三題、七款模型考逐字稿清理,再依結果決定誰做什麼。
- 每週都要整理會議記錄、逐字稿,想知道該交給哪個 AI 的人
- 手上有好幾個 AI 訂閱,不確定哪件事該用哪一個的人
- 要幫客戶或團隊挑模型、排分工的顧問與講師
- 一張清理、整理、審稿的模型分工表,附兩輪實測分數
- 一套用自己真實工作出考卷的六個步驟
- 判斷 AI 整理稿可不可信的三種「讀起來很順的錯」
| 定位 | 模型 | 逐字稿清理 兩輪平均 | 兩輪差距 | 會議統整 | 每次清理費用 |
|---|---|---|---|---|---|
| 清理+整理主力 | Opus 5.5 | 80.0 | 1.0 最穩 | 72.2 | 約 4.6 至 6.2 元 |
| 整理互審 | GPT-6.1 Sol | 73.0 | 6.6 | 91.6 | 約 2.6 至 4.0 元 |
| 審稿替補 | Gemini 4 Hydrogen | 72.3 | 5.5 | 71.4 | 約 0.6 至 2.7 元* |
| 未排入 | Fable 5.2 | 78.4 | 8.3 | 85.8 | 約 6.6 至 7.7 元 |
| 未排入 | GPT-6 Astra | 72.3 | 3.7 | 88.9 | 約 13.9 至 14.4 元 |
| 未排入 | Gemini 4 Argon | 71.0 | 6.0 | 74.3 | 約 1.4 至 4.5 元* |
| 待測 | Sonnet 5.5 | 70.8 | 7.7 | 未考 | 約 1.7 至 4.5 元 |
為什麼要用自己的工作考 AI
每次有新模型出來,我就會拿固定考題重測一次。
這次參加的有七款:Anthropic 的 Fable 5.2、Opus 5.5、Sonnet 5.5,OpenAI 的 GPT-6 Astra、GPT-6.1 Sol,Google 的 Gemini 4 Argon、Gemini 4 Hydrogen。
| 題目 | 考的能力 | 材料 |
|---|---|---|
| 會議統整 | 把逐字稿整理成五節會議記錄,不准加料,待確認的要標出來 | 一場真實例會的清理稿,人名換成代號 |
| 課程簡報 | 只能用免費工具,設計 3 小時工作坊的課綱與簡報大綱 | 真實的課程需求,案例只給描述不給細節 |
| 規則推理 | 照 11 條作業規則,判斷 6 個情境該怎麼做 | 從我自己的工作規則改寫 |
| 逐字稿清理 | 修語音辨識錯字、轉繁體、合併講者,不准硬猜 | 同一場例會的原始逐字稿,標準答案是人工清理版 |
材料都先去識別,人名換成甲乙丙丁,金額結算這類敏感內容拿掉,題目需要的獎金數字保留。
- 新模型出來,我怎麼知道它對我的工作真的比較好?:這篇講怎麼建一組不會變的考題,本文就是照那套方法實際跑一次。
怎麼評分:程式比對加三家 AI 互評
- 同題作答,條件一樣七款拿同一份提示詞、同樣的推理強度,在空白環境作答,不讀我平常的規則檔。
- 程式比對逐字稿清理的錯字、簡體字、字數交給程式算。26 個已知的聽錯,一個一個比對有沒有修正。
- 三家 AI 互評,不評自家Anthropic、OpenAI、Google 各派一個模型閱卷,每份答卷只採計另外兩家的分數。答卷代號打亂,閱卷者不知道是誰寫的。
- 跑兩輪看穩不穩逐字稿清理跑兩輪,看同一款模型分數會不會跳。
七款模型成績總表
| 模型 | 第一份考卷(各跑一輪) | 逐字稿清理 | 每次清理費用 | ||||
|---|---|---|---|---|---|---|---|
| 會議統整 | 課程簡報 | 規則推理 | 第一輪 | 第二輪 | 平均 | ||
| Opus 5.5Anthropic | 72.2 | 96.0 | 98.0 | 80.5 | 79.5 | 80.0 | 約 4.6 至 6.2 元 |
| Fable 5.2Anthropic | 85.8 | 93.5 | 87.4 | 82.5 | 74.2 | 78.4 | 約 6.6 至 7.7 元 |
| Sonnet 5.5Anthropic | 未考 | 未考 | 未考 | 74.6 | 66.9 | 70.8 | 約 1.7 至 4.5 元 |
| GPT-6.1 SolOpenAI | 91.6 | 95.0 | 74.3 | 69.7 | 76.3 | 73.0 | 約 2.6 至 4.0 元 |
| GPT-6 AstraOpenAI | 88.9 | 95.0 | 81.2 | 70.4 | 74.1 | 72.3 | 約 13.9 至 14.4 元 |
| Gemini 4 HydrogenGoogle | 71.4 | 93.0 | 91.3 | 69.5 | 75.0 | 72.3 | 約 0.6 至 2.7 元* |
| Gemini 4 ArgonGoogle | 74.3 | 72.6 | 81.1 | 68.0 | 74.0 | 71.0 | 約 1.4 至 4.5 元* |
滿分 100,紅字是該欄第一。費用是 API 等值價,以 1 美元=32 元台幣估算,這次實際是用訂閱額度跑。Claude 三款取 Claude Code 回報的計價;GPT 兩款取 Codex 紀錄的 token 數乘官方單價(含 Codex 每次固定帶入約 1.3 萬 token 的前置說明)。*Gemini 兩款的反重力不回傳 token 數,改用字數估 token 再乘 Google 官方單價,思考用了多少 token 不知道,所以給範圍,只是推算;Argon 用的是 2026 年 11 月底前的價格,12 月起單價加倍。
實測看到的四件事
逐字稿清理:錯字大家都會修,差距在忠實度
26 個語音辨識聽錯,第一輪七款都修了 24 到 26 個。真正拉開分數的是三種錯:
- 硬猜地名:原稿一個聽不清楚的地名,清理第一輪有四款直接改成一個真實地名,沒標待確認。
- 把條件句寫成定案:「如果討論完方向沒問題的話」被改成「今天方向確定」。
- 把話放到別人嘴裡:一段話從一位講者搬到另一位講者底下。
會議統整:最守規矩的贏
GPT-6.1 Sol 會議統整拿 91.6 分。閱卷沒有抓到它加料,待確認的事都有標,格式也守住了。
Opus 5.5 這題只有 72.2 分,扣在兩件事:文末自己加了一段補充說明,寫進逐字稿沒有的日期與判斷,會議重點也超過規定的三句。
同一款模型,強項可以差很多
Sol 會議統整第一,逐字稿清理卻壓縮過頭,漏掉內容又改了語氣。Opus 規則推理 98 分,會議統整卻在後段。所以我不找「最強的模型」,我找「這件工作誰最穩」。
穩定度跟分數一樣重要
清理題跑兩輪,只有 Opus 兩輪都在 80 分上下,差 1 分。其他六款兩輪差 3.7 到 8.3 分。Fable 第一輪 82.5 拿第一,第二輪掉到 74.2。只跑一次就下結論,很容易被運氣騙。
- AI 小工具該用便宜模型還是貴的?:同樣是一份考卷考三輪,那篇看的是小工具的模型選擇。
我的分工:Opus 主力、Sol 互審、Hydrogen 替補
| 工作 | 誰做 | 誰審 |
|---|---|---|
| 清理逐字稿(我自己的門檻:一小時內、約兩萬字內的會議) | Opus 5.5 一條龍 | 照清理規則自查 |
| 整理會議記錄、脈絡分析 | Opus 5.5 | GPT-6.1 Sol 互審 |
| 審稿替補 | Gemini 4 Hydrogen |
這是我的選擇:Opus 在逐字稿清理、規則推理、課程簡報都排第一,毛病是會多寫;Sol 這次最守「不加料」,所以我讓它來審 Opus。Sol 實際擋加料的效果,這次沒有另外測。Opus 和 Sol 是不同公司的模型,也符合我「審稿要跨家」的規則。
Gemini 4 適合做什麼
以下是我平常使用的經驗加上這次的分數,不全是這次測出來的。這次 Gemini 4 系列的 Argon 和 Hydrogen,我覺得算是重回第一梯隊了。
實測之後還是有落差。複雜的任務、文件分析推理,還沒辦法直接交給它。但如果技能包(寫好的工作說明書)寫好、計畫寫好,只是單純去執行,Gemini 4 已經可以幫忙做雜活跟自動化,兩個模型互審時也可以當替補。
要獨挑大梁,或做比較抽象、不確定性高的文件分析推理,Claude 家的模型還是最厲害。以知識工作者、要做文件分析推理研究來說,Claude Code 還是最強。
現在 Opus 加 Hydrogen 這樣搭配,我覺得省蠻多的,成果也還算穩定。
- 頂規 AI 模型很貴,哪些事交給它、哪些交給便宜的?:另一種分工思路,看貴模型動腦、便宜模型執行怎麼分。
你可以怎麼做:出一份自己的固定考題
你每週最常做、最怕做錯的那幾件。
人工做過的版本最好,例如你自己清理過的逐字稿。
人名換代號,金額與敏感內容拿掉。
給每個模型一樣的條件,才比得出差別。
看同一款模型穩不穩。
不讓模型評自己家的答卷。
考卷留著,下次新模型出來,直接拿出來重測。
這次測試的限制
- 樣本少:會議統整、課程簡報、規則推理各跑一輪,逐字稿清理跑兩輪。分數差 3 分以內,我自己視為同級,這不是統計檢定。
- 考卷由 AI 出題,可能偏向 Claude 家擅長的方向。
- 同一份答卷在不同閱卷家之間可以差 10 分以上。
- 閱卷時有一個不確定點的設定有瑕疵(原稿同一句已經寫明,不該算錯),我把那條扣分拿掉重算,兩種分數都有保留。
- Sonnet 這次只考逐字稿清理,而且是單獨清理,沒有搭配 Opus 先做規劃。