先量度，再選擇模型。
比較模型能力、提示詞及工具帶來的差異。我們公開實測結果、成本及限制，並把短期試驗與全年商店評測分開。
研究任務比較
以下題目均為合成案例，尚未經獨立專家審核。重複作答不等於更多獨立題目；開發集上的改進亦不代表未見題目的表現。
| 階段 | 設定 | 通過 / 試次 | 獨立題目 | 延遲中位數 | 估算成本 (USD) |
|---|---|---|---|---|---|
| 開發基準 | gpt-4.1-mini-2025-04-14 | 12 / 16 | 8 × 2 | 0.68s | $0.0015 |
| 開發基準 | gpt-5-mini-2025-08-07 | 14 / 16 | 8 × 2 | 2.09s | $0.0052 |
| 開發基準 | gpt-6-astra | 16 / 16 | 8 × 2 | 1.95s | $0.0511 |
| 開發改進比較 | GPT-4.1 Mini + TCG 工具 | 16 / 16 | 8 × 2 | 1.03s | $0.0035 |
| 開發改進比較 | GPT-4.1 Mini + 提示詞調整 | 12 / 16 | 8 × 2 | 0.74s | $0.0018 |
| 全新合成挑戰 | GPT-6 Astra | 24 / 24 | 12 × 2 | 2.11s | $0.0979 |
| 全新合成挑戰 | GPT-4.1 Mini | 13 / 24 | 12 × 2 | 0.90s | $0.0027 |
| 全新合成挑戰 | GPT-4.1 Mini + TCG harness | 24 / 24 | 12 × 2 | 1.80s | $0.0084 |
工具版本可多次呼叫模型，因此不能把分數改善視為零成本。樣本仍不足以證明普遍優勢。
商店決策試驗
同一組開發情境、每個情境 1 日、每日最多 8 次操作，使用相同資訊限制。這是短期診斷，不是 365 日排名。
| 模型 | 情境 | 狀態 | 完成日數 | 錯誤 / 操作次數 | 相對不操作差額 | 估算成本 (USD) |
|---|---|---|---|---|---|---|
| gpt-4.1-mini-2025-04-14 | 2201 | complete | 1 | 0 / 7 | $0.00 | $0.0140 |
| gpt-4.1-mini-2025-04-14 | 2202 | complete | 1 | 0 / 6 | $0.00 | $0.0121 |
| gpt-5-mini-2025-08-07 | 2201 | complete | 1 | 2 / 8 | $0.00 | $0.0127 |
| gpt-5-mini-2025-08-07 | 2202 | complete | 1 | 2 / 8 | $0.00 | $0.0119 |
| gpt-6-astra | 2201 | complete | 1 | 0 / 8 | $519.04 | $0.4687 |
| gpt-6-astra | 2202 | complete | 1 | 0 / 8 | $650.14 | $0.4533 |
未完成的試驗不會取得排名；原始失敗紀錄會保留。
store-baseline (unpaced): incomplete · 完成試次: 1 · 錯誤: 1
store-baseline-paced (3-day chat profile): incomplete · 完成試次: 4 · 錯誤: 1
成本及下一步
本次試驗總上限：$5. 目前保守計算成本：$2.182.
我們先建立共享研究工具層，再按未見資料上的實測錯誤決定是否微調模型。新的模型可能更好，但必須在相同條件下驗證。
查看全年評測方法 →更新時間：2026-09-13T19:01:42.213689+00:00一起理解這些數據。
以實測評測報告及已知限制解答。
正在檢查助手狀態…