为什么现在不能看大模型的排行榜了？ 不是不能看，是不能跪着看。 最近有两件事值得玩味。一是 Artificial Analysis 的智能指数更新到 v5，国产开源模型的排名集体往下掉，有人惊呼“中国模型一夜之间变笨了”
为什么现在不能看大模型的排行榜了？
不是不能看，是不能跪着看。
近期接连出现两起和大模型榜单公信力相关的行业争议。最近有两件事值得玩味。一是 Artificial Analysis 的智能指数更新到 v5，国产开源模型的排名集体往下掉，有人惊呼“中国模型一夜之间变笨了”。
二是 Meta 的 Llama 4 在 Chatbot Arena 里被质疑“择优发布”——先测 27 个版本，挑最好的上线，剩下的藏着。
两件事看起来无关，背后是同一个问题：榜单既是地图，也是战场。
评估维度的设定偏差是榜单结果容易产生误导的首要原因。先说“尺子”的问题。v5 升级后，更强调长程任务、多步推理和工具调用能力，这些恰恰是闭源模型的强项。
开源模型的优势从来不是“天花板”，而是性价比和可定制：你可以在几张 A100 上跑一个专门用于客服或代码补全的模型，成本是 GPT-4o 的几分之一，但任务完成度能到 80%。榜单测的是“最强”，不是“够用”。
刷榜操作和资源不平等会进一步破坏榜单的公平属性。再说“刷榜”的问题。Meta 私下测试 27 个版本再择优发布，这在工程上叫“模型选择”，在榜单语境里叫“优化作弊”。
Chatbot Arena 的核心假设是“提交即公开”，但如果大厂可以私下跑几十版再挑一个交，那公平性就打了折扣。
更关键的是数据不平等：专有模型拿到 19.2%（Google）和 20.4%（OpenAI）的测试数据，83 个开源模型加起来才 29.7%。用更多数据迭代，自然更容易上榜。
所以我的建议是：看榜单，但别只看一个榜单。
- 如果你是开发者，按榜单选基线模型，然后在你的任务上自己跑评估。
- 如果你是用户，选那个“在你的场景里够用、稳定、便宜”的模型，而不是榜单第一。
- 如果你是投资人，问一句：这个模型的训练成本是多少？推理成本是多少？客户愿不愿意为它付钱？
榜单有用，像天气预报——但你出门还得自己看一眼天上有没有云。
大模型 AI 排行榜 开发者 人工智能