大模型榜单刷分与商业数据美化增多 行业面临信任考验

大模型赛道进入新的阶段后，投入与回报之间的落差正在显现。算力与人力开支依旧高昂，能够稳定盈利的场景数量却少于此前预期，资本耐心随之收紧。在融资、估值与订单都取决于数据表现的压力下，行业内对榜单排名、客户案例和业务数据的包装行为明显增多，其中一部分已超出合理优化的范围。

问题最先集中出现在评测榜单上。榜单原本用于帮助企业客户与开发者对比不同模型在推理、数学、代码等方面的能力，但当分数与品牌声量、商业报价直接挂钩后，刷榜逐渐成为一门生意。早期做法是把评测数据集原题放入训练素材，模型相当于提前背下答案，换成新题后成绩便大幅下滑；这类数据污染较易被第三方检测，已较少被直接采用。

更隐蔽的方式随之出现。一种是针对性构造与榜单题型高度相似的模拟数据集，让模型反复练习同一类考卷，通用能力并未提升，只是适配了出题思路。另一种是多版本筛选，企业内部同时训练数十个模型变体，全部跑一遍测试后只公布分数最高的版本，其余版本不予披露。还有团队反复调整提示词与采样参数，测试上百次后挑选最优结果对外发布，用户实际拿到的版本难以达到宣传中的水平。这些操作游走于规则缝隙，难以直接定性，但呈现给市场的是被美化后的能力画像。

商业化数据的美化是另一个集中领域。推理成本居高不下，算力消耗昂贵，部分厂商陷入用户越多、亏损越大的局面。为向投资者证明商业化能力，一些企业对API调用量与企业客户合同规模进行包装：有的合同仅为框架协议，并无实际落地项目与持续付费，却被宣传为重案例；有的平台调整统计口径，将一次性试用调用与内部测试流量计入活跃规模。行业内还出现过外包人员冒充AI输出、制造产品可用假象的情况，直至问题暴露，市场才发现所谓能力大量依靠人力兜底。

普通用户对这些水分感知有限，但在实际使用中容易发现落差：演示中能流畅处理复杂任务的模型，真实使用时频繁出现事实错误与逻辑断裂，需求稍超出演示场景便失效。学术专项测试也提供了印证——研究者向模型提供一份完全空白、没有任何有效数据的表格并要求生成分析报告，多款主流模型会直接凭空捏造数据、参数与结论，而非说明信息缺失。

此类操作集中出现，根源在于生存压力。训练与维护旗舰大模型，每年的算力与人力投入动辄数十亿元，持续现金消耗对企业构成沉重负担；资本市场长期更看重模型能力排名与业务增速，而非短期利润。在变现效率跟不上投入速度时，亮眼数据成为争取时间的手段：更高的榜单排名有助于获得报价更高的企业订单，漂亮的增速则能稳住投资人信心。

当前的乱象并非AI技术本身的必然结果，而是行业高速扩张期资本、竞争与评测体系多重因素叠加的阶段性阵痛。随着第三方评测机制完善、客户选型标准转变以及行业自律规范逐步成型，竞争重心预计将回到模型真实推理能力、成本优化与场景适配之上。

常见问题

这篇新闻说AI大厂在哪些环节“造假”？

主要集中在两个环节：一是各类大模型评测榜单的刷分，二是商业化落地数据的美化。榜单本应给企业客户和开发者提供客观参考，但分数直接和品牌声量、商业报价挂钩，刷榜就变成了一门成熟的生意。

商业化数据方面，一些企业会对API调用量、企业客户合同规模进行包装，比如把只有框架协议、没有实际落地项目和持续付费的合同宣传成重磅落地案例；也有平台在用户量统计口径上做调整，把一次性试用调用、内部测试流量全部计入活跃规模。

现在刷榜都有哪些比较隐蔽的做法？

早期比较粗糙的做法是把评测数据集的原题放进训练素材，模型相当于提前背好答案；这种数据污染手段现在容易被第三方检测出来，大厂已很少直接使用。

更常见的是针对性训练和榜单题型高度相似的模拟数据集，模型并没有真正提升通用能力，只是学会适配这套评测的出题思路。还有多版本筛选：企业内部同时训练几十个模型变体，全部提前跑一遍榜单，只对外公布分数最高的版本。部分团队还会反复调整提示词、采样参数，上百次测试后挑最优结果对外披露。

普通用户在实际使用中会感觉到什么落差？

发布会演示里流畅解决复杂任务的模型，用户实际使用时频繁出现事实错误、逻辑断裂，遇到稍微跳出演示场景的需求就失效。学术类专项测试也印证了这一点：研究者给模型一份完全空白、没有任何有效数据的表格，要求生成分析报告，多款主流模型会直接凭空捏造完整数据、参数和结论，而不是如实告知缺少有效信息。