【TechWeb】4月13日消息，LMArena 更新了meta最新发布的开源大模型Llama-4-Maverick的排名，从此前的第2名，直线掉到了第32名！
这也实锤了此前开发者对meta为刷榜排名向LMArena提供了“特供版”的Llama 4大模型的质疑。
4月6日，meta发布了最新的大模型Llama 4，包含Scout、Maverick和Behemoth三个版本。其中，Llama-4-Maverick在LMArena公布的Chatbot Arena LLM 排行榜中的排名第二，仅次于Gemini 2.5 Pro。
然而，随着开发者实际使用Llama 4大模型开源版的效果陆续曝出，Llama 4口碑急转直下。有开发者发现meta提供给LMArena的Llama 4版本与提交给社区的开源版本不同，因而meta被质疑为刷榜作弊。
4月8日，Chatbot Arena官方发文确认了用户的上述质疑，公开表示meta提供给他们的是“特供版”，并考虑更新排行榜。
根据Chatbot Arena官方消息，meta首次提交LMArena的Llama-4-Maverick-03-26-Experimental是一个实验性聊天优化版本，当时该版本的排名为第二。修正后的模型为HuggingFace开源版同款Llama-4-Maverick-17B-128E-Instruct，是17B激活参数、128个MoE专家的指令微调模型。
目前，开源版同款Llama-4-Maverick-17B-128E-Instruct在LMArena的排名为32名，远低于Gemini 2.5 Pro（1）、GPT4o（2）、DeepSeek-V3-0324（5）、DeepSeek-R1（7）、Qwen2.5-Max（11），甚至连英伟达基于上一代Llama 3.3改造的Llama-3.3-Nemotron-Super-49B-v1（17）都不如。
0 条