作为开源模型界的扛把子，LLaMA 一直备受瞩目。
这是一组由 Meta 开源的大型语言模型，共有 7B、13B、33B、65B 四种版本。其中，LLaMA-13B 在大多数数据集上超过了 GPT-3（175B），LLaMA-65B 达到了和 Chinchilla-70B、PaLM-540B 相当的水平。
自 2 月份发布以来，开源社区一直在 LLaMA 的基础上进行二创，先后推出了 Alpaca、Vicuna 等多个「羊驼」大模型，生物学羊驼属的英文单词都快被用光了。
(资料图片仅供参考)
不过，也有人对 LLaMA 发起了挑战。5 月底，阿联酋阿布扎比的技术创新研究所（TII）开源了一个 400 亿参数的因果解码器模型「Falcon-40B」，该模型在 RefinedWeb 的 1 万亿个 token 上进行了训练，并使用精选数据集增强。刚一发布，「Falcon-40B」就冲上了 Huggingface 的 OpenLLM 排行榜首位，「碾压」了参数规模 1.5 倍的「LLaMA-65B」，也优于 MPT、RedPajama 和 StableLM 等开源大模型。
后来，Falcon-40B Instruct 版本占据了排行榜首位，Falcon-40B 则退到了第三，而 LLaMA-65B 已经掉到了第六位。
不过，仔细看过数据之后，围观者产生了疑问：为什么在 HuggingFace 的 Open LLM 排行榜上，LLaMA-65B 的 MMLU 这项分数是 48.8，明显低于官方数据 63.4？
HuggingFace 的 Open LLM 排行榜。地址：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
LLaMA 论文中的 MMLU 数据。MMLU 是 Massive Multitask Language Understanding 的缩写，是一个基准数据集，旨在通过仅在零样本和少样本设置下评估模型来衡量预训练期间获取的知识。它由一系列学术科目中类似考试的问题组成，用于测试模型对于世界理解的能力。
还有人表示，在测 Falcon-40B 时，他们也复现不了排行榜上的分数。
面对这样的争议，Karpathy 等大牛选择了谨慎观望。
爱丁堡大学博士生符尧等则选择自己测一遍。
简而言之，他们在 Chain-of-thought Hub 上重新写了开源的 LLaMA eval 代码，然后在同样的设定下，用官方 prompt，fp16，HF 默认代码，公平比较了 Falcon 和 LLaMA 在 MMLU 上的表现。
「没有花哨的 prompt 工程和解码，一切都是在默认设置下进行的。」符尧在推文中写道。
6 月 8 日，他们公布了第一批结果：LLaMA 65B 的 MMLU 得分为 61.4，比较接近官方数字（63.4），明显高于其 Open LLM Leaderboard 分数 48.8，且远高于 Falcon-40B 的 Leaderboard 分数 52.7。
初步来看，「你大爷还是你大爷」。不过，这还不是 LLaMA 65B 的真实实力。在 6 月 10 日凌晨公布的第二波结果中，符尧解释说，他们在第一波测评中发现了一个「long prompt」引起的 bug，这个 bug 导致 LLaMA 在高中欧洲历史和高中美国历史上得到 0 分。在修复了这个 bug 后，LLaMA 得分变成了 63.64，与论文中报道的数字基本相同。
公平起见，使用相同的脚本，他们也测出了 Falcon-40B 的得分：49.08，低于 Leaderboard 分数 52.7，只比 LLaMA 13B 好一点。
由此，这次所谓的「碾压」事件彻底反转。
符尧团队的这一尝试也吸引了 HuggingFace 研究科学家 Nathan Lambert 的注意，后者决定重写 Open LLM Leaderboard 的代码。
不过，符尧专门指出，他们不打算在 LLaMA 和 Falcon 之间挑起战争：「两者都是伟大的开源模型，并为该领域做出了重大贡献！Falcon 还具有更简单的许可证优势，这也赋予了它强大的潜力！」
最新头条
-
作为开源模型界的扛把子，LLaMA一直备受瞩目。
-
乐平：为未成年人撑起一片法治晴空人民法院报记者胡佳佳人民法院报通讯 -
6月12日，三大指数小幅低开，沪指跌0 19%，深证成指跌0 23%，创业板指 -
近日，一位北京的家长朱女士向记者反映，多次接到研学项目的推销电话， -
2023年6月9日粤传媒融资净偿还221 32万元，融资余额2亿元 -
■ 陈若葵 青少年儿童之间打打闹闹是常事，但如果他们将闹着玩 -
商报全媒体讯（椰网 海拔新闻记者徐明锋）6月11日，2023年海南粽子行业 -
2023-06-1205:19:17作者：人宝宝根据小米最新战报，5月31日至6月3日， -
东北亚民间美食文化交流周成为一场美食与发展思路碰撞的“盛宴”——让 -
习近平总书记在党的二十大报告中指出：“改革开放和社会主义现代化建设 -
据法新社6月10日报道，加拿大野火正在境内东、西部持续蔓延，迫使加拿 -
1、什么是血卟啉病(血紫质病)血卟啉病又称血紫质病，是由卟啉产生和排 -
1、pdf如何删除其中一页，针对这个问题，下面给出解决方法：其实用pdf -
1、学院前身是组建于1980年的广东成人财经学院，1995年改建为广东财税 -
1、被同披（pi一声）穿着。本文就为大家分享到这里，希望小伙伴们会喜 -
近日，有网友发文称“汉阳被撞学生的肇事者父母疑似均为厅官”，6月11 -
本报讯6月10日，“2023中国经济传媒大会”在浙江绍兴举行。围绕“推进 -
1、性状:本品为薄膜衣片，除去包衣后显浅褐色至棕褐色；味微甘而苦涩， -
1、性状:本品为棕黄色的颗粒；味甜、微苦。2、汉语拼音:JinLianHuaKeLi -
1、这是起点的福利计划。2、我觉得还蛮不错的。3、起点一向作者吸引的 -
本文编辑剧透社：issac自赌王何鸿燊在2020年5月离世之后，赌王家族就变 -
来为大家解答以上的问题。曹操故居，操故居介绍这个很多人还不知道,现 -
近日，海南省农业农村厅、海南省财政厅联合印发《海南省现代种业提升工 -
中新社海口6月11日电海南洋浦国际集装箱码头作业区，巨轮靠泊，岸吊忙 -
直播吧6月11日讯德国传奇队长拉姆在接受sportbuzzer的采访时表示，相信
相关头条
-
彻底反转：号称「碾压」LLaMA的Falcon实测得分仅49.08，HuggingFace决定重写排行榜代码 世界最新
-
全球焦点！开评：三大指数小幅低开 英伟达、算力等概念走高
-
粤传媒：融资净偿还221.32万元，融资余额2亿元（06-09）
-
小米618勇夺多渠道第一：机械键盘都降至百元出头
-
中华民族伟大复兴不可逆转的人民逻辑 焦点要闻
-
今日精选：卟啉症是什么意思_卟啉症是什么
-
【环球播资讯】广东南华工商职业学院怎么样_广东财贸职业学院怎么样
-
汉阳被撞学生的肇事者父母疑为厅官？谣言！|今日热文
-
德众鼻炎康片说明书_鼻炎康说明书_天天速读
-
世界热消息：黑龙小说文学网_小说文学网
-
全球快资讯：曹操故居（关于曹操故居介绍）
-
阿联酋退出美国主导的“联合海上力量”，媒体：中东一个新的时代来临
-
全球看点：深圳地铁实名乘车 地铁也将暂停发售单程票和日票
-
广东佛山紫南村“蝶变” 背后的乡村治理 全球焦点
-
五仁月饼是哪五仁寓意什么_五仁月饼是哪五仁
