奇绩大模型日报（7月 22日）

用户150

用户5537

用户1188

用户8534

用户887

用户6465

2024年7月23日修改

资讯

苹果开源7B大模型，训练过程数据集一口气全给了，网友：开放得不像苹果​

苹果最新杀入开源大模型战场，而且比其他公司更开放。

推出7B模型，不仅效果与Llama 3 8B相当，而且一次性开源了全部训练过程和资源。​

要知道，不久前Nature杂志编辑Elizabeth Gibney还撰文批评：

许多声称开源的AI模型，实际上在数据和训练方法上并不透明，无法满足真正的科学研究需求。​

而苹果这次竟然来真的！！

就连NLP科学家、AutoAWQ创建者也发出惊叹：

Apple发布了一个击败Mistral 7B的模型，但更棒的是他们完全开源了所有内容，包括预训练数据集！​

50%

50%

盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变

总体上看，过去这些年的 LLM 模型架构主要分为三大范式：仅编码器模型（如 BERT）、编码器 - 解码器模型（如 T5）、仅解码器模型（如 GPT 系列模型）。人们常常搞不清楚这些，并且对这些分类方法和架构有所误解。​

首先要理解的一点是：编码器 - 解码器模型实际上也是自回归模型。在编码器 - 解码器模型中，解码器本质上依然是因果解码器。其无需预填充解码器模型，而是会将某些文本卸载到编码器，然后再通过交叉注意力发送给解码器。是的，T5 模型也是语言模型！​

50%

从空间智能到具身智能，跨维践行Sim2Real AI最高效路径

具身智能狂潮降临的一年多里，物理世界与信息的生产与交互方式发生着革命性变化。 ​

与此同时，一场新的争夺战正悄然打响：各大厂商绞尽脑汁，以夺取最有价值的 AI “燃料”—— 数据。当前，数据匮乏仍是通用具身智能面前的高墙。纵观过去三年，在谷歌、英伟达、OpenAI 等知名企业对具身智能的研究中，暂未窥见 Scaling Law的出现，这与缺少各类数据有关。​

如何解决这一根本性痛点？从技术的角度，Sim2Real AI 是一个长期存在的路径。但由于对消弭 Sim2Real gap 存在 “理念型偏差”，学术界和产业界更多地将其视为一个辅助的数据补充手段。但是否真的如此？​

香港中文大学（深圳）终身教授、跨维智能创始人贾奎通过从学术界到产业界的长期践行，给出答案：“Sim2Real AI 正是通往具身智能的最高效路径。”​

50%

中国五连冠终结，美国重登IMO宝座！AI智商被第一题打回原形​

IMO 2024最终结果终于出炉了！破天荒的是，四年后美国队再次斩获第一，领先中国队两分。对于LLM来说，IMO最简单的第一题，GPT-4o、Claude 3.5 Sonnet等模型全部回答失败了。​

中国蝉联IMO五年冠军的纪录，如今被美国队打破了！

这几天，第65届IMO公布了最终获胜国家队，美国以192分的成绩位列第一，中国以2分之差位居第二。​

50%

推特

奇绩大模型日报（7月 22日） ​