奇绩大模型日报（6月 4日）
输入“/”快速插入内容
奇绩大模型日报（6月 4日）
奇绩大模型日报（6月 4日）
用户150用户150
用户1188用户1188
用户4513用户4513用户8534用户8534用户5537用户5537+2
2024年6月4日修改
资讯
再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升
自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。一个很明显的缺陷是：Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长。几个月前，Mamba的出现打破了这一局面，它可以随上下文长度的增加实现线性扩展。随着 Mamba 的发布，这些状态空间模型 (SSM) 在中小型规模上已经实现了与 Transformers 匹敌，甚至超越 Transformers。Mamba 的作者只有两位，一位是卡内基梅隆大学机器学习系助理教授 Albert Gu，另一位是 Together.AI 首席科学家、普林斯顿大学计算机科学助理教授 Tri Dao。Mamba 面世之后的这段时间里，社区反应热烈。可惜的是，Mamba 的论文却惨遭 ICLR 拒稿，让一众研究者颇感意外。仅仅六个月后，原作者带队，更强大的 Mamba 2 正式发布了。
多模态模型学会打扑克：表现超越GPT-4v，全新强化学习框架是关键
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！这种方法得到的模型，已经学会了看图玩扑克、算“12点”等任务，表现甚至超越了GPT-4v。这是来自UC伯克利等高校最新提出的微调方法，研究阵容也是相当豪华：
•
图灵奖三巨头之一、Meta首席AI科学家、纽约大学教授LeCun
•
UC伯克利大牛、ALOHA团队成员Sergry Levine
•
ResNeXt()一作、Sora基础技术DiT作者谢赛宁
•
香港大学数据科学学院院长、UC伯克利教授马毅
Oculus创始人帕尔默·拉奇宣称自己正在研发一款全新的头显设备
AWE USA 2024大会将于6月18日至6月20日在美国加州洛杉矶举行，而Oculus创始人帕尔默·拉奇日前宣布，他计划在本届活动正式宣布自己在研究的VR头显设备。
Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。最近，AI 大牛 Andrej Karpathy推荐了一项名为 FineWeb-Edu 的工作。
单个4090可推理，2000亿稀疏大模型「天工MoE」开源
在大模型浪潮中，训练和部署最先进的密集 LLM 在计算需求和相关成本上带来了巨大挑战，尤其是在数百亿或数千亿参数的规模上。为了应对这些挑战，稀疏模型，如专家混合模型（MoE），已经变得越来越重要。这些模型通过将计算分配给各种专门的子模型或「专家」，提供了一种经济上更可行的替代方案，有可能以极低的资源需求达到甚至超过密集型模型的性能。6 月 3 日，开源大模型领域又传来重要消息：昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE，在保持性能强劲的同时，大幅降低了推理成本。Skywork-MoE 基于此前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，也是首个支持用单台 4090 服务器推理的开源千亿 MoE 大模型。让大模型社区更为关注的是，Skywork-MoE 的模型权重、技术报告完全开源，免费商用，无需申请。