奇绩大模型日报（5月 29日）
输入“/”快速插入内容
奇绩大模型日报（5月 29日）
奇绩大模型日报（5月 29日）
用户150用户150
用户1188用户1188
用户5537用户5537用户8534用户8534用户4513用户4513
用户5247用户52472024年5月29日修改
推特
Gemini 各个版本上线Imsys org排行榜：Gemini 1.5 Pro/Advanced排名第二，接近GPT-4o
重大新闻——Gemini 1.5 Flash、Pro和Advanced的结果出炉了！🔥
•
Gemini 1.5 Pro/Advanced排名第二，接近GPT-4o
•
Gemini 1.5 Flash排名第九，表现优于Llama-3-70b，几乎达到GPT-4-0125 (!)
Pro比四月份的版本显著增强。Flash的成本、能力和无与伦比的上下文长度使其成为市场的游戏规则改变者！
热烈祝贺@GoogleDeepMind 的精彩Gemini发布！迫不及待想看看Gemini将解锁哪些新应用！
更多分析请见下文👇
RoboCasa：一个大规模的日常任务模拟框架，使用生成式AI工具创建各种各样的物体、场景和任务
很高兴宣布RoboCasa，一个大规模的日常任务模拟框架！我们使用生成式AI工具创建各种各样的物体、场景和任务。模拟在我们训练通用机器人的数据金字塔中发挥着关键作用。
Jim Fan评论：我们为我们的机器人找到了一个舒适的家——在比特世界中！RoboCasa：一个机器人手臂、机器狗和人形机器人可以在程序生成的模拟环境中安全训练日常任务的地方。
这是一项开源项目，请查看Yuke的帖子了解更多信息！
Karpathy：在90分钟内用$20复现llm.c中的GPT-2 (124M)
GPT-2 (124M) 是OpenAI在2019年发布的GPT-2系列中最小的模型，如今实际上相当容易获得，即使对于GPU资源不足的情况也是如此。例如，使用llm.c，你现在可以在一个8X A100 80GB SXM节点上在90分钟内复现该模型（约60% MFU）。由于运行费用约为每小时$14，因此总费用约为$20。我也认为124M模型非常适合作为一个快速训练的挑战。所以这里是启动命令：
以下是训练90分钟后在FineWeb数据集的10B个token上的输出：
在大约7周的时间里，从一个C/CUDA的从头开始的仓库工作到达这个“端到端”训练运行的检查点，感觉真的很好。昨晚我还复现了350M模型，但在同一个节点上花了14小时，因此约为$200。根据一些简单计算，目前完整的“GPT-2” (1558M) 将需要大约一周时间和约$2.5K。但我宁愿找到一些方法来获得更多的GPU : )。但我们会先花一些时间进一步改进llm.c的核心。350M运行的情况如下，在30B个token上训练：
我已经写好了完整的指南和详细说明，介绍了如何从头开始在你自己的GPU上复现这个运行，详情请见：
Yuchen Jin用llm.c复现：在8个H100 GPU上仅用了43分钟就训练了GPT-2（124M）