奇绩大模型日报（5月 6-7日）
输入“/”快速插入内容
奇绩大模型日报（5月 6-7日）
奇绩大模型日报（5月 6-7日）
飞书用户150
飞书用户1188
飞书用户4513
飞书用户5247飞书用户4517+2
2024年5月27日修改
资讯
特斯拉Optimus人形机器人进厂打工，娴熟分装电池、自我矫正，还能走更远了
特斯拉人形机器人又解锁了新技能！昨日，Tesla Optimus官方发布了新的 demo 视频，展示了二代 Optimus 人形机器人的最新进展。这次，Optimus 开始进厂打工了，在特斯拉电池工厂学会了分装电池，并且比以前走得更快更远更稳了。Optimus 在机器人的 FSD 计算机上实时运行，而仅仅依靠 2D 摄像头、手部触觉和力传感器。Optimus 利用它的腿保持平衡，同时网络驱动着整个上半身。
爆火后反转？「一夜干掉MLP」的KAN：其实我也是MLP
多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。但是最近，来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且，它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 重新发现了结理论中的数学规律，以更小的网络和更高的自动化程度重现了 DeepMind 的结果。具体来说，DeepMind 的 MLP 有大约 300000 个参数，而 KAN 只有大约 200 个参数。这些惊人的结果让 KAN 迅速走红，吸引了很多人对其展开研究。很快，有人提出了一些质疑。其中，一篇标题为《KAN is just MLP》的 Colab文档成为了议论的焦点。
KAN 作者：我想传达的信息不是「KAN 很棒」，而是「尝试批判性地思考当前的架构，并寻求从根本上不同的替代方案，这些方案可以完成有趣、有用的事情。」
一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo
开源大模型领域，又迎来一位强有力的竞争者。近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE) 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。DeepSeek-V2 参数量达 236B，其中每个 token 激活 21B 参数，支持 128K token 的上下文长度。
仅用250美元，Hugging Face技术主管手把手教你微调Llama 3
大语言模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客，详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型进行微调。
微调主要步骤如下：
•
设置开发环境
•
创建并加载数据集
•
使用 PyTorch FSDP、Q-Lora 和 SDPA微调大语言模型
•
测试模型并进行推理
本文进行的实验是在英伟达（NVIDIA）H100 和英伟达（NVIDIA）A10G GPU 上创建和验证的。配置文件和代码针对 4xA10G GPU 进行了优化，每个 GPU 均配备 24GB 内存。如果使用者有更多的算力，第 3 步提到的配置文件（yaml 文件）需要做相应的修改。