奇绩大模型日报（8月 9日）
输入“/”快速插入内容
奇绩大模型日报（8月 9日）
奇绩大模型日报（8月 9日）
用户150用户150用户5294用户5294
用户5537用户5537
用户1188用户1188用户8534用户8534
用户887用户8872024年8月10日修改
资讯
Mistral AI推出模型定制和代理功能，加速AI应用开发
Mistral AI宣布多项进展，包括在其平台上推出模型定制功能，允许开发者通过基础提示、少样本提示或微调方式快速定制大型语言模型。此外，还发布了Alpha版本的“代理”功能，帮助用户创建自定义行为和工作流程。与此同时，公司还推出了稳定版本的客户端SDK，进一步提高了开发效率和一致性。这些创新将大大加速生成式AI应用的开发和部署。
CMU教授、机器学习系主任空降OpenAI董事会
Zico Kolter，卡内基梅隆大学机器学习系主任，不久前加入了 OpenAI 董事会，并担任安全与安保委员会成员。Kolter 的加入对于 OpenAI 来说至关重要，他不仅在学术界有着卓越的成就，还在 AI 安全领域具有深厚的研究背景。他的研究重点包括 AI 模型的安全性和稳健性，以及大语言模型的安全问题。在加入 OpenAI 之前，Kolter 和 Matt Frederickson 揭示了 ChatGPT 的安全漏洞，这可能是他被纳入董事会的原因之一。OpenAI 董事会主席 Bret Taylor 表示，Kolter 的加入将有助于提升人工智能的安全性，确保 AI 技术能够造福全人类。
豆包大模型团队&港大提出ByteCheckpoint提效LLM训练
在大模型训练过程中，由于软硬件故障的频繁发生，高效的 Checkpoint 系统对于提升训练效率至关重要。字节跳动豆包大模型团队与香港大学合作开发了 ByteCheckpoint 系统，它是一个原生支持 PyTorch 的 Checkpointing 系统，兼容多个训练框架，支持高效的 Checkpoint 读写和自动重新切分。ByteCheckpoint 相比基线方法，在 Checkpoint 保存上性能提升高达 529.22 倍，在加载上提升高达 3.51 倍，极大降低了用户的使用成本和提高了系统的易用性。该系统采用了元数据 / 张量数据分离的存储架构，实现了与训练框架和并行度的解耦，并且支持自动 Checkpoint 重新切分。ByteCheckpoint 还提出了异步张量合并技术，解决了不规则张量切分的问题，并通过流水线执行、避免内存重复分配、负载均衡等技术优化了 I/O 性能。实验结果显示，ByteCheckpoint 在不同模型规模和训练框架下，显著提升了存储和读取性能。
Karpathy观点惹争议：RLHF不是真正的强化学习，谷歌、Meta下场反对
AI 领域的知名人物 Andrej Karpathy 发表推文，提出基于人类反馈的强化学习（RLHF）仅仅勉强可以被归类为强化学习（RL）。Karpathy 认为，RLHF 并没有得到广泛认可，它在训练大语言模型（LLM）时作为第三阶段（前两阶段分别是预训练和监督微调 SFT），与真正的 RL 相比，其效果不佳。以 AlphaGo 为例，Karpathy 强调了真正的 RL 在围棋中的成功，并解释了如果使用 RLHF 训练 AlphaGo，最终可能会导致不理想的结果。他指出，RLHF 存在两个根本性的问题：奖励模型可能会误导智能体，并且优化过程可能会偏离正确的轨道。尽管 RLHF 在 LLM 中的应用有其微妙之处，如从人类监督的「容易度」差距中受益，但它并不是真正的 RL。Karpathy 的观点得到了谷歌研究科学家 Kevin Patrick Murphy 的支持，他认为 RLHF 更像是一个具有字符串值操作的上下文「强盗」。然而，谷歌的另一位高级研究科学家 Natasha Jaques 持不同意见，她认为 RLHF 是目前减少 LLM 偏见和幻觉可能造成伤害的唯一可行方法。Meta 研究者 Pierluca D'Oro 同意「RLHF is just barely RL」这一标题，但他强调在不完美的奖励模型下提高 RL 性能的重要性。