奇绩大模型日报（4月 1日）

文章推荐

「理论与实践」AIPM 张涛：关于Diffusion你应该了解的一切

https://mp.weixin.qq.com/s/G8u0OUIW4eCuja-0qgzAEQ

Stable Diffusion的亮相之初，在Github 排行榜，在不到两个月的时间内飙升至 33K star。​

奇绩邀请了张涛老师来做分享，张涛老师为光年之外产品负责人，在这篇分享中，张涛老师以产品的角度带领技术小白了解Diffusion的底层原理，也进一步通过基于Diffusion的一些技术进展，SD在过去的一年半的时间里面，在整个行业里面构成了一个什么样子的生态？在这样子的生态里面，我们在产品上面的机会有哪些，以及作为产品经理，我们该如何去做。​

50%

common.docs_name - LarkCCM_Docs_Menu_Image

50%

推特

从xz包泄漏的后门事件看AI安全：使用pip和npm的AI公司都可能每次更新后被窃听数百次​

贡献人：

用户8534

https://x.com/nisten/status/1774424170664689720?s=20

nisten：我见过的最令人印象深刻(也最令人担忧)的AI安全演示之一。如果你的公司使用pip或npm,你不仅被窃听,而且在每次更新后被窃听了数百次。Snyk/npmregistry并没有发现其中的大部分。没错,就是你,你的数据。​

转发Feross：xz包的后门只是冰山一角。npm、PyPI和Go注册中心不断有低级的恶意软件和间谍软件被上传。我想分享一些我们迄今为止检测到的20,000多个恶意软件包中的几个例子:​

50%

Mojo开源：在Apache 2许可下发布Mojo标准库中的核心模块

贡献人：

用户8534

https://www.modular.com/blog/the-next-big-step-in-mojo-open-source

Mojo🔥开源的下一个重大步骤

对Modular来说,开源深深植根于我们的DNA。我们坚信,要让Mojo发挥其全部潜力,它必须是开源的。我们一直在逐步开放Mojo和MAX平台的更多部分,今天我们很高兴宣布在Apache 2许可下发布Mojo标准库中的核心模块!​

我们一直认为,公开构建Mojo将带来更好的结果,因为它允许其设计受到更广泛社区反馈的影响。我们很早就发布了Mojo,并自2023年5月以来一直在稳步改进。构建一门语言及其基础设施是一项艰巨的工作,需要时间,我们很高兴能够从分享我们的工作转变为与全球Mojo开发者合作。​

50%

Raschka：大语言模型预训练和评估奖励模型的技巧

贡献人：

用户8534

https://x.com/rasbt/status/1774420802328203570?s=20

Sebastian Raschka：我刚写了一篇新文章"大语言模型预训练和评估奖励模型的技巧"。在这里,我回顾了一篇讨论继续预训练大语言模型策略的论文。然后,我讨论了在人类反馈强化学习(一种流行的大语言模型对齐方法)中使用的奖励建模。​

1.
大语言模型的持续预训练是一个重要主题,因为它允许我们更新现有的大语言模型,例如,确保这些模型与最新信息和趋势保持同步。此外,它还允许我们在不需要从头开始重新训练的情况下使其适应新的目标领域。​

2.
奖励建模很重要,因为它允许我们更紧密地将大语言模型与人类偏好对齐,并在一定程度上有助于安全。但除了人类偏好优化之外,它还提供了一种通过提供指令-输出示例来学习和适应复杂任务的机制,在这些示例中,显式编程正确行为具有挑战性或不切实际。​

3.
作为奖励,我还包括了对RLHF中用于训练奖励模型的Bradley-Terry模型的解释,并与直接偏好优化进行了比较!​

50%

奇绩大模型日报（4月 1日） ​

奇绩大模型日报（4月 1日）