奇绩大模型日报（7月 12日）
输入“/”快速插入内容
奇绩大模型日报（7月 12日）
奇绩大模型日报（7月 12日）
飞书用户150
飞书用户5247
飞书用户1188
飞书用户5537飞书用户85342024年7月13日修改
推特
GPT训练成本大幅下降：llm.c项目的五年成果与未来展望
2019年，OpenAI发布了GPT-2，详见此帖：
今天（大约5年后），你可以花费大约$672，使用一台8XH100 GPU节点运行24小时，训练出自己的模型。我们最新的llm.c帖子详细介绍了具体步骤：
令人难以置信的是，由于计算硬件（H100 GPU）、软件（CUDA、cuBLAS、cuDNN、FlashAttention）和数据质量（例如FineWeb-Edu数据集）的改进，过去五年成本大幅下降。为了这次实验，算法保持不变，遵循GPT-2/3的论文。
因为llm.c是GPT训练在C/CUDA中的直接实现，要求很少——无需conda环境、Python解释器、pip安装等。你只需启动一个云GPU节点（例如在Lambda上），可选地安装NVIDIA cuDNN、NCCL/MPI，下载.bin数据分片，编译并运行，几分钟内即可开始。然后等待24小时，就可以享受关于安第斯山脉的会讲英语的独角兽的样本了。
对我来说，这是一个非常不错的阶段性成果，因为整个llm.c项目的起点是我想为一个教育视频重现GPT-2，结果被一些PyTorch问题卡住了，然后一怒之下决定从头用C/CUDA编写整个程序。这让我走上了一条比预期更长的旅程，但也很有趣，我学到了更多CUDA知识，结交了朋友，llm.c现在真的很棒。它大约有5000行代码，编译和运行速度非常快，所以几乎没有等待时间，它具有恒定的内存占用，采用混合精度训练，在多节点分布式上运行，具有位级确定性，并保持在约50%的MFU。所以它非常可爱。
llm.c能够达到现在的水平，离不开一群从互联网汇集而来的优秀开发者，特别是ademeure、ngc92、@gordic_aleksa 和 rosslwheeler的帮助。还要感谢@LambdaAPI提供的GPU周期支持。
还有很多工作要做。我对目前的运行还不是100%满意——评估应该更好，尤其是对于更大模型尺寸的长时间运行，训练应该更稳定。还有很多有趣的新方向：fp8（即将到来！）、推理、微调、多模态（VQVAE等）、更现代的架构（Llama/Gemma）。llm.c的目标仍然是拥有一个简单、最小、干净的全功能LLM代理训练栈，直接在C/CUDA中实现，并配以伴随的教育材料，让更多人能够进入这个令人惊叹的领域。
眼睛的甜点：我更长的400B token GPT-2运行（从33B tokens提高），一直到330B（达到61% HellaSwag，远高于同尺寸的GPT-2和GPT-3）都很好，之后在这个图表后不久崩溃了，我正在研究这个问题 :)
吴恩达再谈SB 1047：对开源和AI创新的威胁
我对加州拟议的SB 1047法规的进展感到震惊。这项法律错误地将AI技术作为监管对象，而不是AI应用，从而无法有效提高AI的安全性。以下是SB 1047对开源的具体危害。
有些监管措施确实有助于提高安全性。例如，我支持禁止未经同意的深度伪造色情内容，标准化水印和指纹技术以识别生成内容，以及加大对红队和其他安全研究的投资。但不幸的是，这项拟议法案选择了一条更有害的道路。
SB 1047旨在确保AI模型的安全性。它对微调模型或开发训练成本超过1亿美元的模型的开发者设立了复杂的报告要求。这是一部含糊不清的法律，对违规行为施加重罚，导致开发者无法确定如何避免违法，这将使许多团队陷入瘫痪。
你可以在线阅读法律草案，我仔细阅读后发现其模糊且难以理解。
开发者在试图遵守复杂的法律要求时面临巨大个人风险。法律要求开发者在遵守法律的证明文件上签字，一旦违反可能面临伪证罪的处罚。但当法律要求复杂、难以理解且可能随非选举产生的机构的意愿而变化时，如何确保我们遵守呢？
例如，证明文件必须包括许多不同部分，其中之一是对“模型可能合理造成或启用的关键危害的性质和程度”的分析。但即使是顶尖的AI研究人员也不确定模型可能造成或启用哪些危害，那么开发团队如何确定这一点并在伪证罪的威胁下声明他们符合要求呢？
此外，某些开发者将被要求实施“保护措施，以防止对模型及其衍生模型的误用或不安全的后期修改，适合于模型相关风险，包括高级持续威胁或其他高级攻击者。”即使是顶尖的AI研究人员也不同意如何最好地“保护”AI模型免受这些风险，或什么是“适当的”。那么开发者如何确定如何遵守这一要求？
这为开发者创造了一个可怕的局面。伪证可能导致罚款甚至监禁。一些开发者将不得不雇佣昂贵的律师或顾问来指导他们如何遵守这些要求。其他人则会避免发布尖端AI产品。
如果法律通过，对陪审团审判的恐惧将非常真实——陪审团的判决可能非常不可预测，一旦被定罪，惩罚可能非常严厉。如果有人今天在采取他们认为合理的保障措施后发布模型，但几年后，当对AI技术的看法可能发生变化时，一些积极的检察官成功说服陪审团，他们当时的做法在事后看来并不“合理”怎么办？
“合理性”是模糊的，其法律解释可能依赖于判例法、陪审团指示和共同事实等因素。这使得很难确保开发者今天的行为在未来的陪审团看来是合理的。
加剧这一模糊性，法案将创建一个五人组成的边境模型司（FMD），拥有对开发者制定标准的权力。这个小委员会将成为游说和监管俘获的绝佳目标。未选举产生的FMD可以对开发者征收费用以支付其成本。它可以任意改变微调模型的计算门槛，从而要求甚至小团队也需要雇佣审计员检查其是否符合模糊的安全标准。
这些条款并不能确保AI的安全。它们创造了监管不确定性，并为希望扼杀开源的既得利益集团提供了更多游说机会，以推动要求变化，提高合规成本。这将锁定许多没有收入来源的团队——特别是许多开源贡献者——使他们无法支付游说者、审计员和律师费用，以确保他们遵守这些模糊和不合理的要求。
开源是一个美好的力量，正在为许多人带来知识和工具，是AI创新的关键支柱。我对针对开源的有组织攻击感到沮丧。毫无疑问，加州正在为开源的未来健康进行斗争。我致力于尽我所能保护开源，但我并不认为支持开源的一方会一定获胜。希望你能和我一起反对SB 1047和其他威胁开源的法律。
Lynx——领先的幻觉检测模型：在幻觉任务上超越GPT-4o