奇绩大模型日报（9月 9日）
输入“/”快速插入内容
奇绩大模型日报（9月 9日）
奇绩大模型日报（9月 9日）
用户150用户150
用户5537用户5537
用户1188用户1188用户5294用户52942024年9月9日修改
资讯
OpenAI 联合 SWE 发布 AI 软件工程能力测试集，Gru.ai 荣登榜首
在 9 月 3 日，Gru.ai 在 SWE-Bench-Verified 评估最新发布的数据中以 45.2% 的高分排名第一。SWE-Bench-Verified 是 OpenAI 联合 SWE 发布测试集，旨在更可靠的评估 AI 解决实际软件问题的能力。该测试集经由人工验证打标，被认为是评估 AI 软件工程能力的最权威标准。本次参评登顶的 Coding Agent 是 Gru 团队的 Bug Fix Gru。Gru 团队撰写了两篇博客来说明为 SWE 做了哪些工作。 https://gru.ai/blog/road-to-ultimate-pull-request-machine-continued/。除了提供给 Bug Fix Gru 完整的运行环境及丰富的开发工具外，而工作流程，多模态支持，Rag 能力的添加都有效提高了得分。最重要的是，团队内部有一个评估流程来评估任何改动带来的影响。
PyTorch Triton：探索无英伟达 CUDA 的大模型推理技术
PyTorch 最近宣布探索无英伟达 CUDA 的大语言模型（LLM）推理，并采用 OpenAI 的 Triton 作为核心技术。Triton 提供了跨多种 GPU（包括英伟达、AMD、英特尔等）的推理能力，提升了内存管理和编译效率。
技术细节上，PyTorch 用 Triton 生成和手写内核，替代 CUDA 内核，用于 Transformer 模型的关键操作如矩阵乘法和注意力机制。通过优化 Triton 的 SplitK GEMM 内核，PyTorch 实现了 1.2 倍的加速。此外，团队还使用了不同的 Flash Attention 内核，包括 AMD Flash 和 FlexAttention，评估了其在推理中的性能表现。
PyTorch 对 Granite-8B 和 Llama3-8B 模型进行了基准测试，结果显示 Triton 模型在英伟达 H100 和 A100 GPU 上达到了 CUDA 性能的 78% 和 82%。尽管 Triton 仍比 CUDA 慢，尤其在矩阵乘法和 Flash Attention 上，PyTorch 团队正在继续优化，以缩小与 CUDA 的差距。
谷歌正式发布Illuminate
Google推出的**Illuminate**是一个将学术论文自动生成音频对话的AI工具。它利用Google的大型语言模型（LLM）Gemini，将复杂的研究论文转换为清晰、引人入胜的对话式播客。用户可以通过AI生成的男性采访者与女性专家之间的问答形式，快速掌握论文的核心内容。例如，在《Attention is All You Need》这篇论文的播客中，AI解释了序列模型RNN、LSTM在处理长序列时的局限性，以及Transformer通过自注意力机制和多头注意力机制克服了这些挑战。
Illuminate适合用户在开车、运动等场景下聆听学术内容，并且支持调整播放速度和音频格式的灵活切换，增强学习体验。虽然目前仅限于计算机科学论文，且支持的语言和功能较有限，但随着产品的不断优化，将逐步扩展更多领域和功能，提供更加用户友好的学术学习方式。
用杏鲍菇控制机器人运动！康奈尔等新研究登Science子刊
康奈尔大学和佛罗伦萨大学联合进行，研究人员通过将杏鲍菇（刺芹侧耳）的菌丝体与机器人系统相结合，实现了真菌控制机器人的运动。核心技术在于捕捉菌丝体的生物电信号并将其转化为控制机器人的数字信号。
首先，研究人员设计了一种菌丝体电接口，能够长期稳定地捕捉真菌产生的电信号。这些电信号是通过插入不锈钢电极，并以10S/s采样率记录约30天的数据。采集到的信号数据通过Python处理，包括去噪和平滑后，再对电位尖峰进行统计分析。实验发现，菌丝体能够自发产生稳定的电位尖峰，幅值范围从135μV到1868μV，频率约为0.12次/秒。
进一步，研究人员通过光照刺激菌丝体，发现紫外光和蓝光能够显著增强电位尖峰的幅值。基于这些电信号，研究人员设计了一个类似海星的柔性步行机器人，利用Arduino单片机将菌丝体产生的电信号转化为PWM波形，进而控制机器人的运动状态。通过光照调节，机器人能够实现实时运动控制。
AI赋能多领域终端光学创新，国内厂商替代加速未来可期