奇绩大模型日报（2月 24-25日）
输入“/”快速插入内容
奇绩大模型日报（2月 24-25日）
奇绩大模型日报（2月 24-25日）
资讯
研究
AAAI 2024杰出论文奖出炉：西安电子科技大学获奖
本周，全球 AI 顶会 AAAI 2024 正式开幕，目前已公布了最佳论文（Outstanding Paper Award）等多个重要奖项。AAAI 全称为国际先进人工智能协会 (Association for the Advancement of Artificial Intelligence)，其每年举办的现场会议是人工智能领域里历史最悠久、涵盖内容最广泛的的国际顶级学术会议之一，今年已是第 38 届。据中国计算机学会推荐国际学术会议和期刊目录，AAAI 为人工智能领域的 A 类会议。据了解，本届 AAAI 会议共有 12100 篇投稿（主赛道），继续打破历史纪录。经过全面而严格的审查程序，共有 2342 篇论文脱颖而出，录取率为 23.75%，相比此前有所提升。
补齐Transformer规划短板，田渊栋团队的Searchformer火了
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。尽管有如此成功，但基于 Transformer 的架构和 LLM 依然难以处理规划和推理任务。之前已有研究证明 LLM 难以应对多步规划任务或高阶推理任务。为了提升 Transformer 的推理和规划性能，近些年研究社区也提出了一些方法。一种最常见且有效的方法是模拟人类的思考过程：先生成中间「思维」，然后再输出响应。比如思维链（CoT）提示法就是鼓励模型预测中间步骤，进行按步骤的「思考」。思维树（ToT）则使用了分支策略和评判方法，让模型生成多个不同的思维路径，然后从中选出最佳路径。尽管这些技术通常是有效的，但也有研究表明，在很多案例中，这些方法会让模型的性能下降，原因包括自我强制（self-enforcing）。为了让 Transformer 具备复杂推理能力，Meta FAIR 田渊栋团队近日提出了 Searchformer。
国内高校打造类Sora模型VDT，通用视频扩散Transformer被ICLR 2024接收
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。为什么 Sora 坚持使用 Diffusion Transformer，其中的原因从同时期发表在 ICLR 2024（VDT: General-purpose Video Diffusion Transformers via Mask Modeling）的论文可以窥见一二。这项工作由中国人民大学研究团队主导，并与加州大学伯克利分校、香港大学等进行了合作，最早于 2023 年 5 月公开在 arXiv 网站。研究团队提出了基于 Transformer 的 Video 统一生成框架 - Video Diffusion Transformer (VDT)，并对采用 Transformer 架构的原因给出了详细的解释。
打入AI底层！NUS尤洋团队用扩散模型构建神经网络参数，LeCun点赞
扩散模型，迎来了一项重大新应用——像Sora生成视频一样，给神经网络生成参数，直接打入了AI的底层！这就是新加坡国立大学尤洋教授团队联合UCB、Meta AI实验室等机构最新开源的研究成果。具体来说，研究团队提出了一种用于生成神经网络参数的扩散模型p(arameter)-diff。用它来生成网络参数，速度比直接训练最多提高44倍，而且表现毫不逊色。这一模型一经发布，就迅速在AI社区引发强烈讨论，圈内人士对此的惊叹，毫不亚于普通人看到Sora时的反应。甚至有人直接惊呼，这基本上相当于AI在创造新的AI了。
进行药物靶标亲和力预测，浙大&华科大团队开发扩展图学习卷积网络方法
高性能计算在计算机辅助药物设计中发挥着关键作用，这一领域在药物研究中具有重大前景。药物靶标亲和力（DTA）的预测是这一过程中的关键阶段，可以通过快速、广泛的初步化合物筛选加速药物开发，同时最大限度地减少资源利用率和成本。深度学习已被引入 DTA 预测领域从而提高预测准确性。虽然基于结构和序列的技术有所进步，基于图的方法也因其全面的数据表示能力而受到关注；但是，这些方法受到固定相邻矩阵的限制，这限制了从复杂的化合物和蛋白质结构中学习综合特征表示的能力，从而影响了模型在复杂的药物发现领域的泛化能力。为了应对这些挑战，浙江大学和华中科技大学的研究人员引入了 GLCN-DTA，这是一个专门为 DTA 任务而设计的模型。GLCN-DTA 创新地将图学习模块集成到现有的图架构中。该模块旨在学习软相邻矩阵，该矩阵可以有效且高效地细化蛋白质和药物分子图的上下文结构。与传统的固定相邻矩阵方法相比，这一进步允许通过专为 DTA 任务定制的图卷积从蛋白质和药物分子图中学习更丰富的结构信息。