奇绩大模型日报（6月 8-10日） 端午特刊
输入“/”快速插入内容
奇绩大模型日报（6月 8-10日） 端午特刊
奇绩大模型日报（6月 8-10日） 端午特刊
用户150用户150
用户4513用户4513
用户1188用户1188用户5537用户5537用户8534用户8534
用户887用户8872024年6月10日修改
资讯
突发！陈茂波透露，80 亿美元港版“淡马锡” 周三或战略投资一家 AI 大模型独角兽，助力香港创科生态圈
去年 9 月，香港任命陈家齐（Clara Chan）被任命为香港金融管理局新 80 亿美元基金的 CEO，新基金将投资粤港澳大湾区的企业，香港财政司司长陈茂波担任香港金融管理局执行董事，同时担任香港投资公司 CEO。6 月 9 日，陈茂波发表了香港在推动创新科技（创科）生态圈发展方面的最新举措，香港政府设立的一支基金计划与一家专注于大型 AI 模型和智能制造的本地“独角兽”企业签署合作协议。
独家专访Pika：Sora is not very hard to beat，我们的算法能够以小胜大
即使Sora已经强势“炸”过场，Pika还是再次带着硅谷一众明星资方的投票回到了舆论中心。
6月5日，Pika宣布已完成8000万美元（约合人民币5.8亿元）的B轮融资，总融资额达到1.35亿美元，较2023年末，公司投后估值实现翻倍至4.7亿美元。“我们会更aggressive地做视频大模型”，这家刚刚度过一周年生日的视频生成创业公司，计划在这轮融资之后快速扩张研究和工程师团队。四个月前，来自OpenAI的Sora重新洗牌了视频生成赛道。Sora以长达60秒的连贯视频、高清画面质感、连贯的镜头移动、运动方式等优点，拉高了整个视频生成赛道的技术水平，引发了全球对视频生成的狂热。像LLM领域一样，视频生成貌似也开始变成追赶OpenAI的游戏。同样是在掌声中出道，去年11月，Pika1.0产品由于出色、令人惊艳的视频生成效果，以及支持用户实时进行视频编辑和修改的突破性功能，快速走红。一路斩获众多硅谷科技界明星人物的背书和投资。成立5个月，pika仅有3人的团队一举成为彼时视频生成赛道龙头Runway最大的竞争对手。
原作者带队，LSTM卷土重来之Vision-LSTM出世
AI 领域的研究者应该还记得，在 Transformer 诞生后的三年，谷歌将这一自然语言处理届的重要研究扩展到了视觉领域，也就是 Vision Transformer。后来，ViT 被广泛用作计算机视觉中的通用骨干。这种跨界，对于前不久发布的 xLSTM来说同样可以实现。最近，享誉数十年的 LSTM 被扩展到一个可扩展且性能良好的架构 ——xLSTM，通过指数门控和可并行化的矩阵内存结构克服了长期存在的 LSTM 限制。现在，这一成果已经扩展到视觉领域。xLSTM和 Vision-LSTM 两项研究均由 LSTM 原作者带队，也就是 LSTM 的提出者和奠基者 Sepp Hochreiter。在最近的这篇论文中，Sepp Hochreiter 等人推出了 Vision-LSTM（ViL）。ViL 包含一堆 xLSTM 块，其中奇数块从上到下、偶数块则从下到上处理补丁 token 序列。
329篇图像、视频生成论文，今年CVPR最火的研究主题是这些
一年一度的计算机视觉和模式识别会议（CVPR）一直是 CV 界前沿研究的灯塔。CVPR 2024 录用结果显示，今年共有 2719 篇论文被接收，录用率 23.6%。那么大模型时代，今年的研究主题有哪些变化？最近，乔治亚理工学院计算机学院（College of Computing, Georgia Institute of Technology）对 CVPR 2024 录用数据的统计分析，直观呈现了当前计算机视觉领域的研究热点分布情况。
支持合成一分钟高清视频，华科等提出人类跳舞视频生成新框架UniAnimate
人类跳舞视频生成是一项引人注目且具有挑战性的可控视频合成任务，旨在根据输入的参考图像和目标姿势序列生成高质量逼真的连续视频。随着视频生成技术的快速发展，特别是生成模型的迭代演化，跳舞视频生成任务取得了前所未有的进展，并展示了广泛的应用潜力。现有的方法可以大致分为两组。第一组通常基于生成对抗网络（GAN），其利用中间的姿势引导表示来扭曲参考外观，并通过之前扭曲的目标生成合理的视频帧。然而，基于生成对抗网络的方法通常存在训练不稳定和泛化能力差的问题，导致明显的伪影和帧间抖动。第二组则使用扩散模型（Diffusion model）来合成逼真的视频。这些方法兼具稳定训练和强大迁移能力的优势，相较于基于 GAN 的方法表现更好，典型方法如 Disco、MagicAnimate、Animate Anyone、Champ 等。尽管基于扩散模型的方法取得了显著进展，但现有的方法仍存在两个限制：一是需要额外的参考网络（ReferenceNet）来编码参考图像特征并将其与 3D-UNet 的主干分支进行表观对齐，导致增加了训练难度和模型参数；二是它们通常采用时序 Transformer 来建模视频帧之间时序依赖关系，但 Transformer 的复杂度随生成的时间长度成二次方的计算关系，限制了生成视频的时序长度。典型方法只能生成 24 帧视频，限制了实际部署的可能性。尽管采用了时序重合的滑动窗口策略可以生成更长的视频，但团队作者发现这种方式容易导致片段重合连接处通常存在不流畅的转换和外貌不一致性的问题。为了解决这些问题，来自华中科技大学、阿里巴巴、中国科学技术大学的研究团队提出了 UniAnimate 框架，以实现高效且长时间的人类视频生成。