奇绩大模型日报（7月 16日）
输入“/”快速插入内容
奇绩大模型日报（7月 16日）
奇绩大模型日报（7月 16日）
用户150用户150
用户1188用户1188
用户5537用户5537用户6889用户6889
用户5247用户5247+2
2024年7月23日修改
资讯
大模型集体失智！9.11和9.9哪个大，几乎全翻车了
一觉醒来，一众响当当的大模型开始认为“9.11>9.9”了？发现这个问题的是Riley Goodside，有史以来第一个全职提示词工程师。简单介绍下，他目前是硅谷独角兽Scale AI的高级提示工程师，也是大模型提示应用方面的专家。最近他在使用GPT-4o时偶然发现，当提问：9.11 and 9.9——which is bigger？GPT-4o竟毫不犹豫回答前者更大。面对这一常识性“错误”，他不死心地又去问了其他大模型，结果几乎全军覆没。
太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3
将 iPhone、iPad、Macbook 进行组合，就能组装成「异构集群推理方案」， 然后顺畅的运行 Llama3 模型。值得一提的是，这个异构集群可以是 Windows 系统，也可以是Linux、iOS 系统，并且对 Android 的支持很快到来。根据项目作者 @evilsocket 的介绍，这个异构集群包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有代码都已经上传到 GitHub。
公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4
通常来说，因果推理使用的数据对应于一个系统中的变量。通过正则化、模型架构或特定的变量选择，可以归纳偏置的形式将公理或规则集成到机器学习模型中。根据可用数据种类的差异（观察数据、干预数据、反事实数据），Judea Pearl 提出的「因果阶梯」定义了因果推理的可能类型。由于公理是因果性的基石，因此我们不禁会想是否可以直接使用机器学习模型来学习公理。也就是说，如果学习公理的方式不是学习通过某个数据生成流程得到的数据，而是直接学习公理的符号演示（并由此学习因果推理），哪又会如何呢？相较于使用特定的数据分布构建的针对特定任务的因果模型，这样的模型有一个优势：其可在多种不同的下游场景中实现因果推理。随着语言模型具备了学习以自然语言表达的符号数据的能力，这个问题也就变得非常重要了。事实上，近期已有一些研究通过创建以自然语言编码因果推理问题的基准，评估了大型语言模型（LLM）是否能够执行因果推理。微软、MIT 和印度理工学院海得拉巴分校（IIT Hyderabad）的研究团队也朝这个方向迈出了重要一步：提出了一种通过公理训练（axiomatic training）学习因果推理的方法。
谷歌机器人专家：机器人在现实中碰过的壁，AI也会碰
有人说，机器人领域进展缓慢，甚至和机器学习的其他子领域相比显得毫无进展。谷歌 DeepMind 机器人科学家，SayCan、RT-1、RT-2 等具身智能项目参与者 Alex Irpan 同意这一说法。但他认为，这是因为机器人学是一个和现实紧密连接的领域，现实的复杂性决定了他们不免碰壁。他还指出，这些问题不是机器人技术所独有的。同样的问题也适用于大语言模型（LLM）等技术。这些模型在面对现实世界时，会遇到与机器人学类似的复杂性问题。最近，他写了一篇题为「The Tragedies of Reality Are Coming for You（现实的悲剧正在向你袭来）」的博客来阐述这一观点。
推特
Pietro Schirano分享：Claude Engineer 2.0，配备代理