MiraclePlus用户150
AI Inference — 从前沿技术到商业化实操观察 (社区版）
输入“/”快速插入内容
AI Inference — 从前沿技术到商业化实操观察 (社区版）
AI Inference — 从前沿技术到商业化实操观察 (社区版）
用户3299用户3299用户6099用户60992024年7月15日修改
📢
📢
想认识更多对创业感兴趣的同伴？
添加主编微信，进入在校创业交流群，名额有限报名从速！
Manifesto
AI Inference（人工智能推理）是机器学习工作流程中的一个关键步骤，指的是在训练阶段之后，使用训练好的模型对新的数据进行预测或决策的过程。它是实现人工智能应用价值的最后步骤，包括模型的部署和优化、推理引擎、硬件加速、以及端侧和云侧推理等各个方面——它直接影响到用户体验和业务成果。随着技术的发展，AI推理和优化的需求正变得越来越普及。
奇绩行研组与清昴智能、硅基流动、共绩算力，RWKV、明之几何五位校友进行调研和讨论。希望可以回答如下几个问题：
•
AI Inference 的前沿在关注什么问题？
•
工程化技术发展应用与预测的发展、技术演进方向？
•
推理优化解决方案的产品形式，怎么做最容易被市场接受？
•
用户的需求痛点是什么？
•
未来的产品机会方向？
一、LLM Inference 综述
我们可以借鉴一下CMU 推理综述论文的分类思路，并且补充最近的一些相关工作。
1.
decoding
论文中给出了比较全面的解码策略类别，目前学界主要做的是如下五个方向。