MiraclePlus
用户150
添加快捷方式
分享
AI Inference — 从前沿技术到商业化实操观察 (社区版)
输入“/”快速插入内容
AI Inference — 从前沿技术到商业化实操观察 (
社区版
)
用户3299
用户3299
用户6099
用户6099
2024年7月15日修改
📢
创业无头绪?
回答好这30个问题,即可开启你的创业之路
🔗 点击这里(提交表格有机会获得奇绩的面试和投资噢)
📢
想认识更多对创业感兴趣的同伴?
添加主编微信,进入在校创业交流群,名额有限报名从速!
65%
35%
Manifesto
AI Inference(人工智能推理)
是机器学习工作流程中的一个关键步骤,指的是在训练阶段之后,使用训练好的模型对新的数据进行预测或决策的过程。
它是实现人工智能应用价值的最后步骤,
包括
模型的部署和优化、推理引擎、硬件加速、
以及
端侧和云侧推理等各个方面——它直接影响到用户体验和业务成果。随着技术的发展,AI推理和优化的需求正变得越来越普及。
奇绩行研组与
清昴智能、硅基流动、共绩算力,RWKV、明之几何五位校友
进行调研和讨论。
希望可以回答如下几个问题:
•
AI Inference 的前沿在关注什么问题?
•
工程化技术发展应用与预测的发展、技术演进方向?
•
推理优化解决方案的产品形式,怎么做最容易被市场接受?
•
用户的需求痛点是什么?
•
未来的产品机会方向?
一、LLM Inference 综述
我们可以借鉴一下CMU 推理综述论文的分类思路,并且补充最近的一些相关工作。
https://arxiv.org/pdf/2312.15234.pdf
(强烈建立阅读,对于推理会有全面的视野)
1.
decoding
论文中给出了比较全面的解码策略类别,目前学界主要做的是如下五个方向。