本站 12 月 19 日消息，苹果公司昨日（12 月 18 日）发布博文，宣布和英伟达（nvidia）合作，通过开源 recurrent drafter（redrafter）推测解码方法，显著提升了 ai 大语言模型（llm）的推理速度。
苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中，在 NVIDIA GPU 上，每秒生成 tokens 速度最高提升 2.7 倍，有效降低了用户延迟和计算成本。
苹果的机器学习研究人员指出，LLM 越来越多地用于驱动生产应用程序，提高推理效率对降低计算成本和用户延迟至关重要。
本站援引苹果官方博文，ReDrafter 使用 RNN 草稿模型，结合波束搜索（beam search）与动态树注意力（dynamic tree attention），可以让开源模型每步生成最多 3.5 个 tokens，超越了先前推测性解码技术的性能。
为将 ReDrafter 应用于生产环境，苹果与 NVIDIA 展开合作，将其集成到 NVIDIA TensorRT-LLM 框架中。
英伟达为此添加了新的运算符并公开了现有运算符，增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。
基准测试结果显示，在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架，数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟，还减少了 GPU 使用数量和功耗。
本站附上参考地址
Apple collaborates with NVIDIA to research faster LLM performance
NVIDIA TensorRT-LLM Now Supports Recurrent Drafting for Optimizing LLM Inference
ml-recurrent-drafter
Accelerating LLM Inference on NVIDIA GPUs with ReDrafter
以上就是苹果、英伟达强强联手：LLM 推理加速利器 ReDrafter 开源，AI 性能提升 2.7 倍的详细内容，更多请关注慧达安全导航其它相关文章！
免责 声明
1、本网站名称：慧达安全导航
2、本站永久网址：https//www.huida178.com/
3、本站所有资源来源于网友投稿和高价购买，所有资源仅对编程人员及源代码爱好者开放下载做参考和研究及学习，本站不提供任何技术服务!
4、本站所有资源的属示图片和信息不代表本站的立场!本站只是储蓄平台及搬运
5、下载者禁止在服务器和虚拟机下进行搭建运营，本站所有资源不支持联网运行!只允许调试，参考和研究!!!!
6、未经原版权作者许可禁止用于任何商业环境，任何人不得擅作它用，下载者不得用于违反国家法律，否则发生的一切法律后果自行承担!
7、为尊重作者版权，请在下载24小时内删除!请购买原版授权作品，支持你喜欢的作者，谢谢!
8.若资源侵犯了您的合法权益，请持 您的版权证书和相关原作品信息来信通知我们！QQ：1247526623我们会及时删除，给您带来的不便，我们深表歉意!
9、如下载链接失效、广告或者压缩包问题请联系站长处理
10、如果你也有好源码或者教程，可以发布到网站，分享有金币奖励和额外收入!
11、本站资源售价只是赞助，收取费用仅维持本站的日常运营所需
12、因源码具有可复制性，一经赞助，不得以任何形式退款。
13、本文内容由网友自发贡献和站长收集，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系1247526623@qq.com
转载请注明出处： 慧达安全导航 » 苹果、英伟达强强联手：LLM 推理加速利器 ReDrafter 开源，AI 性能提升 2.7 倍
发表评论 取消回复