DeepSeek联合北大发布DSpark框架:大模型推理速度提升60%–85%

百科 2026-07-17 06:14:57 154

6月27日,联合理速DeepSeek团队与北京大学联合发布《DSpark》研究论文,发布该成果聚焦于推测解码(Speculative Decoding)领域,框架提出了一种革新性的大模度提方法以大幅加速大语言模型的推理过程。

针对现有并行“草稿生成”技术中因Token间关联性薄弱导致拒绝率升高及验证算力浪费的型推问题,DSpark创新性地引入了半自回归架构。升–通过在并行生成主干中嵌入轻量级顺序模块,联合理速该框架有效强化了Token间的发布依赖关系,从而显著提升了草稿生成的框架质量。

此外,大模度提DSpark构建了“基于置信度的型推动态验证机制”。该机制能够根据请求的升–成功概率及系统实时负载,自适应地调整验证长度,联合理速进而最小化无效计算开销。发布离线测试数据显示,框架该方法大幅增加了可接受的生成长度;而在DeepSeek-V4线上部署中,相较于基线模型,推理速度实现了60%–85%的显著提升,并有效缓解了高并发场景下的吞吐量衰减问题。

为促进行业技术演进,论文已同步开源模型检查点及训练框架DeepSpec,旨在推动社区在相关方向的深入研究。

本文地址:https://www.xyaji.com/html/54a01099935.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

山洪来临有哪四大征兆?这些避险要点要牢记

票房会破10亿?上座率夺冠,周星驰也压不住,暑期档又诞生大黑马

世体:巴萨欣赏克里斯蒂安-罗梅罗,但球队更更倾向左脚中卫

3M、微软重磅合作!AI数据中心拉动光模块、服务器全链需求丨大咖星选

库克发文欢迎泡泡玛特创始人王宁到访苹果总部

日本一护士涉嫌将排泄物混入输液管中致患者死亡,被警方逮捕

2026丰台科技园教育大升级!紧邻名校的新房标杆深度测评

关于近期天气气候热点,中国气象局专家解读

友情链接