首页
梁园区
睢阳区
永城市
夏邑县
虞城县
柘城县
宁陵县
睢县
民权县
示范区
首页
梁园区
睢阳区
永城市
夏邑县
虞城县
柘城县
宁陵县
睢县
民权县
示范区
民权县
>
正文
AMD |推出 vLLM
2026-05-15 22:11:12
新浪新闻
科技媒体 Wccftech 昨日(5 月 11 日)推出博文,报道称 AMD 推出 vLLM-ATOM 插件,在不改动现有 vLLM 命令、API 和工作流的前提下,提高 DeepSeek-R1、Kimi-K2 和 gpt-oss-120B 等大语言模型推理性能。AMD 本次推出的 vLLM 插件提供了一套更贴近 AMD Instinct GPU 的推理优化方案,尽量不改变开发者现有使用方法,让用户继续使用原有 vLLM 命令、API 和端到端工作流,而插件会在后台接管优化。vLLM-ATOM 插件重点面向 Instinct MI350、MI400,以及 MI355X 等 GPU。从架构上看,vLLM-ATOM 分成 3 层:对企业和开发者来说,这套办法的核心价值不只是“更快”,还在于部署门槛更低。AMD 把它包装成“零学习成本”,意味着现有基于 vLLM 的服务流程理论上可以平滑迁移到 AMD 后端。与一般“单次调用”推理工具不同,它更指出请求调度、KV 缓存和连续批解决,适合企业把模型做成长期在线服务。该插件支持多个模型,包括 Qwen3、DeepSeek、GLM、gpt-oss、Kimi 等,并覆盖 MoE、混合 MoE、稠密模型,以及文本加视觉的 VLM 场景。IT之家注:vLLM 是面向大语言模型安排的开源推理框架,重点优化高并发服务场景下的吞吐和显存利用率。该插件声援的代表模型包括 Qwen3-235B-A22B-Instruct-2507-FP8、DeepSeek-R1-0528、openai / gpt-oss-120b 和 amd / Kimi-K2.5-MXFP4。
<
上一篇:(友城故事)四川与澳大利亚维多利亚州结好十年 州督盼合作连续深化
热点排行
0
2025国际十大科技新闻解读
0
{11月全}社会用电量同比增加6.2%
1
两家内地会计师事务所获准从事H股企业审计
2
<全球创意城市代表相聚无锡 共探城市可持续发展新路径>
3
东博会秘书处携中国味道“出海”进东盟(印尼)专题展启幕
4
(走进中国乡村)东北乡|村用“芯”密码解锁“莓”好生活
5
交通运输部处罚9家国际集装箱班|轮运输公司和7家无船承运业务经营者
6
"突发,马斯克xAI解散了!"
7
四川省与澳大利亚维多利亚州结【好十】周年庆祝活动在蓉举行
8
"美股创历史新高 华尔街迎来2020年以来最佳月度表现"
9
DeepSeek V4最大的遗憾
今日商丘
新浪微博
商丘网
商丘日报