01 / OPEN SOURCE多模态
vLLM-Omni
让全模态模型服务变得简单、快速、经济，面向每一位开发者。
开放源码，无限可能。
Open to Infer.
Built to Evolve.
为 AI 推理的下一个时代，连接开放创新的力量。
让每一次推理，都成为下一次进化的起点。
向下探索
+七个开源项目，共享创新。
MultiModal✳Agentic✳Ultra-low Latency✳Generative Recommender✳Infer RSI✳
01 /品牌愿景
智能不断向前。
基础设施，也应持续进化。
MODELINFERENCEPOSSIBILITY
02 /开源项目生态
七个项目。
共同打开新的可能。
探索代码，理解架构。
找到你的下一个构建起点。
02 / OPEN SOURCE基础设施
afd-plugin
面向 Attention-FFN 分离（AFD）的 vLLM 外部插件。
03 / OPEN SOURCE基础设施
vLLM Router
面向大规模 vLLM 部署的高性能、轻量级请求转发系统。
04 / OPEN SOURCE智能体
agent-infer
基于 vLLM，面向智能体工作负载的推理框架。
05 / OPEN SOURCE循环推理
vllm-rlt
面向循环迭代 Transformer（recurrent looped transformers）的独立推理与服务引擎。
06 / OPEN SOURCE多模态
vllm-omni-mlx
面向 Apple Silicon 的轻量级 vLLM-Omni 对应实现。
07 / OPEN SOURCE优化探索
InferRSI
以可验证的实验，推动推理优化与专用引擎探索。
这里展示来自开源社区的项目。文档、许可证与贡献指南，请以各项目仓库为准。
RSI /从瓶颈，到可验证的进步
InferRSI
让优化经验，持续生长。
面向编码智能体的推理优化工作台。连接性能剖析、重复实验、质量验证与可复用知识。
01 / 定位瓶颈02 / 实验与验证03 / 沉淀与复用
你驱动性能剖析与代码修改；InferRSI 执行和评估你提供的基准与验证命令。
专用引擎 · 实践案例
MODEL × HARDWARE × EVIDENCE01 / ASCEND 910B1限定实验验收通过 · 作者报告
Qwen3-TTS Engine
面向 Qwen3-TTS-12Hz-1.7B-CustomVoice 的独立 NPU 语音引擎，结合持续批处理、NPU Graph 与流式音频。
实测音频吞吐 · 相对基线倍数
C1 单并发
4.81×vs vLLM-Omni
14.18×vs SGLang-Omni
C64 64 并发
2.41×vs vLLM-Omni
7.67×vs SGLang-Omni
作者报告 · 单张 910B1 / BF16 · 3 轮均值，每轮 128 请求；共享主机顺序测试，基线含兼容性修补。
查看固定版本数据与测试条件 ↗单张 Ascend 910B1、固定模型与负载；仓库提供三轮性能与音频质量验收记录，不代表跨硬件的通用结论。
查看案例与复现说明 ↗02 / NVIDIA B300实验案例 · 原目标未达成
Drama 3 Engine
面向单张 B300 的专用流式 TTS 引擎，将原生 FP8 MoE、持久 GPU 状态、CUDA Graph 与增量音频解码串联起来。
实测音频吞吐 · 相对基线倍数
C1 单并发
1.58×vs vLLM-Omni
1.82×vs SGLang-Omni
C64 64 并发
≈1.00×vs vLLM-Omni
2.47×vs SGLang-Omni
作者报告 · 单张 B300 · 3 轮中位数；vLLM-Omni C64 仅完成 2 轮，第 3 轮超时，≈1.00× 表示基本持平。配置与 codec 精度不同。
查看固定版本数据与测试条件 ↗保留 C1–C64 的性能、质量与失败记录。原始全并发吞吐目标未达成，优化暂停；不同配置和重复次数需分别解读。
查看案例与复现说明 ↗INFERMATRIX RECIPES
找到模型与硬件的部署起点。
进入独立 Recipes 站点，浏览部署配方、适用环境与证据来源。无需登录，即可浏览。
DEMO /从代码，到真实体验
看见推理的可能。
按项目探索演示。点击预览播放视频，体验开源创新。
REPOSITORY / 01
查看演示素材 ↗vLLM-Omni 5 VIDEOS
视频由项目素材库提供；展示内容与适用条件以原始说明为准。点击后才加载视频，不自动播放。
03 /连接更多可能
在技术矩阵中，
找到你的探索方向。
不同的挑战，共同的好奇心。
选择一个方向，探索相关项目。
生态方向概念图
✳InferRSI
INFERENCE
◈vLLM-Omni
⇌afd-plugin
⑂vLLM Router
◇vllm-omni-mlx
∞vllm-rlt
⌘agent-infer
探索方向 01 / 05
打破单一模态的边界。
通过 vLLM-Omni 探索全模态模型服务，并了解其面向 Apple Silicon 的轻量级对应实现 vllm-omni-mlx。
查看相关项目此图展示项目的研究与应用方向，不代表部署拓扑或兼容性保证。
下一篇章，由开放开启
一起构建，
下一个可能。
从一个仓库开始，让一个想法生长。
一起推动推理技术向前。