Kubernetes 原生

通过声明式 CRD 管理 AI 推理的完整生命周期。结合 Gang 调度、网络拓扑感知的资源放置和 Volcano 集成，为现有 Kubernetes 基础设施提供企业级编排能力。

智能路由

请求级调度支持可插拔评分插件，包括最低延迟、KV 缓存感知、前缀缓存匹配和 LoRA 亲和性路由。通过按模型公平排队和基于 Token 的限流，优化各模型的吞吐量。

分层 PD 分离编排

将 Prefill 与 Decode 阶段拆分为可独立扩缩容的服务组。Prefill 节点专注于计算吞吐量，Decode 节点专注于低延迟，实现精细的 GPU 资源利用和灵活的扩缩容比例。