Claude Skill
vllm-project/semantic-router
Semantic Router 是一个面向模型混合AI架构的系统级智能路由器，可在云端、数据中心和边缘环境中高效调度工作负载。属于 vLLM 生态系统的一部分。
概览
Stars3,934
Forks645
语言Go
最后更新2026-04-28
最近同步2026-04-28
仓库信息
拥有者vllm-project
仓库semantic-router
完整名称vllm-project/semantic-router
Repo ID1,045,247,072
🚀 安装这个 Skill
openclaw install vllm-project/semantic-router项目简介
Semantic Router 是一个面向模型混合架构的系统级智能路由器，旨在高效调度云端、数据中心和边缘环境中的AI工作负载。它是 vLLM 生态系统的关键组件，主要使用 Go 语言构建。
英文描述
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
要点
- 面向AI模型的系统级智能路由
- 支持模型混合（MoM）架构
- 可部署于云端、数据中心和边缘环境
- 使用 Go 语言构建，注重性能与可扩展性
- 与 vLLM 和 Hugging Face 生态系统集成
- 支持 Kubernetes 原生部署
使用场景
- 作为路由LLM请求的AI网关
- 基于语义上下文动态选择模型
- 跨多个AI模型实例的负载均衡
- 具备智能路由的边缘AI推理
- 多租户AI服务平台
- PII检测与内容过滤路由