Claude Skill
vllm-project/semantic-router
Semantic Router 是一个面向模型混合 AI 架构的系统级智能路由器，支持在云、数据中心和边缘环境中高效路由工作负载。
概览
Stars3,387
Forks570
语言Go
最后更新2026-03-14
最近同步2026-03-14
仓库信息
拥有者vllm-project
仓库semantic-router
完整名称vllm-project/semantic-router
Repo ID1,045,247,072
🚀 安装这个 Skill
openclaw install vllm-project/semantic-router项目简介
Semantic Router 是一个面向模型混合架构的系统级智能路由器，旨在为云、数据中心和边缘环境高效路由 AI 工作负载。
英文描述
System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge
要点
- 面向 AI 模型的系统级智能路由
- 支持模型混合架构
- 可部署于云、数据中心和边缘环境
- 使用 Go 和 Rust 构建以确保性能
- 与 Kubernetes 集成实现编排
- 利用 Hugging Face 库（Transformers, Candle）
使用场景
- 作为路由大语言模型请求的 AI 网关
- 基于语义输入进行动态模型选择
- 个人身份信息检测与内容过滤
- 提示词工程与防护系统
- 在生产环境中编排多个 AI 模型
- 具有高效路由能力的边缘 AI 部署