基于 Go 语言的高性能推理服务管理中心,统一采集 GPU、系统、推理指标,提供实时监控、告警推送和 KV Cache 管理能力。

┌──────────────┐ ┌──────────────────┐ ┌──────────────┐
│ llama.cpp │────▶│ Inference Hub │────▶│ Victoria │
│ (8080) │ │ v3 (9092) │ │ Metrics │
└──────────────┘ │ │ └──────────────┘
│ ┌─────────────┐ │ ┌──────────────┐
┌──────────────┐ │ │ Collectors │ │────▶│ 告警通知 │
│ New API │────▶│ │ GPU/System │ │ │ Telegram │
│ (3000) │ │ │ Inference │ │ │ Feishu │
└──────────────┘ │ │ KV Cache │ │ │ 微信 │
│ └─────────────┘ │ └──────────────┘
┌──────────────┐ │ │
│ Nginx 日志 │────▶│ ┌─────────────┐ │
└──────────────┘ │ │ IP 统计 │ │
│ └─────────────┘ │
└──────────────────┘
- GPU 监控:多卡利用率、显存、温度、功耗、频率
- 系统监控:CPU、内存、磁盘、网络
- 推理指标:TPS、TTFT、TPOT、KV Cache、Slots 状态
- KV Cache 引擎:显存分布计算、Token 容量估算、基线校准
- IP Token 统计:基于 Nginx/NewAPI 日志的 IP 级用量统计
- 告警推送:Telegram、飞书、微信(企业微信)
- 多供应商 GPU 支持:NVIDIA / AMD / Intel
- VictoriaMetrics 对接:指标持久化存储
# 需要 Go 1.22+
go build -o inference-hub ./src/gateway/main.gocp config.yaml.example configs/config.yaml
# 编辑 configs/config.yaml 配置你的服务地址和密钥export ADMIN_KEY=your_admin_key
export LLAMA_API_KEY=your_llama_key
./inference-hubdocker build -t inference-hub .
docker run -d -p 9092:9092 \
-v ./configs:/app/configs \
-e ADMIN_KEY=your_key \
inference-hub├── src/
│ ├── gateway/main.go # 主入口 + API 路由
│ ├── collectors/
│ │ ├── base.go # 采集器接口
│ │ ├── gpu_collector.go # GPU 指标采集
│ │ ├── gpu_specs.go # GPU 规格数据库
│ │ ├── system_collector.go # 系统指标采集
│ │ ├── inference_collector.go# 推理指标采集
│ │ ├── kv_collector.go # KV Cache 采集
│ │ └── llm_monitor.go # LLM 监控
│ ├── kv_engine/engine.go # KV Cache 计算引擎
│ ├── shared/
│ │ ├── config.go # 配置结构体
│ │ ├── models.go # 数据模型
│ │ ├── logger.go # 日志
│ │ ├── metrics_store.go # VictoriaMetrics 存储
│ │ ├── log_parser.go # llama-server 日志解析
│ │ ├── nginx_parser.go # Nginx 日志解析
│ │ ├── newapi_parser.go # NewAPI 日志解析
│ │ └── utils.go # 工具函数
│ ├── middleware/auth.go # 认证 + 限流中间件
│ ├── alert_manager/
│ │ ├── engine.go # 告警引擎
│ │ └── notifiers/ # 通知渠道
│ │ ├── telegram.go
│ │ ├── feishu.go
│ │ └── wechat.go
│ └── config_center/loader.go # 配置热加载
├── Dockerfile
├── Makefile
├── go.mod / go.sum
└── config.yaml.example
| 变量 | 说明 |
|---|---|
ADMIN_KEY |
管理员密钥(API 认证用) |
LLAMA_API_KEY |
llama.cpp 接口密钥 |
TELEGRAM_BOT_TOKEN |
Telegram 机器人 Token |
TELEGRAM_CHAT_ID |
Telegram 聊天 ID |
FEISHU_WEBHOOK |
飞书 Webhook URL |
WECHAT_WEBHOOK |
企业微信 Webhook URL |
MIT