Skip to content
coolwolfqsPublic

About

Go 版推理服务管理中心:GPU 监控、指标采集、KV cache、告警(公开小项目)

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

Repository files navigation

Inference Hub v3

基于 Go 语言的高性能推理服务管理中心,统一采集 GPU、系统、推理指标,提供实时监控、告警推送和 KV Cache 管理能力。 image

架构

┌──────────────┐     ┌──────────────────┐     ┌──────────────┐
│  llama.cpp   │────▶│  Inference Hub   │────▶│  Victoria    │
│  (8080)      │     │  v3 (9092)       │     │  Metrics     │
└──────────────┘     │                   │     └──────────────┘
                     │  ┌─────────────┐  │     ┌──────────────┐
┌──────────────┐     │  │  Collectors │  │────▶│  告警通知     │
│  New API     │────▶│  │  GPU/System │  │     │  Telegram    │
│  (3000)      │     │  │  Inference  │  │     │  Feishu      │
└──────────────┘     │  │  KV Cache   │  │     │  微信         │
                     │  └─────────────┘  │     └──────────────┘
┌──────────────┐     │                   │
│  Nginx 日志  │────▶│  ┌─────────────┐  │
└──────────────┘     │  │  IP 统计     │  │
                     │  └─────────────┘  │
                     └──────────────────┘

功能

  • GPU 监控:多卡利用率、显存、温度、功耗、频率
  • 系统监控:CPU、内存、磁盘、网络
  • 推理指标:TPS、TTFT、TPOT、KV Cache、Slots 状态
  • KV Cache 引擎:显存分布计算、Token 容量估算、基线校准
  • IP Token 统计:基于 Nginx/NewAPI 日志的 IP 级用量统计
  • 告警推送:Telegram、飞书、微信(企业微信)
  • 多供应商 GPU 支持:NVIDIA / AMD / Intel
  • VictoriaMetrics 对接:指标持久化存储

快速开始

编译

# 需要 Go 1.22+
go build -o inference-hub ./src/gateway/main.go

配置

cp config.yaml.example configs/config.yaml
# 编辑 configs/config.yaml 配置你的服务地址和密钥

运行

export ADMIN_KEY=your_admin_key
export LLAMA_API_KEY=your_llama_key
./inference-hub

Docker

docker build -t inference-hub .
docker run -d -p 9092:9092 \
  -v ./configs:/app/configs \
  -e ADMIN_KEY=your_key \
  inference-hub

项目结构

├── src/
│   ├── gateway/main.go           # 主入口 + API 路由
│   ├── collectors/
│   │   ├── base.go               # 采集器接口
│   │   ├── gpu_collector.go      # GPU 指标采集
│   │   ├── gpu_specs.go          # GPU 规格数据库
│   │   ├── system_collector.go   # 系统指标采集
│   │   ├── inference_collector.go# 推理指标采集
│   │   ├── kv_collector.go       # KV Cache 采集
│   │   └── llm_monitor.go        # LLM 监控
│   ├── kv_engine/engine.go       # KV Cache 计算引擎
│   ├── shared/
│   │   ├── config.go             # 配置结构体
│   │   ├── models.go             # 数据模型
│   │   ├── logger.go             # 日志
│   │   ├── metrics_store.go      # VictoriaMetrics 存储
│   │   ├── log_parser.go         # llama-server 日志解析
│   │   ├── nginx_parser.go       # Nginx 日志解析
│   │   ├── newapi_parser.go      # NewAPI 日志解析
│   │   └── utils.go              # 工具函数
│   ├── middleware/auth.go        # 认证 + 限流中间件
│   ├── alert_manager/
│   │   ├── engine.go             # 告警引擎
│   │   └── notifiers/            # 通知渠道
│   │       ├── telegram.go
│   │       ├── feishu.go
│   │       └── wechat.go
│   └── config_center/loader.go   # 配置热加载
├── Dockerfile
├── Makefile
├── go.mod / go.sum
└── config.yaml.example

环境变量

变量 说明
ADMIN_KEY 管理员密钥(API 认证用)
LLAMA_API_KEY llama.cpp 接口密钥
TELEGRAM_BOT_TOKEN Telegram 机器人 Token
TELEGRAM_CHAT_ID Telegram 聊天 ID
FEISHU_WEBHOOK 飞书 Webhook URL
WECHAT_WEBHOOK 企业微信 Webhook URL

License

MIT

About

Go 版推理服务管理中心:GPU 监控、指标采集、KV cache、告警(公开小项目)

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages