Skip to content

PERFORMANCE_TEST_README.md

Latest commit

 

History

History
63 lines (47 loc) · 1.46 KB

PERFORMANCE_TEST_README.md

File metadata and controls

63 lines (47 loc) · 1.46 KB
Raw

VITA 性能测试报告

测试说明

已在 vita.py 中添加详细的性能监控代码，会记录以下阶段的耗时：

  1. 检索阶段 - 向量检索 + 关键词检索 + RRF 融合
  2. Rerank 阶段 - 神经重排序
  3. 数据分析阶段 - 统计分析
  4. 知识库查询阶段 - 查询知识库
  5. LLM 生成阶段 - 流式生成诊断报告

如何测试

Windows:

cd E:\vita
run_test.bat

Linux/Mac:

cd E:/vita
chmod +x run_test.sh
./run_test.sh

查看性能数据

启动应用后，在终端中会看到类似以下的日志输出：

[性能] 检索耗时: 3.45秒
[性能] Rerank耗时: 2.12秒
[性能] 数据分析耗时: 0.23秒
[性能] 知识库查询耗时: 0.15秒
[性能] LLM生成耗时: 8.67秒
[性能总结] 总耗时: 14.62秒
  - 检索: 3.45秒 (23.6%)
  - Rerank: 2.12秒 (14.5%)
  - 数据分析: 0.23秒 (1.6%)
  - 知识库查询: 0.15秒 (1.0%)
  - LLM生成: 8.67秒 (59.3%)

测试查询建议

  1. 简单查询: "AFC闸机故障"
  2. 复杂查询: "3号线横山站ISCS工作站黑屏怎么办"
  3. 模糊查询: "电扶梯异响"

性能分析

根据日志数据，可以分析：

  • 哪个阶段最慢（通常是 LLM 生成）
  • 是否需要优化检索速度
  • Rerank 是否值得（时间 vs 质量）
  • 数据库查询是否有瓶颈

下一步

测试完成后，请将性能数据反馈给我，我会根据实际瓶颈提供针对性的优化方案。