File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change @@ -70,16 +70,16 @@ Ray 和 Ceph 的任务均应围绕 llama.cpp 主线展开,不要求高端 GPU
7070在完成所选方向的基础上,可以继续扩展。以下加分项按完成质量计分,最高 10 分。
7171
7272- ** Ray 加分项** :每项需提交实现说明、运行命令、测试数据和结果分析。
73- - 负载均衡调度(5分):实现至少两种调度策略,例如轮询和按历史平均延迟分配;使用同一组不少于 30 个 prompt 进行测试,并比较各 worker 的请求数、平均延迟和总吞吐。
74- - 失败重试(5分):在推理过程中手动停止一个 llama.cpp server,Ray 程序需要检测失败并将请求转发到其他节点;报告中需给出失败注入方式、重试日志和最终成功率。
75- - 异构节点分析(5分):至少使用两台硬件配置不同或模型配置不同的节点,例如不同 CPU、不同线程数、不同量化格式;比较固定分配和按节点能力分配的效果。
76- - 并发压力测试(5分):设置至少 3 档并发度,例如 1、2、4 或 2、4、8;记录平均延迟、P95 延迟、吞吐量和失败请求数。
73+ - 负载均衡调度(5分):实现至少两种调度策略,例如轮询和按历史平均延迟分配;使用同一组不少于 30 个 prompt 进行测试,并比较各 worker 的请求数、平均延迟和总吞吐。
74+ - 失败重试(5分):在推理过程中手动停止一个 llama.cpp server,Ray 程序需要检测失败并将请求转发到其他节点;报告中需给出失败注入方式、重试日志和最终成功率。
75+ - 异构节点分析(5分):至少使用两台硬件配置不同或模型配置不同的节点,例如不同 CPU、不同线程数、不同量化格式;比较固定分配和按节点能力分配的效果。
76+ - 并发压力测试(5分):设置至少 3 档并发度,例如 1、2、4 或 2、4、8;记录平均延迟、P95 延迟、吞吐量和失败请求数。
7777
7878- ** Ceph 加分项** :每项需提交配置说明、运行命令、测试数据和结果分析。
79- - 副本数对比(5分):在至少两种副本数配置下测试同一批文件的上传和下载,例如 size=1 与 size=2/3;比较读写吞吐、耗时和空间开销。
80- - 故障恢复观察(5分):手动停止一个 OSD 或节点,记录 ` ceph status ` 变化、数据是否可读、恢复后集群状态;报告中需说明故障注入步骤和恢复现象。
81- - 存储路径对比(5分):比较本地文件系统、CephFS 或对象存储中至少两种路径的模型文件读取或 prompt 读取耗时;测试文件大小需明确,至少重复 3 次取平均。
82- - 多节点共享日志(5分):至少两个 llama.cpp 节点同时读取 Ceph 中的 prompt,并将结果写回统一日志目录或对象前缀;报告中需说明命名规则、冲突处理和结果汇总方式。
79+ - 副本数对比(5分):在至少两种副本数配置下测试同一批文件的上传和下载,例如 size=1 与 size=2/3;比较读写吞吐、耗时和空间开销。
80+ - 故障恢复观察(5分):手动停止一个 OSD 或节点,记录 ` ceph status ` 变化、数据是否可读、恢复后集群状态;报告中需说明故障注入步骤和恢复现象。
81+ - 存储路径对比(5分):比较本地文件系统、CephFS 或对象存储中至少两种路径的模型文件读取或 prompt 读取耗时;测试文件大小需明确,至少重复 3 次取平均。
82+ - 多节点共享日志(5分):至少两个 llama.cpp 节点同时读取 Ceph 中的 prompt,并将结果写回统一日志目录或对象前缀;报告中需说明命名规则、冲突处理和结果汇总方式。
8383
8484## 提交要求与 DDL
8585
You can’t perform that action at this time.
0 commit comments