最近有聊到智算平台，想着借此机会，结合自己知道的一点点，随便写写，不懂的地方就先略过，权当复习总结。
分层设计
- 应用层：训练作业、推理作业、智能体、其他作业等
- 平台层k8s：
- volcano+kueue: 作业调度+队列管理
- 多集群管理: karmada
- 训练作业管理：openfuyao
- 监控管理：prometheus+grafana+alertmanager+slack
- 日志管理：loki
- gitops: flux cd / argocd
- 基础设施层
- 计算：CPU、GPU、NPU等
- 网络
- 存储
- 缓存：热数据，训练数据等
- 磁盘：温数据，作业检查点，模型数据等
- 对象存储：冷数据，归档数据、历史数据等
容量规划
- 节点数：考虑冗余节点
- GPU卡数：单个作业最大需要多少卡
- CPU核数
- 内存
- 存储
- 网络带宽
- 功耗和散热
存储
- 热数据层：实时训练数据，保留时间短，比如1周删除或者迁移到温数据层
- 温数据层：分布式文件系统如ceph，保存活跃的训练数据、作业检查点、日志、监控数据等，保留时间长一些比如3个月删除或者迁移到冷数据层
- 冷数据层：对象存储如minio，历史数据、模型归档、日志归档等，保留时间比如6个月后删除
作业检查点
- 通过使用增量检查点减少存储空间，第一次保存完整的检查点，户名值保存增量
- 最多保存3个检查点，通过异步方式保存，不影响当前作业
- 设置适合时间保存一次检查点
- 检查点恢复机制
- 检查点清理
调度系统volcano
- 配置抢占队列，供紧急作业运行
- 配置可被抢占队列，供一般作业运行
- 拓扑感知，优先同一个机架、同交换机、通一个节点调度，提升GPU之间通信效率
- gang scheduling
- 独占式调度
- 共享式调度
- 队列支持优先级
- 弹性调度，最少需要多少卡，最多需要多少卡
- bin packing减少资源碎片
- fifo
- 自定义调度插件
- 缓存节点信息
监控系统
- 业务指标：成功作业数、失败作业数、队列排队时间、作业训练速度、作业运行时间
- 系统指标：GPU利用率、显存利用率、内存、CPU、存储、网络
- 硬件指标：GPU温度、功耗、网卡丢包、硬件错误等
- dashboard展示
- 保存短期指标数据到内存和缓存，提升查询效率，如1小时数据从内存查询，24小时数据从硬盘查，历史数据从对象存储查
- 数据压缩和降采样节约存储空间，比如超过7天数据10分钟采样，超过30天数据1小时采样
- 自身监控
- 高可用：部署分布在不同节点或者不同区域
告警
- GPU利用率低
- GPU温度高
- 作业排队时间过长
- 失败作业数多
- 支持检查点作业没有检查点
- GPU错误：自动重置？
aiops
- alert触发脚本自动resolve issue
- agent诊断
- 持续学习和改进
- 基于作业队列自动扩缩容