标签: 学习笔记
使用该标签的全部文章 "学习笔记".
codex 如何完成一个开发任务：看懂 agent 的工具、技能与分工
更新于:从增加 go 任务状态查询 api 出发，理解 agent 怎样借助项目约定、技能、工具、外部连接和分工，完成实现、检查与交付。
零基础看懂 ai infra：从一张 gpu 到大模型服务
沿着大模型训练和推理的真实工作流程，理解 gpu、nvlink、infiniband、nccl、模型并行、kubernetes 调度、存储与推理优化等常见概念。
零基础看懂 slurm：从多节点集群到第一个作业
用一个控制节点和两个计算节点的例子，介绍 slurm 的使用场景、核心组件、安装思路、常用命令和多节点作业。
llm 推理服务为什么需要多级缓存、pd 分离和连续批处理
从实际工程场景出发，理解多级缓存、pd 分离和连续批处理如何减少重复计算、提高 gpu 利用率，并降低大模型推理成本。