标签: 学习笔记
使用该标签的全部文章 "学习笔记".
从 tp 和 pp 到 vllm ascend 看懂大模型推理配置
用加工线和播放器的例子,讲清张量并行、流水线并行、量化参数,以及 vllm 和昇腾适配插件的关系。
零基础看懂 munge:slurm 怎样确认作业是谁提交的
从防伪工牌的类比出发,理解 munge 的作用,并用两台服务器说明安装、密钥分发、权限配置以及与 slurm 的集成。
codex 如何完成一个开发任务:看懂 agent 的工具、技能与分工
更新于:从增加 go 任务状态查询 api 出发,理解 agent 怎样借助项目约定、技能、工具、外部连接和分工,完成实现、检查与交付。
零基础看懂 ai infra:从一张 gpu 到大模型服务
沿着大模型训练和推理的真实工作流程,理解 gpu、nvlink、infiniband、nccl、模型并行、kubernetes 调度、存储与推理优化等常见概念。