标签: 云原生
使用该标签的全部文章 "云原生".
昇腾 npu 如何接入 kubernetes:从机器有卡到 pod 能计算
用一次去敏后的实践,讲清昇腾 npu 如何被 kubernetes 发现、分配,以及怎样确认 pod 真正完成计算。
零基础看懂 ai infra:从一张 gpu 到大模型服务
沿着大模型训练和推理的真实工作流程,理解 gpu、nvlink、infiniband、nccl、模型并行、kubernetes 调度、存储与推理优化等常见概念。
llm 推理服务为什么需要多级缓存、pd 分离和连续批处理
从实际工程场景出发,理解多级缓存、pd 分离和连续批处理如何减少重复计算、提高 gpu 利用率,并降低大模型推理成本。
k8s多租户学习
为每个租户创建独立namespace,并创建相应的resourcequota和limitrange限制资源使用。