标签: ai

使用该标签的全部文章 "ai".

• 从 tp 和 pp 到 vllm ascend 看懂大模型推理配置

  2026年10月28日

  用加工线和播放器的例子，讲清张量并行、流水线并行、量化参数，以及 vllm 和昇腾适配插件的关系。

• 从零用 codex 开发复杂软件：从一句需求到可验收的功能

  2026年10月7日

  以假想 ai pipeline 为例，介绍怎样用 codex 澄清需求、比较方案、拆分任务、做出最小闭环，再逐步补齐测试、恢复、审查与交付。

• 零基础看懂 ai infra：从一张 gpu 到大模型服务

  2026年9月15日

  沿着大模型训练和推理的真实工作流程，理解 gpu、nvlink、infiniband、nccl、模型并行、kubernetes 调度、存储与推理优化等常见概念。

• llm 推理服务为什么需要多级缓存、pd 分离和连续批处理

  2026年9月12日

  从实际工程场景出发，理解多级缓存、pd 分离和连续批处理如何减少重复计算、提高 gpu 利用率，并降低大模型推理成本。