标签: ai
使用该标签的全部文章 "ai".
从模型文件到推理服务:一篇文章认识 vllm
从大模型部署中的实际问题出发,介绍 vllm 的作用、请求调度和显存管理,并通过示例了解模型服务的部署与调用。
在 kubernetes 中以普通用户运行 vllm ascend:两个权限问题的排查
记录官方 vllm ascend 镜像中普通用户身份与自定义算子访问问题的现象、原因和临时卷解决思路。
从 tp 和 pp 到 vllm ascend 看懂大模型推理配置
用加工线和播放器的例子,讲清张量并行、流水线并行、量化参数,以及 vllm 和昇腾适配插件的关系。
在 kubernetes 和昇腾 npu 上部署 qwen3.8-27b
从镜像、模型和双卡配置出发,记录一次使用官方 vllm ascend 镜像部署 qwen3.8-27b 的过程,以及普通用户运行时的权限处理。