跳到正文
LEo的网络日志
返回

在 kubernetes 中以普通用户运行 vllm ascend:两个权限问题的排查

使用官方镜像运行大模型,并不意味着容器内的所有目录都对任意普通用户开放。一次在 kubernetes 上运行量化模型的实践中,模型权重已经加载,服务却在初始化阶段报“算子找不到”。排查后发现,自定义算子库实际存在,但普通用户无法进入它所在的目录。

本文还记录了一个容易一起出现的身份兼容问题:容器以指定数字 uid 运行时,镜像的用户数据库未必有对应记录。我们通过 pod 内的临时文件和临时卷解决了这次部署中的两个问题,保留了官方镜像本身。

实践使用了官方 v0.23.0.post1-openeuler 镜像、量化模型和双卡推理。结论针对这次组合;不同版本、模型和运行环境需要分别验证。

问题一:算子存在,却提示找不到

推理进程加载权重后,初始化报错:

aclnnAddRmsNormBias or aclnnAddRmsNormBiasGetWorkspaceSize not in libopapi.so, or libopapi.so not found.

直觉上可能会以为软件包没有安装,或算子版本不匹配。但这条报错并不能单独证明文件不存在:文件存在、进程却无法访问或加载,也可能出现类似现象。

我们的排查过程是:

  1. 确认权重已加载,再定位错误发生在引擎初始化和算子调用阶段。
  2. 尝试关闭 ascend 的一项融合优化,仍然出现同类错误;不能据此认定问题由这项优化单独造成。实际生效的编译配置也需要核对。
  3. 检查镜像中的自定义算子库:目标符号确实存在于 libcust_opapi.so 中。
  4. 检查目录权限:相关目录属于 root:root,权限为 0750。不属于 root 组的普通用户无法遍历该目录,也就无法正常访问其中的库。
  5. 在保留镜像、普通推理用户及原有推理参数的情况下,通过临时卷让算子文件可读,服务成功启动。两个工作进程的映射均显示已加载该库,健康检查和简单问答通过。

这些证据支持本次失败与文件访问权限有关,但不同运行批次仍可能存在其他差异;同一报错也可能由其他原因引起,不能把权限当作所有情况的唯一原因。

问题二:数字用户有了,用户名记录却没有

kubernetes 可以通过 securityContext 指定非 root 的 uid 和 gid,但这只规定了进程的数字身份,不会自动向镜像的 /etc/passwd 和 /etc/group 添加记录。

一些程序在查询用户名或组名时需要这些记录。如果镜像没有对应条目,可能出现身份解析失败。此前基于同一原版制作的镜像曾遇到身份查询问题;本次原版测试提前补充了身份记录,因此不能把本次算子报错归因于身份缺失。

排查时可以先查看进程身份,再检查用户数据库是否能解析当前 uid 和 gid。是否需要身份记录取决于具体程序;没有记录并不必然导致所有程序失败。

不修改镜像:使用 pod 临时卷

这次采用两个初始化步骤,均使用同一个官方镜像:

  1. 准备身份文件。 以普通用户运行初始化容器,复制镜像自带的用户和组文件到 pod 专用 emptyDir,追加与当前运行身份对应的记录。推理容器只读挂载这些副本。
  2. 准备算子文件。 另一个初始化容器使用非 root uid,但临时以 root 组身份读取镜像内受限的自定义算子目录,复制到 pod 专用 emptyDir。推理容器以自己的普通用户和普通组身份只读挂载副本。
官方镜像 ──> 初始化:准备身份文件 ──> 临时卷 ──> 推理容器只读使用
         └─> 初始化:复制算子文件 ──> 临时卷 ──> 推理容器只读使用

初始化容器使用 root 组意味着它可以读取镜像内向该组开放的文件;虽然它不是 root 用户,这仍是一项额外权限,应结合集群安全策略评估。推理容器不需要加入 root 组。临时卷随 pod 生命周期管理;应确保复制内容和权限仅满足应用需要,并保留模型及其他数据的既有访问边界。

如果集群禁止初始化容器使用 root 组,这个办法可能无法使用,需要另行评估镜像权限、运行时配置或其他合规方案,不应直接放宽宿主机目录权限。

如何判断是否解决

除了查看 pod 状态,还应分别核对:

本次双卡测试完成了基础模型加载、健康检查和三次简单问答。它不等于并发性能、长期稳定性、其他用户权限或其他模型都已验证,也不证明所有版本的官方镜像都有同样的问题。

参考资料



上一篇
从 tp 和 pp 到 vllm ascend 看懂大模型推理配置
下一篇
从模型文件到推理服务:一篇文章认识 vllm