使用官方镜像运行大模型,并不意味着容器内的所有目录都对任意普通用户开放。一次在 kubernetes 上运行量化模型的实践中,模型权重已经加载,服务却在初始化阶段报“算子找不到”。排查后发现,自定义算子库实际存在,但普通用户无法进入它所在的目录。
本文还记录了一个容易一起出现的身份兼容问题:容器以指定数字 uid 运行时,镜像的用户数据库未必有对应记录。我们通过 pod 内的临时文件和临时卷解决了这次部署中的两个问题,保留了官方镜像本身。
实践使用了官方 v0.23.0.post1-openeuler 镜像、量化模型和双卡推理。结论针对这次组合;不同版本、模型和运行环境需要分别验证。
问题一:算子存在,却提示找不到
推理进程加载权重后,初始化报错:
aclnnAddRmsNormBias or aclnnAddRmsNormBiasGetWorkspaceSize not in libopapi.so, or libopapi.so not found.
直觉上可能会以为软件包没有安装,或算子版本不匹配。但这条报错并不能单独证明文件不存在:文件存在、进程却无法访问或加载,也可能出现类似现象。
我们的排查过程是:
- 确认权重已加载,再定位错误发生在引擎初始化和算子调用阶段。
- 尝试关闭 ascend 的一项融合优化,仍然出现同类错误;不能据此认定问题由这项优化单独造成。实际生效的编译配置也需要核对。
- 检查镜像中的自定义算子库:目标符号确实存在于
libcust_opapi.so中。 - 检查目录权限:相关目录属于
root:root,权限为0750。不属于 root 组的普通用户无法遍历该目录,也就无法正常访问其中的库。 - 在保留镜像、普通推理用户及原有推理参数的情况下,通过临时卷让算子文件可读,服务成功启动。两个工作进程的映射均显示已加载该库,健康检查和简单问答通过。
这些证据支持本次失败与文件访问权限有关,但不同运行批次仍可能存在其他差异;同一报错也可能由其他原因引起,不能把权限当作所有情况的唯一原因。
问题二:数字用户有了,用户名记录却没有
kubernetes 可以通过 securityContext 指定非 root 的 uid 和 gid,但这只规定了进程的数字身份,不会自动向镜像的 /etc/passwd 和 /etc/group 添加记录。
一些程序在查询用户名或组名时需要这些记录。如果镜像没有对应条目,可能出现身份解析失败。此前基于同一原版制作的镜像曾遇到身份查询问题;本次原版测试提前补充了身份记录,因此不能把本次算子报错归因于身份缺失。
排查时可以先查看进程身份,再检查用户数据库是否能解析当前 uid 和 gid。是否需要身份记录取决于具体程序;没有记录并不必然导致所有程序失败。
不修改镜像:使用 pod 临时卷
这次采用两个初始化步骤,均使用同一个官方镜像:
- 准备身份文件。 以普通用户运行初始化容器,复制镜像自带的用户和组文件到 pod 专用
emptyDir,追加与当前运行身份对应的记录。推理容器只读挂载这些副本。 - 准备算子文件。 另一个初始化容器使用非 root uid,但临时以 root 组身份读取镜像内受限的自定义算子目录,复制到 pod 专用
emptyDir。推理容器以自己的普通用户和普通组身份只读挂载副本。
官方镜像 ──> 初始化:准备身份文件 ──> 临时卷 ──> 推理容器只读使用
└─> 初始化:复制算子文件 ──> 临时卷 ──> 推理容器只读使用
初始化容器使用 root 组意味着它可以读取镜像内向该组开放的文件;虽然它不是 root 用户,这仍是一项额外权限,应结合集群安全策略评估。推理容器不需要加入 root 组。临时卷随 pod 生命周期管理;应确保复制内容和权限仅满足应用需要,并保留模型及其他数据的既有访问边界。
如果集群禁止初始化容器使用 root 组,这个办法可能无法使用,需要另行评估镜像权限、运行时配置或其他合规方案,不应直接放宽宿主机目录权限。
如何判断是否解决
除了查看 pod 状态,还应分别核对:
- 推理进程的 uid、gid 和附加组,确认其仍为预期的普通身份。
- 身份查询能解析当前用户;算子目录和库对该身份可读且可遍历。
- 日志显示模型及引擎初始化完成,健康检查与模型列表接口正常。
- 发送真实推理请求,检查返回内容;必要时检查进程实际加载的库。
本次双卡测试完成了基础模型加载、健康检查和三次简单问答。它不等于并发性能、长期稳定性、其他用户权限或其他模型都已验证,也不证明所有版本的官方镜像都有同样的问题。