文章
浏览全部文章。
docker部署llm
gpu驱动版本需要更新，否则vllm不支持 参数需要调整，否则gpu oom 大模型通过国内镜像下载 vllm通过国内镜像下载
clowder tips
假设要部署一个hello-api app,目录结构如下：
使用external-secrets访问azure keyvault
记录oidc issuer url。
使用external-secrets访问aws secrets manager
在安装 external-secrets 并创建 clustersecretstore 后，状态一直不是 ready，日志中出现了以下的错误：