标签: ai
使用该标签的全部文章 "ai".
docker部署llm
gpu驱动版本需要更新,否则vllm不支持 参数需要调整,否则gpu oom 大模型通过国内镜像下载 vllm通过国内镜像下载
clowder tips
假设要部署一个hello-api app,目录结构如下:
使用该标签的全部文章 "ai".
gpu驱动版本需要更新,否则vllm不支持 参数需要调整,否则gpu oom 大模型通过国内镜像下载 vllm通过国内镜像下载
假设要部署一个hello-api app,目录结构如下: