标签: ai
使用该标签的全部文章 "ai".
智算平台随笔
最近有聊到智算平台,想着借此机会,结合自己知道的一点点,随便写写,不懂的地方就先略过,权当复习总结。
docker部署llm
gpu驱动版本需要更新,否则vllm不支持 参数需要调整,否则gpu oom 大模型通过国内镜像下载 vllm通过国内镜像下载
clowder tips
假设要部署一个hello-api app,目录结构如下:
使用该标签的全部文章 "ai".
最近有聊到智算平台,想着借此机会,结合自己知道的一点点,随便写写,不懂的地方就先略过,权当复习总结。
gpu驱动版本需要更新,否则vllm不支持 参数需要调整,否则gpu oom 大模型通过国内镜像下载 vllm通过国内镜像下载
假设要部署一个hello-api app,目录结构如下: