你好，我是 LEo
RSS Feed这里记录软件开发、云原生、ai 工程实践，以及工作与阅读中的长期思考。
最近文章
从模型文件到推理服务：一篇文章认识 vllm
从大模型部署中的实际问题出发，介绍 vllm 的作用、请求调度和显存管理，并通过示例了解模型服务的部署与调用。
从 tp 和 pp 到 vllm ascend 看懂大模型推理配置
用加工线和播放器的例子，讲清张量并行、流水线并行、量化参数，以及 vllm 和昇腾适配插件的关系。
开发工程师的 dots 实用工作流
从 7 个公开案例学习 dots 的工程用法，附 10 条协作技巧、可复制的提示词，以及评论分类 pipeline 从规划到离线交付的 7 轮练习。
chatgpt小贴士（二十）
分享三个 chatgpt 使用小技巧：让两个任务直接交接与反馈、按实际效果调整定时任务，以及用 ai 持续改进自己的 ai 工作流。