你在工作中可能遇到过这些事情：一堆会议记录需要整理，一张报销单上的数字需要录入，或者想从几百份文档里找到某个规定。它们都和“理解信息”有关，却不是同一种任务。
有的模型擅长把材料整理成回答；有的能看图；有的帮助查找相近的文字；还有的专门识别文档内容。先弄清楚要解决什么问题，才知道需不需要部署某个模型。
下面用日常场景介绍五个模型，再比较它们的部署方式。文中的回答和排序都是为了说明工作方式而编写的例子，不代表模型在任何情况下都会得到相同结果。
1 一张表看懂分工
| 遇到的问题 | 可以考虑的模型 | 它帮你做什么 |
|---|---|---|
| 会议记录太长，想整理重点 | qwen3.8-27b | 读文字、组织语言、生成回答 |
| 想知道一张照片里发生了什么 | qwen3-vl-8b-instruct | 看图并结合问题回答 |
| 想从大量文档中找到意思相近的内容 | qwen3-embedding-0.6b | 把文字转换为便于比较的向量，帮助查找候选 |
| 找到了许多候选，不知道哪一条最相关 | qwen3-reranker-0.6b | 按问题与候选内容的相关程度重新排序 |
| 想把票据或表格图片里的内容读出来 | paddleocr-vl-1.5 | 识别文档图片中的文字、表格和公式 |
0.6b、8b、27b 大致表示模型参数规模，不能只凭数字判断用途或效果。本文的 qwen3.8 使用的是文本服务；其他能力要按具体模型、运行环境和实际验证分别判断。
2 每个模型在什么场景有用
qwen3.8-27b：帮你读文字、组织回答
假设你刚开完一次会议，手里有很长的会议记录，想知道“今天决定了什么，谁负责下一步”。你可以把记录和问题一起交给这个模型，让它整理出一份简短的要点。
为什么需要它？ 人可以自己通读记录，但整理大量文字比较费时间。模型能够根据输入生成较自然的文字，适合摘要、问答、写作辅助等任务。
它生成的是回答，不是自动核对过的事实。会议记录没有写清负责人时，模型也可能猜错；因此重要内容仍要回到原文核实。如果问题涉及模型未收到的内部资料，还需要先把有关资料提供给它，或配合检索系统查找。
qwen3-vl-8b-instruct：让程序能围绕图片回答问题
假设你拍了一张货架照片，想问“图片里有哪些水果？”或者拿到一张设备面板截图，想知道“屏幕上显示了什么”。你可以把图片和问题一起交给图文模型，让它根据图片生成文字回答。
为什么需要它？ 只有文字的问题，可以直接交给文本服务；当问题依赖图片里的内容时，服务还需要处理图片。图文模型可以把图片与文字问题结合起来，适合看图问答、图片描述等场景。
图片模糊、内容太小或问题复杂时，回答也可能出错。模型卡中介绍的能力不等于本文的部署已经全部验证；本次实践只检查了文字和少量单图请求。模型卡
qwen3-embedding-0.6b：帮你找到“说法不同、意思相近”的内容
假设知识库里有一篇文章叫“如何配置员工年假”，你搜索的是“请假天数怎么算”。两个句子没有完全相同的关键词，却可能说的是同一件事。
embedding 模型会把文字转换成一组数字，叫作向量。可以把它想成一张用于比较文字含义的数字特征卡：系统分别为文章片段和问题制作特征卡，再查找比较接近的内容。
为什么需要它？ 单靠关键词查找，可能漏掉换了说法的内容。embedding 配合检索系统，可以帮助找出意思相近的候选；它不保证每次都找对。模型只负责生成向量，保存和查找向量还需要检索系统；它本身也不会把找到的内容组织成回答。模型卡
qwen3-reranker-0.6b：从一批候选里挑出更相关的
假设你问“年假可以结转到下一年吗？”，系统先找到了三段内容：
- “员工年假天数按工作年限计算。”
- “当年未休年假是否可以结转，按所在单位的规定执行。”
- “病假申请需要提交相关证明。”
三段文字都和休假有关，但第二段更直接回应了“结转”的问题。reranker 会把问题和每段候选内容一起比较，给出相关性分数，帮助系统把更相关的内容排在前面。
为什么需要它？ 第一次检索往往先找出一批可能相关的内容，结果不一定按回答问题的价值排好。候选较多、顺序重要时，可以再用 reranker 做一次筛选。上面的排序只是示意，实际效果要用自己的问题和资料检验；是否需要重排，也取决于业务需要。模型卡
paddleocr-vl-1.5：把文档图片里的内容读出来
假设你收到一张纸质收据的照片，想把上面的日期、商品名称和金额录入系统；或者有一张表格图片，需要读取每一行的数据。paddleocr-vl 可以根据任务提示识别图片里的文字、表格或公式。
为什么需要它？ 图片里的字对人来说看得见，对程序来说仍是像素。要搜索、整理或进一步处理这些内容，通常需要先把它们识别出来。识别结果可能需要校对，金额、表格行列尤其不能只凭服务返回成功就认定正确。
本文部署的是其中的 VLM 识别服务。要处理完整的多页文档，通常还需要切页、版面分析、阅读顺序和结果整理等步骤；单独部署这个服务不等于整个流程都已经具备。模型卡
3 它们有什么区别，怎样配合
看图问答和文档识别怎么选
拿到一张报销单照片，如果你想问“这张图片大概是什么”，图文模型可以尝试描述；如果你要读取日期、金额和表格行列，文档识别模型更贴近这个目标。两者能力有重叠，但任务侧重点不同；具体准确率需要用真实图片比较。
查找和重排有什么区别
把知识库想成一个有很多文件的资料室。embedding 配合检索系统，像先从资料室找出一叠可能相关的文件；reranker 像再把这一叠逐份与问题对照，将更有用的放前面。前者帮助缩小搜索范围，后者帮助调整候选顺序；两步可以配合，也可以按需求单独使用。
一个知识库例子
假设员工问：“未休完的年假能留到明年吗？”资料保存在很多文件里，有的还是扫描图片。一个系统可以这样工作：
- 对扫描图片，先用 paddleocr-vl 识别文字；完整文档还需要其他步骤整理。
- 将整理后的文件拆成适合检索的片段，用 embedding 转成向量，交给检索系统保存。
- 员工提问时，检索系统找出可能有关的片段；如果需要，再用 reranker 排序。
- 把选出的片段和问题交给 qwen3.8-27b，让它根据资料组织回答，供员工核对原文。
如果员工问的是某张截图里显示了什么，也可以另用 qwen3-vl 处理图片。这个例子展示的是一种可选组合：只有文字问答时不一定需要图文模型或文档识别；资料量很少时，也不一定需要向量检索和重排。
4 部署需要准备什么
五篇实践都以已有的昇腾设备、驱动、容器运行时和 kubernetes 为前提，使用 vllm ascend 提供模型服务。模型文件要完整且可读；运行身份还需有可写的缓存目录。vllm 的基本作用和服务形式见vllm 入门。
| 模型 | 实践中主要准备 | 调用与结果 |
|---|---|---|
| qwen3.8-27b | 昇腾 W8A8 权重、两卡、量化与张量并行配置；本次原版镜像还需处理普通用户身份和算子访问 | /v1/chat/completions，检查实际回答 |
| qwen3-vl-8b-instruct | 模型权重、图像处理器、分词器、可写缓存和共享内存 | /v1/chat/completions，提交文字和图片，核对回答 |
| qwen3-embedding-0.6b | 完整模型与池化配置，使用 pooling 运行方式 | /v1/embeddings，检查向量数量、维度和数值 |
| qwen3-reranker-0.6b | 模型、匹配的重排模板及本例分类架构配置 | /v1/rerank，核对候选索引和排序 |
| paddleocr-vl-1.5 | 模型、图像处理器及经审核的模型代码 | /v1/chat/completions，按识别任务提交图片并检查输出 |
这些接口和配置对应文中所用的 vllm 方案，其他运行时的接口、模型支持和配置可能不同。--trust-remote-code 可能执行模型目录中的代码，启用前应审核来源与版本。模型许可证、镜像架构、驱动、cann 和设备插件也要分别核对。
5 实践配置与关键参数
| 模型 | 本次实践资源 | 例子中的关键参数 |
|---|---|---|
| qwen3.8-27b W8A8 | 两张昇腾 910B4-1，16 CPU，64 GiB 内存 | --tensor-parallel-size 2、--quantization ascend、--max-model-len 8192、--max-num-seqs 1 |
| qwen3-vl-8b-instruct | 一张昇腾 910B 系列卡，8 CPU，64 GiB 内存 | BF16、--max-model-len 32768、--max-num-batched-tokens 16384、--gpu-memory-utilization 0.91 |
| qwen3-embedding-0.6b | 一张昇腾 910B 系列卡，4 CPU，16 GiB 内存 | --runner pooling、--max-model-len 1024 |
| qwen3-reranker-0.6b | 一张昇腾 910B 系列卡，4 CPU，16 GiB 内存 | --runner pooling、--hf-overrides、--chat-template、--max-model-len 1024 |
| paddleocr-vl-1.5 | 一张昇腾 910B 系列卡，8 CPU，32 GiB 内存 | --max-model-len 16384、--max-num-batched-tokens 16384、多模态缓存和图编译配置 |
CPU 和内存是容器配置，卡数是本次分配；这些数字不是最低需求。不同精度、上下文、图像尺寸、并发、运行时和设备都会改变资源消耗。qwen3.8 本例使用量化模型及双卡，不等于所有 27b 权重都适合相同配置。官方昇腾模型教程中的硬件条件应结合权重版本单独阅读。
部署时常见的几个参数，可以这样理解：
--max-model-len像给一次请求规定可处理的长度上限，单位是 token（模型处理文字时使用的片段，不等于字数）；生成任务需考虑输入和输出，图像也可能占用输入预算。它是服务配置，不一定等于模型原生上限。--max-num-batched-tokens像规定一次集中处理多少内容，是批处理的 token 预算，不等于单个请求的长度上限。--max-num-seqs控制引擎一次调度的序列数量；设置某个数字，不代表已经验证了相应的并发性能。--tensor-parallel-size控制张量并行使用的设备数量；--quantization ascend对应兼容的昇腾量化权重，并不会自动量化任意模型。--gpu-memory-utilization用于引擎规划设备显存预算；实际占用还取决于运行时和负载，不能理解成固定占用或最低显存。- reranker 的模板与
--hf-overrides是本文所用原始文本模型方案的具体要求，不能直接套到其他模型或其他版本。
模型权重只占运行资源的一部分。例如 embedding 实践的权重约 1.1 GiB，但该次运行观测到约 61 GiB 显存占用；这是特定设备和配置的观测，不是模型的最低需求。正式选型应在目标硬件、输入和并发条件下测量。
6 怎样验证和选择
- 先确定任务：要生成回答、理解图片、检索相似内容、重排候选，还是识别文档。
- 确认模型版本、许可和运行时对具体硬件的支持，再准备权重、处理器、模板和存储权限。支持状态会变化，尤其要按版本核查实验性或不再维护的组合。
- 根据显存、上下文、并发和实际数据选择配置；先做小规模试验，再测性能与稳定性。
- 不只检查服务是否启动：分别核对回答、图片理解、向量、排序或识别结果，并用业务数据评估质量。
- 对外提供服务时，另行设计认证、网络访问、加密、配额、审计和监控。