模型与用途
选择前先确认权重是否开放,以及对应许可。
查看选型资料先确认部署目标和设备条件,再决定使用哪条运行路径。本文保留从需求验证到服务化的完整说明,并提醒核对模型仓库中的许可信息。
数据不能离开内网、调用量稳定且较大,或需要离线和深度定制时,可评估本地部署。这些需求涉及合规保密、成本、微调、插件与特殊参数;应确认需求后再决定,而非默认本地运行。
请求量不高时,直接用网页或按量 API 往往比自建合算。
模型规模与量化精度需要先确定。再据此计算设备的显存和内存条件。
消费级显卡可尝试较小的量化模型,大模型则对显存与内存提出更高要求。超过单卡能力后可考虑多卡和更低精度量化,最终配置仍需核对模型卡并自行测试。
| 资源类型 | 资源需求判断 | 不满足时的方案 |
|---|---|---|
| 可用显存 | 评估权重占用与并发调用数量 | 通过降低精度和上下文长度,或多卡分片处理 |
| RAM 内存 | 至少覆盖权重并留出加载所需空间 | 换成量化版本,或选择更小模型 |
| 磁盘容量 | 供权重与依赖存放,通常准备数倍于内存的空间 | 清理历史资源、使用模型仓库管理 |
| 算力带宽条件 | 首字时延与吞吐取决于此 | 通过排队和并发控制,分离业务与推理 |
第一种方式:权重与框架。技术团队可以下载模型权重,依仓库说明确定推理框架、权重格式和量化方式。之后再暴露为服务,可控性较高,并便于微调及后续开发。
第二种方式:桌面运行工具。需要快速试验时,可用社区常用工具按模型名称获取和执行。本地对话服务可以很快建立,不过可配置参数与同时处理请求的能力较有限。
# 路径二的典型流程(命令名以所用工具的官方文档为准)
1. 安装本地运行工具
2. 拉取目标模型权重
3. 先用默认参数跑通一次对话
4. 再按需调整上下文长度、并发数与量化精度
5. 最后开放给内网调用如果目标是持续提供业务服务,或需微调和定制推理,采用第一条路径。第二条路径更适合个人体验及快速验证。
只通过接口使用、没有全离线要求时,可按 API 调用步骤 先完成接入。把业务流程验证成功,再考虑自行部署。
显存不能脱离模型和量化讨论,小规模或量化版本可以尝试消费级设备。更大的模型需额外显存、多卡及足够内存,准确配置请按模型卡和自己的测试判断。
运行推理并不必然依赖网络,已有权重可离线使用。只有搜索、下载新版本或更新等功能需联网,隔离部署前要准备全部权重文件和依赖包。