模型接入
Pharmate 支持多模型接入,私有化部署可自由选择云端 API、本地模型或混合模式。
三种接入模式
| 模式 | 数据流向 | 适用场景 | 成本特征 |
|---|---|---|---|
| 云端 API | 提示词与数据出网至模型服务 | 服务器可出网;快速上线;弹性用量 | 按调用量付费,无需 GPU |
| 本地模型 | 数据不出域 | 内网离线;数据不出域的强合规要求 | 一次性 GPU 投入,边际成本低 |
| 混合模式 | 敏感任务走本地,通用任务走云端 | 兼顾合规与效果 | 组合成本 |
云端 API 接入
- 管理端 → 模型配置 → 新增云端模型。
- 填写 API 地址与密钥(密钥加密存储,界面不回显)。
- 选择模型名称、设置上下文长度与生成参数。
- 测试连通性,保存启用。
建议:通过企业代理统一出网,防火墙仅放行模型服务域名;报告类任务使用低温度参数(0.1~0.3)保证输出稳定。
本地模型接入
支持通过标准 OpenAI 兼容接口接入本地推理服务(vLLM、Ollama 等):
| 模型规模 | 显存建议 | 典型场景 |
|---|---|---|
| 7B~14B | ≥24 GB(单卡 A10/L20 级) | 对话、问数、翻译 |
| 32B~72B | ≥48 GB 或双卡 | 报告生成、合规预审 |
| Embedding 模型 | CPU 可运行 | 向量检索(必备) |
配置步骤与云端 API 相同,API 地址填本地推理服务地址。
场景化模型路由
Pharmate 按任务场景独立配置模型,互不影响:
| 场景 | 推荐模型档位 | 理由 |
|---|---|---|
| 对话与智能问数 | 中档、响应快 | 高频交互,延迟敏感 |
| 报告生成 | 高档、长上下文 | 结构化长文输出质量要求高 |
| eCTD 合规预审 | 旗舰档 | 遵循指令严格,专业性要求最高 |
| 术语翻译 | 中档 + 专业字典约束 | 字典兜底,模型负担轻 |
| 向量嵌入 | 专用 Embedding 模型 | 语义检索质量基础 |
切换与回退
- 变更前用测试会话验证新模型输出质量(同样的问题对比新旧输出)。
- 保留原配置截图或导出备份。
- 效果不佳时在管理端一键切回原模型。
- 模型变更记录写入 审计追踪。
安全要求
重要
- 涉及未公开申报数据、客户批数据的任务,若合规要求数据不出域,必须使用本地模型或混合模式。
- API 密钥仅存储于服务器配置,不出现在前端、日志与 AI 回答中。
- 本地推理服务端口仅监听内网,不对外暴露。