模型与花费
模型连接决定办公室使用哪个模型服务。你在 组织 › 模型与花费 集中选择,不必替每间办公室分别设置;花费报表则让你看用量花在哪里,再设置上限。
选择与添加模型、设置知识提取和轮次恢复,需要管理员或拥有者。经理可以打开这页查看,但没有修改按钮;花费报表只开放管理员与拥有者。
使用平台提供的模型
如果你不打算使用自己的 API 密钥或 ChatGPT 订阅,可以用 平台模型。
- 在 模型端点 找到 平台模型。
- 如果目前不是使用它,选 使用这个。
选定后,这一列会标示 这个组织正在使用。若已经有这个标示,不必再操作。
添加自己的 API 模型端点
从扩展开始,供应商的名称与位址会自动填好,包括 Cyberun 自营的模型闸道。
公司有核准的模型服务时,可以把它存成端点,再让组织选用。
- 选 添加端点。
- 填写:
- API 格式:菜单提供 OpenAI Chat Completions。
- 名称:让同事认得这条连接的名称。
- 端点 URL:相容 OpenAI 的根路径,例如
https://models.example.com/v1。 - API 密钥:服务供应商给你的密钥。
- 模型名称:和供应商的写法完全一致。
- 上下文窗口(token):供应商公布的容量。token 是模型计算文字用量的单位;上下文窗口是它一次能处理的容量,见术语表。
- 选 添加端点。
完成后,端点会出现在列表;要让办公室使用,还需要选 使用这个。
API 密钥会存进受保护的机密保存空间,不存进数据库,也不会再次显示。上下文窗口是必填的正整数,请填供应商的数值,不要拿花费上限代替。
连接 ChatGPT 订阅
ChatGPT 订阅以一次性代码登录,不需要 API 密钥。添加订阅只创建连接设置,尚未登录,也不会直接更换组织的模型。
- 选 添加订阅,填 名称、模型名称 与 上下文窗口(token),再选 添加订阅。模型名称要和 OpenAI 对该订阅使用的名称一致。
- 在这一列选 连接。
- 开启 登录 ChatGPT 区块里的链接,用这个组织要使用的 ChatGPT 账号登录,输入显示的 一次性代码。
- 回到原本的 Soulhall 页面,等它显示已登录,再选 确认。
- 状态变成 已连接 后,选 使用这个。
确认 是把这次登录链接到订阅;使用这个 才是让组织开始使用它。
| 状态或情况 | 你可以怎么做 |
|---|---|
| 未连接 | 选 连接,完成登录与确认。 |
| 需要重新登录、已撤销 | 选 重新连接,重新登录与确认。 |
| 代码过期 | 重新连接获取新代码。 |
| 登录状态读取失败,出现 重新检查 | 先重新检查;连接不通不代表登录已取消。 |
| 登录是在另一个浏览器工作阶段开始 | 回到开始登录的页面;代码与确认只在那里显示,也可以在目前页面取消后重来。 |
需要修改订阅的模型名称或容量时,选 模型设置,修改后选 保存模型设置。从下一次请求生效,不必重新登录。
组织同时只能有一个进行中的订阅登录;开始另一个会停止前一个。中断正在使用的订阅时,不会自动改用别的模型:新的模型呼叫会失败,直到你重新连接或改选模型;已送出的呼叫不会被中止。要删除订阅,先改用别的模型、中断该订阅,并结束它的登录流程。
切换组织的模型连接
在要使用的端点上选 使用这个,确认它标示 这个组织正在使用。想回到平台提供的连接,就在 平台模型 那一列操作。
切换从下一次请求生效,不必重启化身、重新套用或清除对话。
有尚未结束的轮次或结果未确定的模型呼叫时,切换可能被拒绝,页面会说明原因。订阅也必须已连接,而且运行中的化身必须支持它需要的连接格式。
清除化身沿用的个别端点
如果页面提醒还有化身使用自己的端点,先清除,才能变更组织的模型连接。
- 选 清除化身端点,确认这次操作。
- 清除成功后,再选你要的模型连接。
那些化身会从下一次请求改用组织的模型。清除也可能因尚未结束的轮次或结果未确定的呼叫而被拒绝;这是处理既有个别设置的入口,不是创建逐化身模型设置的步骤。
选择整理知识用的端点
知识提取 用来从对话中整理化身学到的内容,和办公室对话使用的模型连接分开设置。
- 在 知识提取 的 模型供应商 选 默认,或选已创建的 API 端点。
- 选自定义端点时,填 模型名称。
- 选 保存。
设置会用于这个组织的知识提取。选 默认 则使用平台的提取设置。
ChatGPT 订阅不能用于知识提取,也不会出现在这个菜单。自定义知识提取端点使用该端点的 API 密钥付费,与订阅分开。
调整结果读不到时的等待时间
一个「轮次」是化身收到工作、执行并回复的一轮。如果这轮已送出,结果却无法读回,Soulhall 会继续观察,而不是再送一次。
- 在 轮次恢复 填 轮次恢复时间窗(分钟),范围是 1 到 1440 的整数。
- 选 保存。
这个时间窗适用于组织里所有办公室,决定观察多久才停止等待;不是模型每轮工作的时间上限。需要处理读不到的轮次时,见疑难排解。
看用量花在哪里
- 在 组织 › 模型与花费 选 查看花费报表。
- 先看 总计,再用 明细 里的 依化身、依办公室、依日期 找出用量来源。
| 栏位 | 怎么读 |
|---|---|
| 预估费用 | 化身回报的模型费用估算,以美元显示。 |
| 呼叫次数 | 模型 API 的呼叫次数,不是你在对话里送出的消息数。 |
| 读取 | 模型读入的 token,包含从快取读取的用量。 |
| 写入 | 模型输出的 token。 |
token 数量以百万为单位显示,1.0M 表示一百万。总计 是已记录的累计用量;依日期 显示最近 14 天,依用量回报收到的日期归入各天。明细表列出预估费用、呼叫次数与读取,写入列在总计。
经由 Soulhall 是 Soulhall 自己记录的呼叫,列出 呼叫次数、已拒绝、读取 与 写入。如果化身回报有呼叫、这里却是零,页面会提醒有呼叫绕过 Soulhall;请交给管理员或部署负责人检查。
这是模型呼叫的估算,不是完整账单,请以供应商账单核对。看到「目前还没有任何计数。这不代表账单是 $0。」时,代表没有量到,不代表免费。
设置组织与办公室的用量上限
先看实际用量,再决定你愿意让办公室用多少。上限算的是读取加写入的 token,不是美元金额。
- 在花费报表的 用量上限,找到 组织(所有办公室)。
- 填 每日上限(百万 token),选 保存。这是所有办公室合计的上限,必须有值,不能设为不限。
- 需要限制某间办公室时,在它那一列填上限并 保存;留空则不另设办公室上限,仍受组织上限约束。
你可以在 已使用(24 小时) 旁比较实际用量。达到办公室或组织上限时,后续模型呼叫会暂停,报表会显示 已停止;过去 24 小时的用量降回上限以下后,才恢复。
这是滚动的 24 小时,不是每天午夜归零。若达到的是组织上限,单独提高办公室上限不会解除限制。