模型與花費
模型連線決定辦公室使用哪個模型服務。你在 組織 › 模型與花費 集中選擇,不必替每間辦公室分別設定;花費報表則讓你看用量花在哪裡,再設定上限。
選擇與新增模型、設定知識擷取和輪次復原,需要管理員或擁有者。經理可以打開這頁查看,但沒有修改按鈕;花費報表只開放管理員與擁有者。
使用平台提供的模型
如果你不打算使用自己的 API 金鑰或 ChatGPT 訂閱,可以用 平台模型。
- 在 模型端點 找到 平台模型。
- 如果目前不是使用它,選 使用這個。
選定後,這一列會標示 這個組織正在使用。若已經有這個標示,不必再操作。
新增自己的 API 模型端點
從擴充開始,供應商的名稱與位址會自動填好,包括 Cyberun 自營的模型閘道。
公司有核准的模型服務時,可以把它存成端點,再讓組織選用。
- 選 新增端點。
- 填寫:
- API 格式:選單提供 OpenAI Chat Completions。
- 名稱:讓同事認得這條連線的名稱。
- 端點 URL:相容 OpenAI 的根路徑,例如
https://models.example.com/v1。 - API 金鑰:服務供應商給你的金鑰。
- 模型名稱:和供應商的寫法完全一致。
- 上下文視窗(token):供應商公布的容量。token 是模型計算文字用量的單位;上下文視窗是它一次能處理的容量,見術語表。
- 選 新增端點。
完成後,端點會出現在清單;要讓辦公室使用,還需要選 使用這個。
API 金鑰會存進受保護的機密儲存空間,不存進資料庫,也不會再次顯示。上下文視窗是必填的正整數,請填供應商的數值,不要拿花費上限代替。
連接 ChatGPT 訂閱
ChatGPT 訂閱以一次性代碼登入,不需要 API 金鑰。新增訂閱只建立連線設定,尚未登入,也不會直接更換組織的模型。
- 選 新增訂閱,填 名稱、模型名稱 與 上下文視窗(token),再選 新增訂閱。模型名稱要和 OpenAI 對該訂閱使用的名稱一致。
- 在這一列選 連線。
- 開啟 登入 ChatGPT 區塊裡的連結,用這個組織要使用的 ChatGPT 帳號登入,輸入顯示的 一次性代碼。
- 回到原本的 Soulhall 頁面,等它顯示已登入,再選 確認。
- 狀態變成 已連線 後,選 使用這個。
確認 是把這次登入連結到訂閱;使用這個 才是讓組織開始使用它。
| 狀態或情況 | 你可以怎麼做 |
|---|---|
| 未連線 | 選 連線,完成登入與確認。 |
| 需要重新登入、已撤銷 | 選 重新連線,重新登入與確認。 |
| 代碼過期 | 重新連線取得新代碼。 |
| 登入狀態讀取失敗,出現 重新檢查 | 先重新檢查;連線不通不代表登入已取消。 |
| 登入是在另一個瀏覽器工作階段開始 | 回到開始登入的頁面;代碼與確認只在那裡顯示,也可以在目前頁面取消後重來。 |
需要修改訂閱的模型名稱或容量時,選 模型設定,修改後選 儲存模型設定。從下一次請求生效,不必重新登入。
組織同時只能有一個進行中的訂閱登入;開始另一個會停止前一個。中斷正在使用的訂閱時,不會自動改用別的模型:新的模型呼叫會失敗,直到你重新連線或改選模型;已送出的呼叫不會被中止。要刪除訂閱,先改用別的模型、中斷該訂閱,並結束它的登入流程。
切換組織的模型連線
在要使用的端點上選 使用這個,確認它標示 這個組織正在使用。想回到平台提供的連線,就在 平台模型 那一列操作。
切換從下一次請求生效,不必重啟化身、重新套用或清除對話。
有尚未結束的輪次或結果未確定的模型呼叫時,切換可能被拒絕,頁面會說明原因。訂閱也必須已連線,而且運行中的化身必須支援它需要的連線格式。
清除化身沿用的個別端點
如果頁面提醒還有化身使用自己的端點,先清除,才能變更組織的模型連線。
- 選 清除化身端點,確認這次操作。
- 清除成功後,再選你要的模型連線。
那些化身會從下一次請求改用組織的模型。清除也可能因尚未結束的輪次或結果未確定的呼叫而被拒絕;這是處理既有個別設定的入口,不是建立逐化身模型設定的步驟。
選擇整理知識用的端點
知識擷取 用來從對話中整理化身學到的內容,和辦公室對話使用的模型連線分開設定。
- 在 知識擷取 的 模型供應商 選 預設,或選已建立的 API 端點。
- 選自訂端點時,填 模型名稱。
- 選 儲存。
設定會用於這個組織的知識擷取。選 預設 則使用平台的擷取設定。
ChatGPT 訂閱不能用於知識擷取,也不會出現在這個選單。自訂知識擷取端點使用該端點的 API 金鑰付費,與訂閱分開。
調整結果讀不到時的等待時間
一個「輪次」是化身收到工作、執行並回覆的一輪。如果這輪已送出,結果卻無法讀回,Soulhall 會繼續觀察,而不是再送一次。
- 在 輪次復原 填 輪次復原時間窗(分鐘),範圍是 1 到 1440 的整數。
- 選 儲存。
這個時間窗適用於組織裡所有辦公室,決定觀察多久才停止等待;不是模型每輪工作的時間上限。需要處理讀不到的輪次時,見疑難排解。
看用量花在哪裡
- 在 組織 › 模型與花費 選 查看花費報表。
- 先看 總計,再用 明細 裡的 依化身、依辦公室、依日期 找出用量來源。
| 欄位 | 怎麼讀 |
|---|---|
| 預估費用 | 化身回報的模型費用估算,以美元顯示。 |
| 呼叫次數 | 模型 API 的呼叫次數,不是你在對話裡送出的訊息數。 |
| 讀取 | 模型讀入的 token,包含從快取讀取的用量。 |
| 寫入 | 模型輸出的 token。 |
token 數量以百萬為單位顯示,1.0M 表示一百萬。總計 是已記錄的累計用量;依日期 顯示最近 14 天,依用量回報收到的日期歸入各天。明細表列出預估費用、呼叫次數與讀取,寫入列在總計。
經由 Soulhall 是 Soulhall 自己記錄的呼叫,列出 呼叫次數、已拒絕、讀取 與 寫入。如果化身回報有呼叫、這裡卻是零,頁面會提醒有呼叫繞過 Soulhall;請交給管理員或部署負責人檢查。
這是模型呼叫的估算,不是完整帳單,請以供應商帳單核對。看到「目前還沒有任何計數。這不代表帳單是 $0。」時,代表沒有量到,不代表免費。
設定組織與辦公室的用量上限
先看實際用量,再決定你願意讓辦公室用多少。上限算的是讀取加寫入的 token,不是美元金額。
- 在花費報表的 用量上限,找到 組織(所有辦公室)。
- 填 每日上限(百萬 token),選 儲存。這是所有辦公室合計的上限,必須有值,不能設為不限。
- 需要限制某間辦公室時,在它那一列填上限並 儲存;留空則不另設辦公室上限,仍受組織上限約束。
你可以在 已使用(24 小時) 旁比較實際用量。達到辦公室或組織上限時,後續模型呼叫會暫停,報表會顯示 已停止;過去 24 小時的用量降回上限以下後,才恢復。
這是滾動的 24 小時,不是每天午夜歸零。若達到的是組織上限,單獨提高辦公室上限不會解除限制。