跳至主要内容

模型與花費

模型連線決定辦公室使用哪個模型服務。你在 組織 › 模型與花費 集中選擇,不必替每間辦公室分別設定;花費報表則讓你看用量花在哪裡,再設定上限。

開始之前

選擇與新增模型、設定知識擷取和輪次復原,需要管理員或擁有者。經理可以打開這頁查看,但沒有修改按鈕;花費報表只開放管理員與擁有者。

使用平台提供的模型​

如果你不打算使用自己的 API 金鑰或 ChatGPT 訂閱,可以用 平台模型。

  1. 在 模型端點 找到 平台模型。
  2. 如果目前不是使用它,選 使用這個。

選定後,這一列會標示 這個組織正在使用。若已經有這個標示,不必再操作。

新增自己的 API 模型端點​

提示

從擴充開始,供應商的名稱與位址會自動填好,包括 Cyberun 自營的模型閘道。

公司有核准的模型服務時,可以把它存成端點,再讓組織選用。

  1. 選 新增端點。
  2. 填寫:
    • API 格式:選單提供 OpenAI Chat Completions。
    • 名稱:讓同事認得這條連線的名稱。
    • 端點 URL:相容 OpenAI 的根路徑,例如 https://models.example.com/v1。
    • API 金鑰:服務供應商給你的金鑰。
    • 模型名稱:和供應商的寫法完全一致。
    • 上下文視窗(token):供應商公布的容量。token 是模型計算文字用量的單位;上下文視窗是它一次能處理的容量,見術語表。
  3. 選 新增端點。

完成後,端點會出現在清單;要讓辦公室使用,還需要選 使用這個。

備註

API 金鑰會存進受保護的機密儲存空間,不存進資料庫,也不會再次顯示。上下文視窗是必填的正整數,請填供應商的數值,不要拿花費上限代替。

連接 ChatGPT 訂閱​

ChatGPT 訂閱以一次性代碼登入,不需要 API 金鑰。新增訂閱只建立連線設定,尚未登入,也不會直接更換組織的模型。

  1. 選 新增訂閱,填 名稱、模型名稱 與 上下文視窗(token),再選 新增訂閱。模型名稱要和 OpenAI 對該訂閱使用的名稱一致。
  2. 在這一列選 連線。
  3. 開啟 登入 ChatGPT 區塊裡的連結,用這個組織要使用的 ChatGPT 帳號登入,輸入顯示的 一次性代碼。
  4. 回到原本的 Soulhall 頁面,等它顯示已登入,再選 確認。
  5. 狀態變成 已連線 後,選 使用這個。

確認 是把這次登入連結到訂閱;使用這個 才是讓組織開始使用它。

狀態或情況你可以怎麼做
未連線選 連線,完成登入與確認。
需要重新登入、已撤銷選 重新連線,重新登入與確認。
代碼過期重新連線取得新代碼。
登入狀態讀取失敗,出現 重新檢查先重新檢查;連線不通不代表登入已取消。
登入是在另一個瀏覽器工作階段開始回到開始登入的頁面;代碼與確認只在那裡顯示,也可以在目前頁面取消後重來。

需要修改訂閱的模型名稱或容量時,選 模型設定,修改後選 儲存模型設定。從下一次請求生效,不必重新登入。

注意

組織同時只能有一個進行中的訂閱登入;開始另一個會停止前一個。中斷正在使用的訂閱時,不會自動改用別的模型:新的模型呼叫會失敗,直到你重新連線或改選模型;已送出的呼叫不會被中止。要刪除訂閱,先改用別的模型、中斷該訂閱,並結束它的登入流程。

切換組織的模型連線​

在要使用的端點上選 使用這個,確認它標示 這個組織正在使用。想回到平台提供的連線,就在 平台模型 那一列操作。

切換從下一次請求生效,不必重啟化身、重新套用或清除對話。

備註

有尚未結束的輪次或結果未確定的模型呼叫時,切換可能被拒絕,頁面會說明原因。訂閱也必須已連線,而且運行中的化身必須支援它需要的連線格式。

清除化身沿用的個別端點​

如果頁面提醒還有化身使用自己的端點,先清除,才能變更組織的模型連線。

  1. 選 清除化身端點,確認這次操作。
  2. 清除成功後,再選你要的模型連線。

那些化身會從下一次請求改用組織的模型。清除也可能因尚未結束的輪次或結果未確定的呼叫而被拒絕;這是處理既有個別設定的入口,不是建立逐化身模型設定的步驟。

選擇整理知識用的端點​

知識擷取 用來從對話中整理化身學到的內容,和辦公室對話使用的模型連線分開設定。

  1. 在 知識擷取 的 模型供應商 選 預設,或選已建立的 API 端點。
  2. 選自訂端點時,填 模型名稱。
  3. 選 儲存。

設定會用於這個組織的知識擷取。選 預設 則使用平台的擷取設定。

備註

ChatGPT 訂閱不能用於知識擷取,也不會出現在這個選單。自訂知識擷取端點使用該端點的 API 金鑰付費,與訂閱分開。

調整結果讀不到時的等待時間​

一個「輪次」是化身收到工作、執行並回覆的一輪。如果這輪已送出,結果卻無法讀回,Soulhall 會繼續觀察,而不是再送一次。

  1. 在 輪次復原 填 輪次復原時間窗(分鐘),範圍是 1 到 1440 的整數。
  2. 選 儲存。

這個時間窗適用於組織裡所有辦公室,決定觀察多久才停止等待;不是模型每輪工作的時間上限。需要處理讀不到的輪次時,見疑難排解。

看用量花在哪裡​

  1. 在 組織 › 模型與花費 選 查看花費報表。
  2. 先看 總計,再用 明細 裡的 依化身、依辦公室、依日期 找出用量來源。
欄位怎麼讀
預估費用化身回報的模型費用估算,以美元顯示。
呼叫次數模型 API 的呼叫次數,不是你在對話裡送出的訊息數。
讀取模型讀入的 token,包含從快取讀取的用量。
寫入模型輸出的 token。

token 數量以百萬為單位顯示,1.0M 表示一百萬。總計 是已記錄的累計用量;依日期 顯示最近 14 天,依用量回報收到的日期歸入各天。明細表列出預估費用、呼叫次數與讀取,寫入列在總計。

經由 Soulhall 是 Soulhall 自己記錄的呼叫,列出 呼叫次數、已拒絕、讀取 與 寫入。如果化身回報有呼叫、這裡卻是零,頁面會提醒有呼叫繞過 Soulhall;請交給管理員或部署負責人檢查。

注意

這是模型呼叫的估算,不是完整帳單,請以供應商帳單核對。看到「目前還沒有任何計數。這不代表帳單是 $0。」時,代表沒有量到,不代表免費。

設定組織與辦公室的用量上限​

先看實際用量,再決定你願意讓辦公室用多少。上限算的是讀取加寫入的 token,不是美元金額。

  1. 在花費報表的 用量上限,找到 組織(所有辦公室)。
  2. 填 每日上限(百萬 token),選 儲存。這是所有辦公室合計的上限,必須有值,不能設為不限。
  3. 需要限制某間辦公室時,在它那一列填上限並 儲存;留空則不另設辦公室上限,仍受組織上限約束。

你可以在 已使用(24 小時) 旁比較實際用量。達到辦公室或組織上限時,後續模型呼叫會暫停,報表會顯示 已停止;過去 24 小時的用量降回上限以下後,才恢復。

備註

這是滾動的 24 小時,不是每天午夜歸零。若達到的是組織上限,單獨提高辦公室上限不會解除限制。