Dori 尋找模型是 DGrid 以自然語言驅動的助理,用於探索與評估大型語言模型(LLM)。透過 Dori,您可以用平白的語言表達您的需求,使用您自己的工作負載測試入選的模型,並獲得結構化報告,協助您做出有信心、有資料支持的模型選擇。
在 DGrid 平台中的角色
Dori 是 DGrid 生態系統中緊密整合的兩項能力之一:
- Dori 尋找模型——協助您:
- 將業務或產品需求轉化為具體的候選模型
- 透過引導式對話流程探索、測試與比較模型
- AI Gateway——提供:
- 涵蓋 200 多個可直接用於正式環境的 LLM 的單一抽象層與 API
- 基於設定的模型選擇與切換,無需修改程式碼
兩者結合,實現端到端的 LLM 工作流程:
傳統方式: 搜尋供應商 → 建立多個帳戶 → 手動測試 → 逐一整合各供應商使用 DGrid(搭配 LLM Marketplace 的 Dori + AI Gateway): 描述需求 → 在同一個地方探索與測試 → 一次整合 → 透過設定切換模型
核心能力
1. 自然語言需求輸入
Dori 從您以自由文字形式描述的真實需求開始。例如:
- 「我們需要一個低延遲、成本效益高的模型,用於多語言客戶支援(英語、西班牙語、葡萄牙語),並整合進我們現有的聊天機器人。」
- 「我們正在建構一個專注於 Python 與 TypeScript 的程式碼助理;強大的推理能力與大型上下文理解非常重要。」
- 「我們希望有一個針對長文件 RAG 優化的模型,並在 10k+ token 的上下文中保持穩定的表現。」
您不需要知道確切的模型名稱、供應商或基準測試縮寫。Dori 會解讀您的描述,並將其轉化為技術選型標準。
2. 在 LLM Marketplace 中進行智慧搜尋
一旦掌握您的需求後,Dori 會在 DGrid LLM Marketplace 中進行搜尋,該市場將 200 多個 LLM 整合於單一介面之下。
Dori 會:
- 依以下條件篩選候選模型:
- 任務適配性(例如聊天、程式碼、RAG、多語言支援)
- 上下文窗口(短上下文或長上下文,例如 10k+ token)
- 延遲與成本特性
- 其他相關的運營特性
- 依您的優先順序對模型進行排序:
- 吞吐量與延遲敏感度
- 品質與成本之間的取捨
- 特定能力需求(例如程式碼、推理、多語言能力)
- 回傳一份精簡且相關的推薦模型清單,讓您無需手動檢視數十個供應商頁面與基準測試表格。
3. 統一的真實工作負載測試
當 Dori 提出候選清單後,它會協助您在 DGrid 中的單一環境內測試這些模型:
- 直接在平台上對候選模型執行試驗
- 使用您自己的提示詞、文件與情境,而非通用範例
- 在共享、一致的設定下評估模型,使比較結果更具意義
這消除了以下常見問題:
- 各供應商分散的試驗環境
- 為每個 API 編寫的臨時腳本
- 散落在各工具中的截圖、筆記與表格
4. 結構化、可分享的評估結果
Dori 產生清晰、結構化的輸出,方便您與團隊分享與討論,例如:
- 每個候選模型的範例輸出
- 關於行為與適用性的質性說明
- 測試期間觀測到的延遲與效能指標
- 依您預期的流量模式與負載估算的成本
團隊在選擇「最適合我們使用情境的模型」時,可以依賴可追溯的評估記錄,而不是「憑直覺」或片段資訊。
5. 與 AI Gateway 緊密整合
Dori 與 AI Gateway 直接耦合,因此您所探索與測試的一切,皆可立即透過以下方式整合進正式環境:
- 一個 API 金鑰
- 一個統一端點
- 單一、一致的 API 介面
主要影響:
- 您不需要為每個供應商分別處理身分驗證、SDK 或端點
- 您透過 Dori 驗證過的模型,可以無需新增供應商整合即直接使用
- 之後更換模型只需修改設定,而不是重新開發專案
典型使用情境
多語言客戶支援
- 需求:為多語言聊天機器人(例如英語、西班牙語、葡萄牙語)找到低延遲、成本效益高的 LLM
- Dori 如何協助:
- 解讀多語言與延遲方面的需求
- 找出適合這些語言對話支援的模型
- 讓您使用真實的客戶查詢與對話流程進行測試
程式碼助理與開發者工具
- 需求:用於 Python 與 TypeScript 等語言的程式碼生成、解釋與重構的模型
- Dori 如何協助:
- 標示出具備強大推理與程式碼能力的模型
- 強調對大型程式碼庫的長上下文支援
- 協助使用真實的程式碼庫、程式碼片段或任務進行試驗
長上下文 RAG 與文件應用
- 需求:在 10k+ token 上下文中,為長文件檢索增強生成(RAG)提供穩定表現
- Dori 如何協助:
- 依上下文長度與 RAG 適用性篩選模型
- 允許使用您實際的文件與檢索設定進行評估
- 產生報告,記錄在大型上下文下的品質與效能表現
不同使用者類型的優勢
個人開發者與創業團隊
- 將精力集中於產品與使用者體驗,而非:
- 快速迭代:
- 透過 Dori 嘗試多個模型
- 透過 Marketplace 確定使用一個(或多個)模型
- 待有更新更好的模型出現時再進行替換
企業與大型平台
- 在各業務單位之間,透過以下方式統一 LLM 存取:
- 與 LLM Marketplace 的單一整合
- 透過 Dori 進行共享的評估流程
- 降低長期維護成本:
- 避免為每個供應商建立客製化整合
- 在生態系統演進時,保有採用新模型的靈活性
Web3 與鏈上專案
- 建構由 AI 驅動的 Agent、dApp 與協議,其模型骨幹可以:
- 在以下情況下,維持鏈上與鏈下整合邏輯的穩定:
- 透過設定變更或擴增底層 LLM
- 避免每次採用新模型時都產生破壞性變更