跳轉到主要內容
Dori 尋找模型是 DGrid 以自然語言驅動的助理,用於探索與評估大型語言模型(LLM)。透過 Dori,您可以用平白的語言表達您的需求,使用您自己的工作負載測試入選的模型,並獲得結構化報告,協助您做出有信心、有資料支持的模型選擇。

在 DGrid 平台中的角色

Dori 是 DGrid 生態系統中緊密整合的兩項能力之一:
  • Dori 尋找模型——協助您:
    • 將業務或產品需求轉化為具體的候選模型
    • 透過引導式對話流程探索、測試與比較模型
  • AI Gateway——提供:
    • 涵蓋 200 多個可直接用於正式環境的 LLM 的單一抽象層與 API
    • 基於設定的模型選擇與切換,無需修改程式碼
兩者結合,實現端到端的 LLM 工作流程:
傳統方式: 搜尋供應商 → 建立多個帳戶 → 手動測試 → 逐一整合各供應商使用 DGrid(搭配 LLM Marketplace 的 Dori + AI Gateway): 描述需求 → 在同一個地方探索與測試 → 一次整合 → 透過設定切換模型

核心能力

1. 自然語言需求輸入

Dori 從您以自由文字形式描述的真實需求開始。例如:
  • 「我們需要一個低延遲、成本效益高的模型,用於多語言客戶支援(英語、西班牙語、葡萄牙語),並整合進我們現有的聊天機器人。」
  • 「我們正在建構一個專注於 Python 與 TypeScript 的程式碼助理;強大的推理能力與大型上下文理解非常重要。」
  • 「我們希望有一個針對長文件 RAG 優化的模型,並在 10k+ token 的上下文中保持穩定的表現。」
不需要知道確切的模型名稱、供應商或基準測試縮寫。Dori 會解讀您的描述,並將其轉化為技術選型標準。

2. 在 LLM Marketplace 中進行智慧搜尋

一旦掌握您的需求後,Dori 會在 DGrid LLM Marketplace 中進行搜尋,該市場將 200 多個 LLM 整合於單一介面之下。 Dori 會:
  • 依以下條件篩選候選模型:
    • 任務適配性(例如聊天、程式碼、RAG、多語言支援)
    • 上下文窗口(短上下文或長上下文,例如 10k+ token)
    • 延遲與成本特性
    • 其他相關的運營特性
  • 依您的優先順序對模型進行排序:
    • 吞吐量與延遲敏感度
    • 品質與成本之間的取捨
    • 特定能力需求(例如程式碼、推理、多語言能力)
  • 回傳一份精簡且相關的推薦模型清單,讓您無需手動檢視數十個供應商頁面與基準測試表格。

3. 統一的真實工作負載測試

當 Dori 提出候選清單後,它會協助您在 DGrid 中的單一環境內測試這些模型:
  • 直接在平台上對候選模型執行試驗
  • 使用您自己的提示詞、文件與情境,而非通用範例
  • 共享、一致的設定下評估模型,使比較結果更具意義
這消除了以下常見問題:
  • 各供應商分散的試驗環境
  • 為每個 API 編寫的臨時腳本
  • 散落在各工具中的截圖、筆記與表格

4. 結構化、可分享的評估結果

Dori 產生清晰、結構化的輸出,方便您與團隊分享與討論,例如:
  • 每個候選模型的範例輸出
  • 關於行為與適用性的質性說明
  • 測試期間觀測到的延遲與效能指標
  • 依您預期的流量模式與負載估算的成本
團隊在選擇「最適合我們使用情境的模型」時,可以依賴可追溯的評估記錄,而不是「憑直覺」或片段資訊。

5. 與 AI Gateway 緊密整合

Dori 與 AI Gateway 直接耦合,因此您所探索與測試的一切,皆可立即透過以下方式整合進正式環境:
  • 一個 API 金鑰
  • 一個統一端點
  • 單一、一致的 API 介面
主要影響:
  • 您不需要為每個供應商分別處理身分驗證、SDK 或端點
  • 您透過 Dori 驗證過的模型,可以無需新增供應商整合即直接使用
  • 之後更換模型只需修改設定,而不是重新開發專案

典型使用情境

多語言客戶支援

  • 需求:為多語言聊天機器人(例如英語、西班牙語、葡萄牙語)找到低延遲、成本效益高的 LLM
  • Dori 如何協助:
    • 解讀多語言與延遲方面的需求
    • 找出適合這些語言對話支援的模型
    • 讓您使用真實的客戶查詢與對話流程進行測試

程式碼助理與開發者工具

  • 需求:用於 Python 與 TypeScript 等語言的程式碼生成、解釋與重構的模型
  • Dori 如何協助:
    • 標示出具備強大推理與程式碼能力的模型
    • 強調對大型程式碼庫的長上下文支援
    • 協助使用真實的程式碼庫、程式碼片段或任務進行試驗

長上下文 RAG 與文件應用

  • 需求:在 10k+ token 上下文中,為長文件檢索增強生成(RAG)提供穩定表現
  • Dori 如何協助:
    • 依上下文長度與 RAG 適用性篩選模型
    • 允許使用您實際的文件與檢索設定進行評估
    • 產生報告,記錄在大型上下文下的品質與效能表現

不同使用者類型的優勢

個人開發者與創業團隊

  • 將精力集中於產品與使用者體驗,而非:
    • 追逐各供應商的文件
    • 串接多個 API 與 SDK
  • 快速迭代:
    • 透過 Dori 嘗試多個模型
    • 透過 Marketplace 確定使用一個(或多個)模型
    • 待有更新更好的模型出現時再進行替換

企業與大型平台

  • 在各業務單位之間,透過以下方式統一 LLM 存取:
    • 與 LLM Marketplace 的單一整合
    • 透過 Dori 進行共享的評估流程
  • 降低長期維護成本:
    • 避免為每個供應商建立客製化整合
    • 在生態系統演進時,保有採用新模型的靈活性

Web3 與鏈上專案

  • 建構由 AI 驅動的 Agent、dApp 與協議,其模型骨幹可以:
    • 隨時間升級
    • 跨多個供應商實現多元化
  • 在以下情況下,維持鏈上與鏈下整合邏輯的穩定:
    • 透過設定變更或擴增底層 LLM
    • 避免每次採用新模型時都產生破壞性變更