Dori Find Models

Dori Find Models는 DGrid의 자연어 기반 어시스턴트로, 대규모 언어 모델(LLM)을 발견하고 평가하는 데 사용됩니다. Dori를 통해 평범한 영어로 요구사항을 표현하고, 자체 워크로드로 선별된 모델을 테스트하며, 확신에 찬 데이터 기반의 모델 선택을 지원하는 구조화된 보고서를 받을 수 있습니다.

DGrid 플랫폼에서의 역할

Dori는 DGrid 생태계에서 긴밀하게 통합된 두 가지 핵심 기능 중 하나입니다:

• Dori Find Models – 다음을 도와줍니다:
  • 비즈니스 또는 제품 요구사항을 구체적인 모델 후보로 변환
  • 가이드형 대화식 흐름으로 모델을 발견, 테스트 및 비교
• AI 게이트웨이(AI Gateway) – 다음을 제공합니다:
  • 200개 이상의 프로덕션 준비 완료 LLM에 대한 단일 추상화 계층 및 API
  • 코드 변경 없이 구성 기반의 모델 선택 및 전환 기능

두 기능이 함께 엔드투엔드 LLM 워크플로우를 구현합니다:

전통적 방식: 벤더 검색 → 여러 계정 생성 → 수동 테스트 → 벤더별 개별 통합

DGrid 사용 시 (Dori + AI Gateway + 마켓플레이스): 요구사항 설명 → 한 곳에서 발견 및 테스트 → 한 번에 통합 → 구성을 통한 모델 교체

주요 기능

1. 자연어 기반 요구사항 수집

Dori는 자유 형식 텍스트로 기록된 실제 비즈니스 요구사항에서 시작합니다. 예시:

• "다국어 고객 지원(영어, 스페인어, 포르투갈어)을 위한 저지연, 비용 효율적인 모델이 필요하며, 기존 챗봇에 통합해야 합니다."
• "Python과 TypeScript에 집중한 코드 어시스턴트를 구축하고 있습니다. 강력한 추론 능력과 대규모 문맥 이해력이 중요합니다."
• "10,000개 이상의 토큰 문맥에서 안정적인 성능을 발휘하는 장문서 RAG에 최적화된 모델을 원합니다."

정확한 모델 이름, 제공업체 또는 벤치마크 약어를 알 필요가 ​전혀 없습니다​. Dori는 설명을 해석하고 기술적 선택 기준으로 변환합니다.

2. LLM 마켓플레이스 전체의 지능형 검색

요구사항이 수집되면 Dori는 DGrid LLM 마켓플레이스에서 검색을 수행합니다. 이 마켓플레이스는 단일 인터페이스를 통해 200개 이상의 LLM을 집계합니다.

Dori의 기능:

• 다음 기준으로 후보 모델을 필터링합니다:
  • 작업 적합성 (예: 채팅, 코드, RAG, 다국어 지원)
  • 문맥 창 (짧은 문맥 vs 긴 문맥, 예: 10,000개 이상 토큰)
  • 지연 및 비용 프로필
  • 기타 관련 운영 특성
• 우선순위에 따라 모델을 순위 매깁니다:
  • 처리량 및 지연 민감도
  • 품질 vs 비용 균형
  • 특정 기능 요구사항 (예: 코딩, 추론, 다국어 지원)
• 짧고 관련성 높은 추천 모델 목록을 반환하여, 수십 개의 벤더 페이지와 벤치마크 테이블을 수동으로 검토할 필요를 없앱니다.

3. 통합된 실제 워크로드 테스트

Dori가 단축 목록을 제안한 후, DGrid 내의 단일 환경에서 해당 모델을 테스트하는 것을 도와줍니다:

• 플랫폼 내에서 후보 모델에 대한 시험 운영 실행
• 일반적인 예시 대신 자체 프롬프트, 문서 및 시나리오 사용
• 공유되고 일관된 설정에서 모델을 평가하여 비교 결과에 의미를 부여

이는 다음과 같은 일반적인 문제를 해결합니다:

• 개별 벤더 플레이그라운드
• 각 API에 대한 임시 스크립트
• 다양한 도구에 흩어진 스크린샷, 메모 및 스프레드시트

4. 구조화되고 공유 가능한 평가 결과

Dori는 팀과 공유하고 논의할 수 있는 명확하고 구조화된 출력 결과를 생성합니다. 예시:

• 각 후보 모델의 예시 출력 결과
• 행동 및 적합성에 대한 정성적 메모
• 테스트 중 관찰된 지연 및 성능 지표
• 예상 트래픽 패턴 및 로드에 맞춘 비용 추정치

팀은 "우리 사용 사례에 가장 적합한 모델"을 선택할 때 "직감"과 부분적인 정보에 의존하기보다, 추적 가능한 평가 기록에 의존할 수 있습니다.

5. AI 게이트웨이와의 긴밀한 통합

Dori는 AI 게이트웨이와 직접 연동되므로, 발견하고 테스트한 모든 모델은 다음을 통해 즉시 프로덕션에 통합할 수 있습니다:

• 하나의 API 키
• 하나의 통합된 엔드포인트
• 단일하고 일관된 API 인터페이스

주요 효과:

• 벤더별로 개별 인증, SDK 또는 엔드포인트가 필요하지 않음
• Dori로 검증한 모델은 새로운 벤더 통합 추가 없이 사용 준비 완료
• 나중에 모델을 변경하는 것은 구성 변경일 뿐, 재개발 프로젝트가 아님

일반적인 사용 사례

다국어 고객 지원

• 요구사항: 다국어 챗봇(예: 영어, 스페인어, 포르투갈어)을 위한 저지연, 비용 효율적인 LLM
• Dori의 지원 방식:
  • 다국어 및 지연 요구사항 해석
  • 해당 언어의 대화형 지원에 적합한 모델 식별
  • 실제 고객 쿼리 및 대화 흐름을 사용한 테스트 허용

코드 어시스턴트 및 개발자 도구

• 요구사항: Python, TypeScript 등의 언어로 코드 생성, 설명 및 리팩토링을 위한 모델
• Dori의 지원 방식:
  • 강력한 추론 및 코딩 기능을 가진 모델 강조
  • 대규모 코드베이스를 위한 긴 문맥 지원 강조
  • 실제 리포지토리, 코드 조각 또는 작업을 사용한 시험 운영 지원

장문서 RAG 및 문서 애플리케이션

• 요구사항: 10,000개 이상의 토큰 문맥에서 장문서 검색 증강 생성(RAG)으로 안정적인 성능
• Dori의 지원 방식:
  • 문맥 길이 및 RAG 적합성에 따라 모델 필터링
  • 실제 문서 및 검색 설정으로 평가 허용
  • 대규모 문맥에서의 품질과 성능을 기록한 보고서 생성

다양한 사용자 유형의 혜택

개인 개발자 및 스타트업 팀

• 다음 사항보다 제품 및 UX에 집중할 수 있음:
  • 벤더 문서 추적
  • 여러 API 및 SDK 연결
• 빠른 반복:
  • Dori를 통해 여러 모델 시도
  • 마켓플레이스를 통해 하나(또는 여러 개) 확정
  • 새로운 더 나은 모델이 출시될 때 나중에 교체

기업 및 대규모 플랫폼

• 다음을 통해 사업부 전체의 LLM 액세스를 표준화할 수 있음:
  • LLM 마켓플레이스와의 단일 통합
  • Dori를 통한 공유 평가 워크플로우
• 장기 유지보수 비용 절감:
  • 벤더별 맞춤형 통합 방지
  • 생태계가 진화함에 따라 새로운 모델을 채택할 유연성 유지

Web3 및 온체인 프로젝트

• 다음 특징을 가진 AI 기반 에이전트, dApp 및 프로토콜 구축:
  • 시간이 지남에 따라 업그레이드 가능
  • 제공업체 간 다양화 가능
• 온체인 및 오프체인 통합 로직을 보존하면서:
  • 구성을 통해 기본 LLM 변경 또는 확장
  • 새로운 모델 채택 시마다 중단 변경 방지