Dori Find Models는 대형 언어 모델(LLM)을 발견하고 평가하기 위한 DGrid의 자연어 기반 어시스턴트입니다. Dori를 사용하면 일반적인 언어로 요구 사항을 표현하고, 선정된 모델을 자신의 작업 부하로 테스트하며, 데이터에 기반한 확신 있는 모델 선택을 지원하는 구조화된 보고서를 받을 수 있습니다.
DGrid 플랫폼에서의 역할
Dori는 DGrid 생태계에서 긴밀하게 통합된 두 가지 기능 중 하나입니다.
- Dori Find Models – 다음을 도와줍니다:
- 비즈니스 또는 제품 요구 사항을 구체적인 모델 후보로 변환
- 안내형 대화 흐름을 통해 모델을 발견, 테스트, 비교
- AI Gateway – 다음을 제공합니다:
- 200개 이상의 프로덕션 수준 LLM에 대한 단일 추상화 계층 및 API
- 코드 변경 없이 설정 기반으로 모델을 선택하고 전환
이 두 가지가 결합되어 종단 간 LLM 워크플로를 실현합니다.
기존 방식: 공급업체 검색 → 여러 계정 생성 → 수동 테스트 → 공급업체별 통합DGrid 사용 시 (Dori + LLM Marketplace를 갖춘 AI Gateway): 요구 사항 설명 → 한 곳에서 발견 및 테스트 → 한 번만 통합 → 설정을 통해 모델 교체
주요 기능
1. 자연어 요구 사항 입력
Dori는 자유 형식 텍스트로 입력된 실제 요구 사항에서 시작합니다. 예를 들어:
- “다국어 고객 지원(영어, 스페인어, 포르투갈어)을 위한 저지연, 비용 효율적인 모델이 필요하며, 기존 챗봇에 통합해야 합니다.”
- “Python과 TypeScript에 중점을 둔 코드 어시스턴트를 구축하고 있습니다. 강력한 추론 능력과 대용량 컨텍스트 이해가 중요합니다.”
- “10,000 토큰 이상의 컨텍스트에서 안정적인 성능을 제공하는, 장문 문서 RAG에 최적화된 모델을 원합니다.”
정확한 모델 이름, 제공자, 벤치마크 약어를 알 필요는 없습니다. Dori가 사용자의 설명을 해석하여 기술적인 선택 기준으로 변환합니다.
2. LLM Marketplace 전체에 대한 지능형 검색
요구 사항이 입력되면, Dori는 단일 인터페이스 뒤에서 200개 이상의 LLM을 모아 놓은 DGrid LLM Marketplace를 검색합니다.
Dori는 다음을 수행합니다.
- 후보 모델을 다음 기준으로 필터링합니다:
- 작업 적합성(예: 채팅, 코드, RAG, 다국어 지원)
- 컨텍스트 윈도우(짧은 컨텍스트 vs 긴 컨텍스트, 예: 10,000 토큰 이상)
- 지연 및 비용 프로필
- 그 외 관련 운영 특성
- 사용자의 우선순위에 따라 모델을 순위화합니다:
- 처리량 및 지연 민감도
- 품질과 비용의 트레이드오프
- 특정 기능 요구 사항(예: 코딩, 추론, 다국어)
- 관련성 높은 짧은 추천 모델 목록을 반환하여, 수십 개의 공급업체 페이지와 벤치마크 표를 수동으로 검토할 필요가 없게 합니다.
3. 통합된 실제 작업 부하 테스트
Dori가 단축 후보 목록을 제안한 후, DGrid 내의 단일 환경에서 해당 모델을 테스트할 수 있도록 지원합니다.
- 플랫폼에서 직접 후보 모델에 대한 시험(trial)을 실행
- 일반적인 예제 대신 사용자 자신의 프롬프트, 문서, 시나리오를 사용
- 공유되고 일관된 설정에서 모델을 평가하여 비교가 의미를 가지도록 함
이를 통해 다음과 같은 일반적인 패턴을 제거합니다.
- 공급업체별 별도의 플레이그라운드
- 각 API에 대한 임시 스크립트
- 여러 도구에 분산된 스크린샷, 메모, 스프레드시트
4. 구조화되고 공유 가능한 평가
Dori는 팀과 공유하고 논의할 수 있는 명확하고 구조화된 결과물을 생성합니다. 예를 들어:
- 각 후보 모델의 예시 출력
- 동작과 적합성에 대한 정성적 노트
- 테스트 중 관찰된 지연 및 성능 지표
- 예상 트래픽 패턴과 부하에 맞춘 비용 추정
“직감”과 부분적인 정보 대신, 팀은 “우리의 사용 사례에 가장 적합한 모델”을 선택할 때 추적 가능한 평가 기록에 의존할 수 있습니다.
5. AI Gateway와의 긴밀한 통합
Dori는 AI Gateway와 직접 결합되어 있어, 발견하고 테스트한 모든 것을 다음을 통해 즉시 프로덕션에 통합할 수 있습니다.
- 하나의 API 키
- 하나의 통합 엔드포인트
- 하나의 일관된 API 인터페이스
주요 결과:
- 제공자별로 별도의 인증, SDK, 엔드포인트가 필요 없습니다
- Dori로 검증한 모델은 새로운 공급업체 통합을 추가하지 않고도 사용할 준비가 됩니다
- 이후 모델을 변경하는 것은 재개발 프로젝트가 아닌 설정 변경이 됩니다
일반적인 사용 사례
다국어 고객 지원
- 필요: 다국어 챗봇(예: 영어, 스페인어, 포르투갈어)을 위한 저지연, 비용 효율적인 LLM
- Dori의 도움:
- 다국어 및 지연 요구 사항을 해석
- 해당 언어들에서 대화형 지원에 적합한 모델을 식별
- 실제 고객 질문과 대화 흐름을 사용하여 테스트 가능
코드 어시스턴트 및 개발자 도구
- 필요: Python, TypeScript와 같은 언어로 코드 생성, 설명, 리팩토링을 수행하는 모델
- Dori의 도움:
- 강력한 추론 및 코딩 역량을 가진 모델을 강조
- 대형 코드베이스를 위한 긴 컨텍스트 지원을 중시
- 실제 저장소, 코드 스니펫, 작업을 사용한 시험을 지원
장문 컨텍스트 RAG 및 문서 애플리케이션
- 필요: 10,000 토큰 이상의 컨텍스트에서 장문 문서 검색 증강 생성(RAG)에 대한 안정적인 성능
- Dori의 도움:
- 컨텍스트 길이와 RAG 적합성으로 모델을 필터링
- 실제 문서와 검색 설정으로 평가 가능
- 대용량 컨텍스트에서의 품질과 성능을 모두 담은 보고서를 생성
사용자 유형별 혜택
개인 개발자 및 스타트업 팀
- 다음에 집중하는 대신 제품과 UX에 집중할 수 있습니다:
- 공급업체 문서를 찾아다니는 일
- 여러 API와 SDK를 연결하는 일
- 빠르게 반복합니다:
- Dori를 통해 여러 모델을 시도
- Marketplace를 통해 하나(또는 여러 개)를 확정
- 더 나은 새 모델이 나오면 이후 교체
엔터프라이즈 및 대형 플랫폼
- 다음을 사용하여 비즈니스 단위 전체에서 LLM 접근을 표준화합니다:
- LLM Marketplace와의 단일 통합
- Dori를 통한 공유 평가 워크플로
- 장기적인 유지 관리 부담을 줄입니다:
- 공급업체별 맞춤 통합을 방지
- 생태계가 발전함에 따라 새로운 모델을 채택할 수 있는 유연성을 유지
Web3 및 온체인 프로젝트
- 모델 기반이 다음과 같이 작동하는 AI 기반 에이전트, dApp, 프로토콜을 구축합니다:
- 시간이 지남에 따라 업그레이드
- 여러 제공자에 걸쳐 다양화
- 다음을 수행하면서 온체인 및 오프체인 통합 로직을 유지합니다:
- 설정을 통해 기반 LLM을 변경하거나 보강
- 새로운 모델을 채택할 때마다 발생하는 변경 사항(breaking change)을 방지
