DBRX

DBRX
개발자모자이크 ML 및 데이터브릭스 팀
발표일2024년 3월 27일
저장소https://github.com/databricks/dbrx
라이선스Databricks Open License
웹사이트https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

DBRX는 데이터브릭스의 자회사인 모자이크가 개발하여 2024년 3월 27일에 공개한 오픈 소스 대형 언어 모델 (LLM)이다. 총 1320억 개의 매개변수를 가진 전문가 혼합 트랜스포머 모델이다. 각 토큰에 대해 360억 개의 매개변수 (16개 전문가 중 4개)가 활성화된다. 공개된 모델은 기본 파운데이션 모델 버전 또는 명령어 튜닝된 변형으로 제공된다.

DBRX는 출시 당시 언어 이해, 프로그래밍 능력, 수학 등 여러 벤치마크에서 메타의 LLaMA, 미스트랄 AI의 Mixtral, xAI의 Grok과 같은 다른 주요 오픈 소스 모델들을 능가했다.

이 모델은 3.2테라바이트/초 대역폭(인피니밴드)으로 연결된 3,072대의 엔비디아 H100에서 2.5개월 동안 1천만 달러의 훈련 비용으로 훈련되었다.

각주

  1. 1 2 “Introducing DBRX: A New State-of-the-Art Open LLM” (미국 영어). 《Databricks》. 2024년 3월 27일. 2025년 8월 8일에 원본 문서에서 보존된 문서. 2024년 3월 28일에 확인함.
  2. ↑ “New Databricks open source LLM targets custom development | TechTarget” (영어). 《Business Analytics》. 2024년 3월 28일에 확인함.
  3. ↑ Ghoshal, Anirban (2024년 3월 27일). “Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok” (영어). 《InfoWorld》. 2024년 3월 28일에 확인함.
  4. 1 2 “A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores”. 《GIZMOCHINA》. 2024년 3월 28일.
  5. ↑ Wiggers, Kyle (2024년 3월 27일). “Databricks spent $10M on new DBRX generative AI model” (미국 영어). 《TechCrunch》. 2024년 3월 29일에 확인함.
  6. ↑ “Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out..” (영어). 《매일경제신문》. 2024년 3월 28일. 2024년 3월 28일에 확인함.
  7. 1 2 Knight, Will. “Inside the Creation of the World's Most Powerful Open Source AI Model” (미국 영어). 《Wired》. ISSN 1059-1028. 2024년 3월 28일에 확인함.