GPT-J

GPT-J

로고
개발자	EleutherAI
발표일	2021년 6월 9일(5년 전)(2021-06-09)
종류	대형 언어 모델 GPT (언어 모델) 파운데이션 모델
라이선스	오픈 소스
웹사이트	6b.eleuther.ai

GPT-J 또는 GPT-J-6B는 2021년 EleutherAI가 개발한 오픈 소스 대형 언어 모델 (LLM)이다. 이름에서 알 수 있듯이, 프롬프트에서 이어지는 인간과 유사한 텍스트를 생성하도록 설계된 GPT (언어 모델) 모델이다. 이름에 있는 선택적 "6B"는 60억 개의 매개변수를 가지고 있음을 나타낸다. 이 모델은 깃허브에서 사용할 수 있지만, 웹 인터페이스는 더 이상 모델과 통신하지 않는다. 개발은 2021년에 중단되었다.

아키텍처

GPT-J는 60억 개의 매개변수를 가진 GPT-3와 유사한 모델이다. GPT-3와 마찬가지로, 텍스트가 어떻게 이어질지 예측하여 자연어 처리 (NLP) 작업을 해결하도록 설계된 자기회귀적, 디코더 전용 트랜스포머 모델이다.

아키텍처는 GPT-3와 세 가지 주요 측면에서 다르다.

• 어텐션과 순방향 신경망이 훈련 중에 병렬로 계산되어 효율성을 높였다.
• GPT-J 모델은 로터리 포지션 임베딩을 사용하는데, 이는 트랜스포머에 위치 정보를 주입하는 데 더 우수한 방법으로 밝혀졌다.
• GPT-J는 GPT-3에서 사용되는 효율적인 희소 어텐션 대신 밀집 어텐션을 사용한다.

그 외에도 모델은 28개의 트랜스포머 레이어와 16개의 어텐션 헤드를 가지고 있다. 어휘 크기는 GPT-2와 동일한 50257개의 토큰이다. 컨텍스트 윈도우 크기는 2048개의 토큰이다.

이 모델은 병렬화 체계를 처리하기 위해 JAX의 Mesh Transformer JAX 라이브러리를 사용하여 Pile 데이터셋에서 훈련되었다.

성능

GPT-J는 프롬프트에서 영어 텍스트를 생성하도록 설계되었다. 다른 언어로 텍스트를 번역하거나 생성하도록 설계되지 않았으며, 특정 작업에 모델을 미세 조정하지 않고 성능을 내도록 설계되지 않았다. 그럼에도 불구하고, GPT-J는 미세 조정 없이도 합리적으로 잘 작동하며, 심지어 번역에서도 (적어도 영어에서 프랑스어로) 그렇다.

둘 다 미세 조정되지 않았을 때, GPT-J-6B는 다양한 작업에서 67억 개의 매개변수를 가진 GPT-3 (Curie)와 거의 동일하게 작동한다. 심지어 코드 생성 작업에서는 1750억 개의 매개변수를 가진 GPT-3 (Davinci)보다도 우수하다. 미세 조정을 하면 여러 작업에서 미세 조정되지 않은 GPT-3 (Davinci)보다 우수하다.

다른 모든 LLM과 마찬가지로, 사실적으로 정확한 정보를 제공하도록 프로그래밍된 것이 아니라 확률에 기반하여 텍스트를 생성하도록 프로그래밍되었다.

응용

미세 조정되지 않은 GPT-J는 EleutherAI 웹사이트, NVIDIA의 Triton Inference Server, 그리고 NLP Cloud 웹사이트에서 사용할 수 있다. Cerebras와 아마존 웹 서비스는 회사별 작업에 GPT-J 모델을 미세 조정하는 서비스를 제공한다. Graphcore는 미세 조정되지 않은 GPT-J의 미세 조정 및 호스팅 서비스를 모두 제공하며, 생성된 미세 조정 모델의 호스팅도 제공한다. CoreWeave는 미세 조정되지 않은 GPT-J와 미세 조정된 변형 모두에 대한 호스팅 서비스를 제공한다.

2023년 3월, Databricks는 Stanford Alpaca 데이터셋에서 GPT-J를 미세 조정하여 생성된 아파치 라이선스 지시 따르기 모델인 Dolly를 출시했다. 노벨AI의 Sigurd 및 Genji-JP 6B 모델은 모두 GPT-J의 미세 조정 버전이다. 또한 사용자 지정 모델을 생성하고 호스팅하기 위한 추가 미세 조정 서비스를 제공한다.

EleutherAI는 Cerebras, GPT-3 Demo, NLP Cloud, 및 Databricks로부터 모델을 오픈 소스로 만든 것에 대해 칭찬을 받았으며, 오픈 소스 상태는 어떤 모델을 사용할지 선택할 때 주요 장점으로 자주 언급된다.

각주