GPT-3

시리즈의 일부
인공지능 (AI)
주요 목표 인공 일반 지능 지능형 에이전트 재귀적 자기 개선 계획 및 스케줄링 컴퓨터 비전 일반 게임 플레이 지식 표현 및 추론 자연어 처리 로봇공학 AI 안전
접근 방식 기계 학습 기호주의 딥 러닝 베이즈 네트워크 진화 알고리즘 하이브리드 인텔리전트 시스템 시스템 통합 오픈 소스 인공지능 AI 데이터 센터
애플리케이션 생물정보학 딥페이크 지구과학 금융 생성형 인공지능 예술 오디오 음악 정부 의료 정신 건강 산업 소프트웨어 개발 번역 군사 물리학 프로젝트
철학 AI 정렬 인공 의식 쓰라린 교훈 중국어 방 친절한 AI 윤리 실존적 위험 튜링 검사 불쾌한 골짜기 인간-AI 상호작용
역사 연표 진행상황 AI 겨울 AI 붐 AI 버블
논란 딥페이크 포르노그래피 테일러 스위프트 딥페이크 포르노그래피 논란 Grok 딥페이크 포르노그래피 논란 구글 제미나이 이미지 생성 논란 거대 AI 실험 중단: 공개 서한 오픈AI의 샘 올트먼 해임 사건 AI 위험에 관한 성명 테이 (챗봇) Théâtre D'opéra Spatial 보이스버스 NFT 표절 스캔들
용어 용어집
v t e

기계 학습과 데이터 마이닝
패러다임 지도 학습 비지도 학습 준지도 학습 자기 지도 학습 강화 학습 메타 학습 온라인 기계 학습 배치 학습 커리큘럼 학습 규칙 기반 기계 학습 신경-기호 AI 뉴로모픽 엔지니어링 양자 기계 학습
문제 분류 생성 모델링 회귀 군집화 차원 축소 밀도 추정 이상 탐지 데이터 정제 AutoML 연관 규칙 의미 분석 구조적 예측 특징 공학 특징 학습 순위 학습 문법 유도 온톨로지 학습 멀티모달 학습
지도 학습 (분류 • 회귀) 도제 학습 결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 나이브 베이즈 인공 신경망 로지스틱 회귀 퍼셉트론 상관 벡터 머신 (RVM) 서포트 벡터 머신 (SVM)
군집화 BIRCH CURE 계층적 k-평균 퍼지 기댓값 최대화 (EM) DBSCAN OPTICS 평균 이동
차원 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조적 예측 그래프 모형 베이즈 네트워크 조건부 무작위장 은닉 마르코프 모형
이상 탐지 RANSAC k-NN 국소 특이점 요인 고립 포레스트
인공 신경망 오토인코더 딥 러닝 순방향 신경망 순환 신경망 LSTM GRU ESN 리저버 컴퓨팅 볼츠만 머신 제한된 GAN 확산 모델 SOM 합성곱 신경망 U-Net LeNet 알렉스넷 딥드림 신경장 신경 방사장 물리정보 신경망 트랜스포머 비전 맘바 스파이킹 신경망 멤트렌지스터 ECRAM
강화 학습 Q 러닝 정책 경사법 SARSA 시간차 학습 (TD) 다중 에이전트 셀프 플레이
인간 참여 학습 액티브 러닝 크라우드소싱 휴먼인더루프 기계적 해석 가능성 RLHF
모델 진단 결정계수 혼동 행렬 러닝 커브 ROC 곡선
수학적 이론 커널 머신 편향-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 러닝 통계적 학습이론 VC 이론 위상 수학적 딥 러닝
회의/저널 AAAI ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
관련 문서 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 컴퓨터 비전 및 이미지 처리 데이터 세트 목록 기계 학습 개요
v t e

생성적 사전학습 변환기 3(영어: Generative Pre-trained Transformer 3), GPT-3는 OpenAI에서 만든 딥러닝을 이용한 대형 언어 모델이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기(transformer)를 적용해 만들어 졌다. 번역과 대화, 작문을 할 수 있으며, GPT-2에 비해 훨씬 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 어렵다.

OpenAI가 2020년에 출시한 자동 회귀 언어 모델로 딥 러닝을 사용하여 사람과 같은 텍스트를 생성한다. 프롬프트가 주어지면 프롬프트를 계속하는 텍스트를 생성한다.

이 아키텍처는 2048개의 토큰 길이 컨텍스트와 1,750억 개의 파라미터라는 전례 없는 크기를 가진 디코더 전용 변환기 네트워크로, 저장하는 데 800GB가 필요하다. 모델은 생성 사전 훈련을 사용하여 훈련되었다. 이전 토큰을 기반으로 다음 토큰이 무엇인지 예측하도록 훈련된다. 이 모델은 많은 작업에서 강력한 제로샷 및 퓨샷 학습을 보여주었다.

GPT-2의 후속인 GPT-3는 샌프란시스코에 기반을 둔 인공 지능 연구소인 OpenAI에서 만든 기초 모델인 GPT 시리즈의 3세대 언어 예측 모델이다. 2020년 5월에 도입되어 2020년 7월 기준으로 베타 테스트 중인 GPT-3는 사전 훈련된 언어 표현의 자연어 처리(NLP) 시스템 트렌드의 일부이다.

GPT-3에 의해 생성된 텍스트의 품질은 너무 높아서 사람이 작성했는지 여부를 판단하기 어려울 수 있으며 이점과 위험이 모두 있다. 31명의 OpenAI 연구원과 엔지니어가 2020년 5월 28일 GPT-3를 소개하는 원본 논문을 발표했다. 그들의 논문에서 그들은 GPT-3의 잠재적인 위험에 대해 경고하고 위험을 완화하기 위한 연구를 촉구했다.^: 34 뉴욕 타임스의 2022년 4월 리뷰에서는 GPT-3의 기능이 인간과 동등한 유창함으로 독창적인 산문을 작성할 수 있다고 설명했다.

마이크로소프트는 2020년 9월 22일에 GPT-3의 "독점적" 사용을 허가했다고 발표했다. 다른 사람들은 여전히 공개 API를 사용하여 출력을 받을 수 있지만 마이크로소프트만이 GPT-3의 기본 모델에 접근할 수 있다.

모델

InstructGPT

InstructGPT는 세밀하게 조정된 GPT-3 버전이다. 인간이 작성한 명령어의 데이터셋에서 훈련되고 있다. 이 훈련을 통해 InstructGPT는 질문을 더 잘 이해할 수 있으며 더 정확하고 적절한 결과를 생성할 수 있다.

같이 보기

• 변환기(transformer)
• 주의집중(attention)
• GPT (언어 모델)
• GPT-2

각주