GPT-4

Generative Pre-trained Transformer 4 (GPT-4)

개발자	OpenAI
발표일	2023년 3월 14일
대체한 소프트웨어	GPT-3
종류	자기회귀 멀티모달 변환기 언어 모델
웹사이트	openai.com/gpt-4

기계 학습과 데이터 마이닝
패러다임 지도 학습 비지도 학습 온라인 기계 학습 메타-학습 준지도 학습 자기 지도 학습 강화 학습 규칙 기반 기계 학습 양자 기계 학습
문제 분류 클러스터 분석 회귀 분석 클러스터 분석 이상 탐지 데이터 정제 연관 규칙 구조 기반 예측 특징 공학 특징 학습 순위 학습 문법 유도 온톨로지 학습 멀티모달 학습
지도 학습 (통계적 분류 • 회귀 분석) 결정 트리 학습법 앙상블 학습법 (배깅, Boosting, 랜덤 포레스트) 최근접 이웃 탐색 k-NN 선형 회귀 나이브 베이즈 인공신경망 로지스틱 회귀 퍼셉트론 상관 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터 분석 BIRCH 계층적 군집화 k-평균 알고리즘 기댓값 최대화 알고리즘 DBSCAN OPTICS Mean-shift
차원 축소 인자 분석 CCA 독립 성분 분석 LDA 음수 미포함 행렬 분해 주성분 분석 t-SNE
구조화 예측 그래프 모형 베이즈 네트워크 조건부 무작위장 은닉 마르코프 모형 잠재 디리클레 할당
이상 탐지 k-최근접 이웃 알고리즘 국소 특이점 요인
인공 신경망 오토인코더 인지 컴퓨팅 딥 러닝 딥드림 생성적 적대 신경망 확산 모델 다층 퍼셉트론 순환 신경망 LSTM GRU 제한된 볼츠만 머신 변환기 비전 자기조직화지도 합성곱 신경망
강화 학습 Q 러닝 SARSA 시간차 학습
인간 참여학습 러닝 커브 크라우드소싱 인간 참여형
모델 진단 러닝 커브
이론 편향-분산 트레이드오프 계산학습이론 경험적 위험 최소화 PAC 러닝 통계적 학습이론 VC 이론
회의/저널 NeurIPS ICML ICLR ML JMLR
관련 문서 기계 학습 알고리즘 목록 기계 탈학습 지식 증류 유사도 학습 대조 학습
v t e

GPT-4(Generative Pre-trained Transformer 4)는 오픈AI가 개발한 멀티모달 대형 언어 모델이자 GPT 모델 시리즈 중 4번째이다.^[1] 2023년 3월 14일에 출시되었으며 ChatGPT 플러스를 통해 한정된 형태로서, 대기 목록을 통해 제공되는 상용 API의 접근을 통해서 공개되었다.^[1] 변환기로서 GPT-4는 다음 토큰을 예측하기 위해 미리 훈련되었다.

관찰자들은 GPT-4 기반 버전의 ChatGPT가 이전(GPT-3.5 기반) ChatGPT 대비 개선이 있지만 GPT-4에 일부 동일 문제가 있다고도 보고했다.^[2] 전작들과 달리 GPT-4는 문자 외에도 이미지를 입력으로 받을 수 있다.^[3] 오픈AI는 GPT-4 모델의 크기 등 기술 정보의 공개를 거부했다.^[4]

배경

OpenAI는 2018년에 최초의 GPT 모델(GPT-1)을 도입하여 "생성 사전 훈련을 통한 언어 이해 개선"이라는 논문을 발표했다. 이는 트랜스포머 아키텍처를 기반으로 하며 대규모 책 모음에서 훈련되었다. 다음 해에는 일관된 텍스트를 생성할 수 있는 더 큰 모델인 GPT-2를 도입했다. 2020년에는 GPT-2보다 100배 많은 매개변수를 갖고 몇 가지 예제만으로 다양한 작업을 수행할 수 있는 모델인 GPT-3을 출시했다. GPT-3는 GPT-3.5로 더욱 개선되어 챗봇 제품인 ChatGPT를 만드는 데 사용되었다.

소문에 따르면 GPT-4에는 1조 7600억 개의 매개변수가 있는데, 이는 실행 속도와 조지 호츠에 의해 처음 추정되었다.

성능

OpenAI는 GPT-4가 "GPT-3.5보다 더 안정적이고 창의적이며 훨씬 더 미묘한 지침을 처리할 수 있다"고 밝혔다. 8,192개와 32,768개 토큰의 컨텍스트 창을 갖춘 두 가지 버전의 GPT-4를 생산했는데, 이는 각각 4,096개와 2,049개 토큰으로 제한되었던 GPT-3.5와 GPT-3에 비해 크게 개선되었다. GPT-4의 기능 중 일부는 훈련 전에 OpenAI에 의해 예측되었지만 다운스트림 확장 법칙의 위반으로 인해 다른 기능은 예측하기 어려웠다. 이전 모델과 달리 GPT-4는 다중 모드 모델이다. 이미지와 텍스트를 입력으로 사용할 수 있다. 이를 통해 특이한 이미지로 유머를 설명하고, 스크린샷의 텍스트를 요약하고, 다이어그램이 포함된 시험 문제에 답할 수 있는 기능을 제공한다. 이제 음성을 통해 사용자와 상호 작용하고 이미지에 응답할 수 있으므로 보다 자연스러운 대화가 가능하고 사진 업로드를 기반으로 제안이나 답변을 제공할 수 있다.

GPT-4에 대한 추가 제어권을 얻기 위해 OpenAI는 음성 및 작업의 톤을 지정하기 위해 GPT-4에 제공되는 자연어로 된 지시문인 "시스템 메시지"를 도입했다. 예를 들어 시스템 메시지는 모델에 "셰익스피어 해적이 되라"고 지시할 수 있으며, 이 경우 운율이나 셰익스피어 산문으로 응답하거나 "[해당] 응답의 출력을 항상 JSON으로 작성"하도록 요청할 수 있다. 모델이 그렇게 하는 경우 응답의 구조와 일치하도록 적절하다고 판단되는 키와 값을 추가한다. OpenAI가 제공한 예에서 GPT-4는 대화 중에 사용자의 요청에도 불구하고 시스템 메시지에서 벗어나는 것을 거부했다.

해당 지시를 받으면 GPT-4는 외부 인터페이스와 상호 작용할 수 있다. 예를 들어, 웹 검색을 수행하기 위해 <search></search> 태그 내에 쿼리를 포함하도록 모델에 지시할 수 있으며, 그 결과는 모델의 프롬프트에 삽입되어 응답을 형성할 수 있다. 이를 통해 모델은 API 사용, 이미지 생성, 웹 페이지 액세스 및 요약과 같은 일반적인 텍스트 예측 기능 이상의 작업을 수행할 수 있다.

네이처의 2023년 기사에 따르면 프로그래머는 GPT-4가 기존 코드에서 오류를 찾고 성능 향상을 위한 최적화를 제안하는 등 코딩 작업(오류 경향에도 불구하고)을 지원하는 데 유용하다는 사실을 발견했다. 이 기사에서는 자신의 프로그램 중 하나를 MATLAB에서 파이썬으로 이식하는 데 필요한 시간이 며칠에서 "1시간 정도"로 단축되었다는 사실을 발견한 생물물리학자의 말을 인용했다. 89개 보안 시나리오 테스트에서 GPT-4는 SQL 주입 공격에 취약한 코드를 5%로 생성했는데, 이는 취약점이 40%로 발생한 2021년 깃허브 코파일럿에 비해 개선된 것이다.

2023년 11월 OpenAI는 128K 컨텍스트 창과 훨씬 저렴한 가격을 특징으로 하는 GPT-4 터보 및 GPT-4 터보 위드 비전(Turbo with Vision) 모델을 발표했다.

GPT-4o

2024년 5월 13일, OpenAI는 텍스트, 오디오, 이미지 양식 전반에 걸쳐 실시간으로 출력을 처리하고 생성하여 상당한 발전을 이룬 모델인 GPT-4o("omni"를 뜻하는 "o")를 출시했다. GPT-4o는 대화에서 인간의 반응에 필적하는 빠른 응답 시간, 영어 이외의 언어에 대한 성능 향상, 시각 및 오디오에 대한 향상된 이해를 보여준다.

이 모델은 통합 신경망을 통해 입력과 출력을 통합하여 이전 모델보다 더 빠르고 비용 효율적이며 효율적이다. GPT-4o는 또한 다국어 및 비전 벤치마크에서 최첨단 결과를 달성하여 오디오 음성 인식 및 번역 분야에서 새로운 기록을 세웠다. OpenAI는 기술적 개선 외에도 강력한 안전 기능을 구현하고 광범위한 외부 평가를 수행하여 새로운 방식과 관련된 위험을 해결했다.

GPT-4o의 출시는 ChatGPT의 텍스트 및 이미지 기능으로 시작되며 향후 선택된 파트너에게 오디오 및 비디오 기능으로 확장될 계획이다. 이번 릴리스는 딥 러닝 기술의 경계를 넓히려는 OpenAI의 지속적인 노력을 반영하여 고급 AI 모델을 다양한 애플리케이션에서 보다 광범위하게 액세스하고 사용할 수 있도록 만드는 중요한 단계를 의미한다.

같이 보기

• 제미니 (언어 모델)

각주