초거대 AI와 ChatGTP 란 무엇인가?

초거대 AI 란?

- 정의: 심층 신경망으로 구현된 크기가 매우 큰 AI로 인공신경망의 매개변수가 무수히 많은 인공지능을 말한다. 또는 대용량의 연산이 가능한 컴퓨터 인프라를 기반으로 대규모 용량의 데이터를 학습해 특정 용도에 한정하지 않고 종합적이고 자율적으로 사고, 학습, 판단, 행동하는 인간의 뇌 구조를 닮은 인공지능을 의미하기도 한다.

- 발전과정: 통계기반 언어모델(LM) >> Attention기반 트랜스포머 알고리즘 >> 트랜스포머 인코더를 활용한 BERT모델 >> 트랜스포머 디코더를 활용한 GPT모델 >> 초거대 AI의 발전

- 종류: (해외) GPT-3.5, BLOOM, PaLM, Gopher, Switch Transformer, Minerva, OPT-175B, Megatron, RETRO 

            (국내) HyperClova, KoGPT, Exaonen, AI.,MI:DEUM

 

 

GPT란?

- OpenAI에서 개발한 딥러닝 기반 언어모델, Transformer 모델의 디코더를 이용하여 대규모 텍스트 데이터를 사전학습하여, 문장 생성, 요약, 번역 등 다양한 분야에서 사용되는 모델.

- GPT-1: 2018년에 공개된 인공지능 언어모델로, 1.17억 개의 파라미터를 사용하여 문장생성 및 언어 이해가 가능한 언어모델.

- GPT-2: GPT-1보다 10배 더 많은 15억 개의 파라미터를 사용하여 더욱 복잡하고 유창한 문장생성이 가능함.

- GPT-3: GPT-2보다 100배 이상 더 많은 1750억 개 파라미터를 사용한 언어모델로, 번역, 요약, 문서 생성, 콘텐츠 생성, 계산, 추론이 가능.

- ChaGPT: GPT-3 모델에 RLHP을 적용한 대화형 인공지능 언어모델로 유창하고 자연스러운 대화를 생성 가능.

- GPT-4: GPT-3 모델에서 파라미터의 수와 학습 데이터를 대폭 확대한 언어 모델로 복잡하고 정교한 자연어 생성능력을 지니고 있음. 개인화된 학습 방식, 지식 그래프 기반 생성을 통해 기존 모델보다 뛰어난 성능.