GPT 가 대체 뭘까? GPT의 뜻과 개념을 자세히 알아보자.

GPT란?

GPT는 Generative Pretrained Transformer의 약자입니다.

언어 번역, 질의응답, 텍스트 생성 등 다양한 자연어 처리 작업에 활용되는 <OpenAI>가 개발한 일종의 인공지능 모델이다.

"Generative" 측면은 모델이 받은 입력을 기반으로 새로운 텍스트를 생성할 수 있는 능력을 의미한다,

"Pretrained" 측면은 모델이 특정 작업에 대해 미세 조정되기 전에 텍스트 데이터의 대규모 말뭉치에서 훈련된다는 사실을 나타낸다.

"Transformer" 측면은 모델에 사용된 아키텍처의 유형을 의미하며, 이는 기계 번역을 위해 Vaswani 등이 2017년에 개발한 트랜스포머 네트워크를 기반으로 한다.

GPT 모델은 고성능과 광범위한 자연어 처리 작업에 맞게 미세 조정할 수 있는 능력으로 AI 연구 커뮤니티에서 큰 인기를 끌었다.

 

요약하면,
GPT는 Generative Pretrained Transformer의 약자로 언어 번역, 질의응답, 텍스트 생성 등 자연어 처리 작업에 사용되는 AI 모델이다. 텍스트 데이터의 대규모 말뭉치에 대해 훈련되며 입력을 기반으로 새로운 텍스트를 생성할 수 있다. 이 아키텍처는 고성능으로 AI 커뮤니티에서 인기를 끌고 있는 트랜스포머 네트워크를 기반으로 한다.

 

트랜스포머 네트워크(Transformer Network)란?

앞에서 언급된 트랜스포머 네트워크는 기계 번역, 텍스트 분류, 언어 모델링과 같은 자연어 처리 작업에 사용되는 딥 러닝 아키텍처의 한 유형이다. 2017년 "Vaswani" 등이 "Attention Is All You Need"라는 제목의 논문에서 소개했다.

트랜스포머 네트워크의 핵심 혁신은 모델이 텍스트 시퀀스에서 단어 간의 관계를 고려할 수 있도록 하는 자기 주의 메커니즘의 사용이다. 이는 데이터 시퀀스를 처리하는 데 한계가 있는 반복 신경망(RNN)과 컨볼루션 신경망(CNN)을 사용했던 이전 언어 모델과는 대조적이다. 트랜스포머 네트워크는 단어 사이의 관계를 병렬로 계산하기 위해 자체 주의 메커니즘을 사용하여 RNN 또는 CNN보다 훨씬 더 효율적으로 텍스트 시퀀스를 처리할 수 있다.

트랜스포머 네트워크는 도입 이후 NLP 작업에서 지배적인 아키텍처가 되었고 BERT, GPT-2 및 GPT-3을 포함한 많은 최첨단 모델에 사용되었다. 트랜스포머 네트워크의 성공은 NLP 분야에서 상당한 발전을 이끌었고 높은 정확도로 광범위한 자연어 작업을 수행할 수 있는 AI 모델을 구축하는 것을 가능하게 했다.