ChatGPT를 사용하면 마치 사람과 대화하는 듯한 느낌을 받을 수 있습니다.
키워드를 주면 순식간에 사람보다 빠르게 문장을 만들어주기 때문이다.
이러한 문장을 생성할 수 있는 능력을 갖춘 AI를 생성 AI라고 합니다.
이 기사에서는 비전문가도 이해할 수 있도록 ChatGPT와 Generative AI를 가볍게 정리했습니다.
작성 순서는 다음과 같습니다.
- 제너레이티브 AI란?
- Generative AI 및 ChatGPT 1의 핵심 기술: GAN 학습 모델
- Generative AI 및 ChatGPT 2의 핵심 기술: Transformer 모델
- Generative AI 및 ChatGPT 3의 핵심 기술: GPU
제너레이티브 AI란?
Generative AI는 주어진 단어와 입력 값을 기반으로 문장, 텍스트, 이미지, 음악 등을 생성할 수 있는 AI입니다.
다시 말해서, Generative AI는 텍스트와 이미지, 비디오, 오디오, 코드 등을 생성하는 데 사용할 수 있습니다.
할 수 있는 모든 종류의 인공지능을 의미합니다.
생성 AI에는 다음 유형의 AI가 포함됩니다.
- 모든 것에 답하고 쓰고 코딩하는 AI: ChatGPT
- 텍스트를 입력하여 모든 것을 그리는 AI: DALL-E2, 안정적인 확산, Midjourney
- 텍스트 입력 시 음악을 재생하는 AI : musicLM, AudioLM
Generative AI 및 ChatGPT 1의 핵심 기술: GAN 학습 모델
생성 AI는 원래 데이터 기반 예측 및 권장 사항을 만드는 분석 AI를 중심으로 발전했습니다.
그리고 2014년경 GAN을 이용한 기술이 이미지 공간에 등장하면서 Generative AI가 본격적으로 사람들에게 알려지기 시작했습니다.
GAN은 Generative Adversarial Network의 약자입니다.
두 개의 신경망, 즉 생성기와 판별기로 구성되어 적대적 학습을 통해 성능을 향상시킵니다.
Generator는 실제 데이터와 유사한 가짜 데이터를 만드는 방법을 학습하고 Discriminator는 실제 데이터와 가짜 데이터를 구별하는 방법을 학습합니다.
이렇게 생성자와 판별자는 각각 신경망 역할을 하며 적대적 학습을 통해 모델의 성능을 향상시킵니다.
GAN 학습 모델은 현재 이미지, 음악 및 텍스트와 같은 작업을 생성하는 데 널리 사용됩니다.
그리고 ChatGPT도 GAN 학습 모델을 적용하여 진화했습니다.
Generative AI 및 ChatGPT 2의 핵심 기술: Transformer 모델
지금 세상을 놀라게 하는 ChatGPT의 위력은 Transformer라는 기술 덕분입니다.
그래서 ChatGPT의 이름에는 T(Transformer. GPT는 Generative Pretrained Transformer를 의미합니다.
)
G는 딥 러닝을 사용하여 인간과 유사한 텍스트를 생성하는 OpenAI에서 만든 LLM(대규모 언어 모델) 유형인 “Generative”를 의미하며 수신한 입력을 기반으로 새 텍스트를 생성할 수 있습니다.
P는 특정 작업을 위해 미세 조정되기 전에 대량의 텍스트 데이터 세트에 대해 훈련되었기 때문에 “사전 훈련”되었다고 합니다.
메인 T를 의미하는 트랜스포머는 구글이 발간한 2017년 논문 ‘Attention Is All You Need’에 처음 등장한 모델이다.
트랜스포머는 매우 어렵고 복잡한 기술이지만 다음과 같이 한 문장으로 요약할 수 있습니다.
수학을 통해 문장 속 단어와 같은 순차적 항목 간의 관계와 패턴을 찾아 맥락과 의미를 학습하는 신경망
변환기 기술은 레이블이 지정되지 않은 데이터 세트와의 자체 추적 데이터 관계를 통해 학습할 수 있습니다.
스스로 추적하여 학습할 수 있기 때문에 CNN, RNN과 같은 기존의 신경망 학습에 비해 시간과 비용을 줄이는 데 큰 장점이 있습니다.
트랜스포머는 또한 병렬 계산에 적합하여 대형 모델의 학습 및 추론 속도를 높입니다.
NVIDIA 창립자이자 CEO인 Jensen Huang은 다음과 같은 평가를 제공했습니다.
Transformer 기술은 자기 지도 학습을 가능하게 하고 AI가 초고속으로 움직일 수 있도록 합니다.
Transformer는 지난 2~3년 동안 가장 인기 있는 딥 러닝 모델 중 하나입니다.
AI 연구원들은 이 모델을 사용하여 매개변수를 늘리면 AI의 능력이 극적으로 향상된다는 사실을 발견했습니다.
AI 연구자들이 이 매개변수를 수천억 개로 늘리면서 GPT-3, LaMDA와 같은 초대형 언어 모델이 탄생했다.
그리고 지속적인 연구를 통해 AI가 인간의 언어를 훨씬 더 잘 이해할 수 있다는 초기 결과가 나타났습니다.
Transformer 기술 덕분에 ChatGPT에 말할 때 마치 사람에게 말하는 것처럼 방금 말한 내용을 기억하고 상황에 맞게 응답합니다.
사용자의 요청에 따라 글을 쓰고, 그림을 그리고, 인코딩까지 하는 것도 이 기술 덕분이다.
Generative AI 및 ChatGPT 3의 핵심 기술: GPU
ChatGPT와 생성 AI는 진화하고 진화하는 데 필요한 기술과 구성 요소를 갖추고 있습니다.
GPU는 병렬 컴퓨팅 리소스입니다.
GPU는 데이터를 병렬로 처리하여 학습하므로 트랜스포머의 많은 매개변수를 계산하는 데 필수적입니다.
전문가들은 ChatGPT 베타가 딥 러닝에 10,000개의 NVIDIA GPU를 사용했다고 추정합니다.
또한 현재 25,000개 이상의 NVIDIA GPU가 딥 러닝 훈련에 사용되고 있다고 분석합니다.
요컨대 전 세계를 놀라게 한 ChatGPT는 위에서 설명한 GAN 학습 모델과 Transformer 기술 덕분에 성능이 크게 향상되었으며 기본적으로 GPU라는 필수 구성 요소가 있음을 알 수 있습니다.
즉, GAN, 트랜스포머 및 (NVIDIA의) GPU가 이 ChatGPT 3.5 모델의 핵심입니다.