생성 AI 기초 이론 및 핵심 용어 총정리
생성형 AI의 근간이 되는 확률 모델과 대규모 언어 모델(LLM)의 작동 원리부터, 토큰화, 어텐션 메커니즘, 트랜스포머 아키텍처, 그리고 챗GPT의 핵심 구조 분석까지 시험에 출제되는 모든 개념을 상세히 정리했습니다.
생성 AI의 기초 원리 및 LLM 작동 방식
LLM (대규모 언어 모델, Large Language Model)
방대한 텍스트 데이터를 학습하여 인간과 유사한 수준의 자연어를 이해하고 생성할 수 있는 대규모 딥러닝 기반 언어 모델입니다.
확률 모델 (Probabilistic Model)
입력된 텍스트 문맥을 분석하여 다음에 올 가장 확률이 높은 토큰을 연속적으로 예측해 나가는 생성 AI의 근본 작동 방식입니다.
토큰 (Token)
LLM이 텍스트를 처리하고 인식하는 최소한의 의미 단위로, 단어, 형태소, 혹은 글자 조각 등으로 쪼개어 처리됩니다.
단어 임베딩 (Word Embedding)
토큰화된 단어나 문장 조각을 컴퓨터가 수학적으로 연산할 수 있도록 고차원의 숫자 배열 형태인 연속적 벡터 공간으로 변환하는 기술입니다.
온도 (Temperature)
출력 결과의 무작위성 및 창의성 수치를 제어하여 답변의 다양성을 조절하는 설정값으로, 값이 높을수록 창의적이고 낮을수록 정형화된 답변을 생성합니다.
비결정론적 성질 (Non-deterministic)
확률 모델 기반으로 작동하므로, 동일한 입력(프롬프트)을 넣더라도 샘플링 과정에 따라 매번 답변의 표현이나 단어 선택이 달라지는 특성입니다.
생성 AI 필수 요소 및 챗GPT 구조 분석
트랜스포머 (Transformer)
기존 순차적 신경망의 한계를 극복하고, 어텐션 메커니즘을 통해 병렬 연산을 극대화하여 현재 모든 주요 LLM의 뼈대가 된 핵심 아키텍처입니다.
어텐션 메커니즘 (Attention Mechanism)
문장 안의 단어들이 서로 간에 얼마나 밀접한 연관성이 있는지를 계산하여 전체 문맥 파악 능력을 대폭 높여주는 트랜스포머의 핵심 기술입니다.
사전 학습 (Pre-training)
방대한 비정형 텍스트 데이터를 활용하여 언어의 기본적인 구조, 문법, 세상의 지식을 비지도 방식으로 대규모로 학습하는 초기 단계입니다.
미세 조정 (Fine-tuning)
사전 학습된 모델에 특정 도메인 데이터나 목적에 맞는 데이터를 추가로 학습시켜 모델의 성능을 특정 태스크에 최적화하는 과정입니다.
RLHF (인간 피드백 기반 강화 학습)
챗GPT와 같은 대화형 AI가 인간의 선호도, 유해성 차단, 윤리적 기준에 부합하도록 피드백을 반영하여 최적화하는 학습 기법입니다.
디코더 전용 모델 (Decoder-only Model)
챗GPT 등 생성형 LLM이 채택하고 있는 구조로, 텍스트 생성과 자가 회귀(Autoregressive) 방식으로 다음 토큰을 예측하는 데 특화되어 있습니다.
컨텍스트 윈도우 (Context Window)
생성 AI 모델이 한 번에 입력받고 처리할 수 있는 최대 토큰(입력 및 출력 합산)의 총량을 의미합니다.
오픈 웨이트 (Open-weights / 오픈소스 LLM)
메타(Meta)의 Llama 시리즈처럼 모델의 가중치와 구조가 외부에 공개되어 누구나 다운로드하여 자체 구축 및 커스텀 학습이 가능한 모델입니다.