KPC AI-POT AI 프롬프트활용능력 2급
Chapter 2

생성 AI 기초 이론 (원리 및 챗GPT 구조)

생성 AI의 기초 확률 모델, LLM 작동 방식, Transformer 아키텍처 및 챗GPT 구조 분석 완벽 대비

Chapter 2 빈출 핵심 이론 요약

1. 생성 AI의 기초 원리와 확률 모델

  • • 확률적 토큰 예측: 생성 AI와 LLM은 입력된 텍스트 문맥을 분석하여 다음에 올 확률이 가장 높은 토큰(Token)을 연속적으로 예측해 문장을 생성합니다.
  • • 온도(Temperature) 파라미터: 무작위성과 창의성을 조절하는 값으로, 값이 높을수록 다양한 표현이 생성되고 낮을수록 일관되고 결정론적인 답변이 나옵니다.
  • • 비결정론적 특성: 확률적 샘플링에 기반하므로 동일한 프롬프트를 입력하더라도 매번 완전히 동일한 결과물이 출력되지 않을 수 있습니다.

2. LLM 필수 요소 및 챗GPT(Transformer) 구조 분석

  • • Transformer 아키텍처: 2017년 제안된 구조로, 순환 신경망(RNN)의 한계를 극복하고 어텐션(Attention) 메커니즘을 통해 단어 간 연관성을 병렬로 동시 처리합니다.
  • • 사전 학습(Pre-training): 대규모 비정형 텍스트 데이터를 통해 언어의 구조와 문법, 일반 지식을 비지도 방식으로 학습하는 단계입니다.
  • • 미세 조정(Fine-tuning) 및 RLHF: 인간의 피드백을 통한 강화 학습(RLHF)을 거쳐 모델이 안전하고 유용한 대화형 응답(ChatGPT 형태)을 하도록 최적화합니다.

Chapter 2 실전 기출 예상 문제 (20문항)

생성 AI 기초 이론 용어 정리 바로가기 실전 CBT 모의고사로 풀기
문항 01

대규모 언어 모델(LLM) 및 생성 AI가 텍스트를 생성할 때 바탕이 되는 가장 근본적인 수학적·통계적 작동 원리로 가장 적절한 것은?

  1. 데이터베이스에 저장된 문장을 키워드 매칭으로 검색하여 그대로 복사한다.
  2. 입력된 텍스트 문맥을 분석하여 다음에 올 가장 확률이 높은 토큰을 연속적으로 예측한다.
  3. 이진 논리 회로를 기반으로 입력문의 참과 거짓을 완벽하게 판정하여 출력한다.
  4. 모든 문장의 길이를 고정된 바이트 벡터로 변환하여 기계적으로 결합한다.
정답 및 상세 해설 보기
정답: 2번
생성 AI와 LLM은 확률 모델에 기반하여 입력된 텍스트 문맥에서 다음에 올 확률이 가장 높은 토큰(Token)을 연속적으로 예측하여 문장을 완성합니다.
문항 02

생성 AI 모델의 파라미터 중, 출력 결과의 무작위성 및 창의성 수치를 조절하여 답변의 다양성을 제어하는 옵션의 명칭은?

  1. 온도 (Temperature)
  2. 학습률 (Learning Rate)
  3. 에포크 (Epoch)
  4. 배치 사이즈 (Batch Size)
정답 및 상세 해설 보기
정답: 1번
Temperature(온도) 값이 높을수록 확률 분포가 완만해져 다양하고 창의적인 답변이 나오며, 낮을수록 일관되고 결정론적인 답변이 출력됩니다.
문항 03

챗GPT(ChatGPT) 등 현대 대규모 언어 모델의 근간이 되는 딥러닝 아키텍처로서, 순차적 처리의 한계를 극복하고 병렬 연산을 극대화한 구조는?

  1. CNN (합성곱 신경망)
  2. RNN (순환 신경망)
  3. Transformer (트랜스포머 아키텍처)
  4. 퍼셉트론 단층망
정답 및 상세 해설 보기
정답: 3번
ChatGPT를 비롯한 주요 생성 AI는 어텐션 메커니즘을 기반으로 한 Transformer 아키텍처를 핵심 뼈대로 사용합니다.
문항 04

다음 중 가중치와 모델 구조가 외부에 공개되어 누구나 다운로드하여 커스텀 학습 및 활용이 가능한 오픈 웨이트(Open-weights) 계열의 LLM에 해당하는 것은?

  1. OpenAI GPT-4o
  2. Google Gemini
  3. Anthropic Claude
  4. Meta Llama 시리즈
정답 및 상세 해설 보기
정답: 4번
Meta의 Llama 시리즈는 소스 코드와 가중치가 공개된 대표적인 오픈소스(오픈 웨이트) 대규모 언어 모델입니다.
문항 05

자연어 처리(NLP) 기술 중, 컴퓨터가 인간의 언어를 읽고 그 의미를 파악하고 분석하는 영역을 뜻하는 용어로 올바른 것은?

  1. NLG (Natural Language Generation)
  2. NLU (Natural Language Understanding)
  3. OCR (Optical Character Recognition)
  4. STT (Speech-to-Text)
정답 및 상세 해설 보기
정답: 2번
자연어 처리는 크게 언어를 이해하는 NLU(Natural Language Understanding)와 언어를 생성하는 NLG(Natural Language Generation)로 나뉩니다.
문항 06

트랜스포머(Transformer) 아키텍처의 핵심 메커니즘으로, 문장 안의 단어들이 서로 간에 얼마나 밀접한 연관성이 있는지를 계산하여 문맥 파악 능력을 높여주는 기술은?

  1. 컨볼루션 필터 (Convolution Filter)
  2. 어텐션 메커니즘 (Attention Mechanism)
  3. 드롭아웃 (Dropout)
  4. 풀링 (Pooling)
정답 및 상세 해설 보기
정답: 2번
어텐션(Attention) 기법은 문장 내에서 멀리 떨어져 있는 단어들 간의 관계와 연관성을 동시에 계산하여 문맥을 정확히 파악할 수 있게 해줍니다.
문항 07

대규모 언어 모델을 구축할 때, 방대한 비정형 텍스트 데이터를 활용하여 언어의 기본적인 구조와 문법, 세상의 지식을 비지도 방식으로 학습하는 초기 단계는?

  1. 사전 학습 (Pre-training)
  2. 미세 조정 (Fine-tuning)
  3. 강화 학습 (RLHF)
  4. 프롬프트 엔지니어링
정답 및 상세 해설 보기
정답: 1번
사전 학습(Pre-training) 단계에서는 막대한 데이터로 언어의 기반 지식을 먼저 익히며, 이후 목적에 맞게 세부 조정을 거칩니다.
문항 08

사전 학습된 모델에 특정 도메인 데이터나 목적에 맞는 데이터를 추가로 학습시켜 성능을 최적화하는 과정을 뜻하는 용어는?

  1. 제로샷 러닝
  2. 미세 조정 (Fine-tuning)
  3. 토큰화 (Tokenization)
  4. 양자화 (Quantization)
정답 및 상세 해설 보기
정답: 2번
미세 조정(Fine-tuning)은 범용적으로 학습된 모델을 특정 목적이나 업무 분야에 특화되도록 추가 학습시키는 과정입니다.
문항 09

생성 AI 모델이 텍스트를 처리할 때 문장을 일정한 의미 단위나 형태소, 혹은 글자 조각으로 쪼개는 전처리 단계를 가리키는 용어는?

  1. 벡터화 (Vectorization)
  2. 토큰화 (Tokenization)
  3. 임베딩 (Embedding)
  4. 정규화 (Normalization)
정답 및 상세 해설 보기
정답: 2번
토큰화(Tokenization)는 입력된 텍스트를 모델이 인식할 수 있는 조각(토큰) 단위로 분해하는 필수 전처리 과정입니다.
문항 10

토큰화된 단어나 문장 조각을 컴퓨터가 이해할 수 있는 고차원의 숫자 배열 형태인 연속적 벡터 공간으로 변환하는 기술은?

  1. 토큰 바인딩
  2. 단어 임베딩 (Word Embedding)
  3. 역전파 연산
  4. 디코딩 매핑
정답 및 상세 해설 보기
정답: 2번
단어 임베딩(Word Embedding)은 단어의 의미적 유사성을 다차원 공간 상의 수치 벡터로 표현하여 모델이 연산할 수 있게 합니다.
문항 11

챗GPT와 같은 대화형 AI가 인간의 선호도와 윤리적 기준에 부합하도록 피드백을 반영하여 최적화하는 학습 기법의 영문 약어는?

  1. RAG
  2. RLHF
  3. CNN
  4. API
정답 및 상세 해설 보기
정답: 2번
RLHF(Reinforcement Learning from Human Feedback)는 인간의 피드백을 기반으로 한 강화 학습 기법으로 대화형 AI의 안전성과 유용성을 높입니다.
문항 12

대규모 언어 모델의 구조 중, 입력된 프롬프트를 받아들여 문맥을 이해하고 분석하는 역할을 담당하는 주된 파트를 뜻하는 용어는?

  1. 디코더 (Decoder)
  2. 인코더 (Encoder)
  3. 컨버터 (Converter)
  4. 스캐너 (Scanner)
정답 및 상세 해설 보기
정답: 2번
트랜스포머 구조에서 인코더(Encoder)는 입력 데이터를 분석하고 이해하는 역할을 주로 담당합니다.
문항 13

트랜스포머 아키텍처 중에서 텍스트 생성과 자가 회귀(Autoregressive) 방식으로 다음 토큰을 예측하는 데 특화된 구조는?

  1. 인코더 전용 모델
  2. 디코더 전용 모델 (Decoder-only)
  3. 순환 신경망 모델
  4. 합성곱 분류 모델
정답 및 상세 해설 보기
정답: 2번
GPT 시리즈와 같은 대다수의 현대 LLM은 디코더 전용(Decoder-only) 구조를 채택하여 텍스트 생성에 최적화되어 있습니다.
문항 14

생성 AI 모델이 한 번에 처리할 수 있는 최대 입력 및 출력 토큰의 총량을 의미하는 전문 용어는?

  1. 컨텍스트 윈도우 (Context Window)
  2. 토큰 레이턴시
  3. 메모리 버퍼 사이즈
  4. 가중치 풀 (Weight Pool)
정답 및 상세 해설 보기
정답: 1번
컨텍스트 윈도우(Context Window)는 모델이 한 번에 기억하고 처리할 수 있는 대화 및 문서의 최대 토큰 범위를 뜻합니다.
문항 15

생성 AI의 확률적 생성 특성으로 인해, 동일한 입력(프롬프트)을 넣더라도 매번 답변의 표현이나 단어 선택이 달라지는 성질을 일컫는 말은?

  1. 결정론적 고정성
  2. 비결정론적 성질 (Non-deterministic)
  3. 선형적 수렴성
  4. 정적 불변성
정답 및 상세 해설 보기
정답: 2번
생성 AI는 확률 분포에 기반하여 샘플링하므로 매번 실행할 때마다 결과가 달라지는 비결정론적 특성을 가집니다.
문항 16

생성 AI 모델이 학습 데이터에 지나치게 밀착되어 새로운 데이터나 응용 상황에 대한 유연한 대처 능력이 떨어지는 현상은?

  1. 환각 현상 (Hallucination)
  2. 오버피팅 (Overfitting)
  3. 그래디언트 소실
  4. 토큰 오버플로우
정답 및 상세 해설 보기
정답: 2번
오버피팅(Overfitting, 과적합)은 모델이 학습 데이터에만 과도하게 맞춰져 일반적인 성능이 저하되는 현상입니다.
문항 17

생성 AI 모델의 출력 속도를 높이거나 메모리 사용량을 줄이기 위해 32비트 부동소수점 가중치를 낮은 비트(예: 8비트, 4비트)로 압축하는 기법은?

  1. 양자화 (Quantization)
  2. 토큰화 (Tokenization)
  3. 파인튜닝 (Fine-tuning)
  4. 인코딩 (Encoding)
정답 및 상세 해설 보기
정답: 1번
양자화(Quantization)는 모델의 가중치 정밀도를 낮추어 파일 크기를 줄이고 연산 속도를 가속화하는 기술입니다.
문항 18

대규모 언어 모델이 출력할 수 있는 다음 토큰들의 후보 중에서 확률이 너무 낮은 단어들을 배제하기 위해 상위 몇 개만 남기는 샘플링 제어 파라미터는?

  1. Top-K / Top-P (Nucleus) 샘플링
  2. Learning Rate Decay
  3. Batch Normalization
  4. Dropout Rate
정답 및 상세 해설 보기
정답: 1번
Top-K와 Top-P 샘플링은 무작위 토큰 출력을 억제하고 자연스러운 문장이 생성되도록 확률 상위 항목만 필터링하는 파라미터입니다.
문항 19

생성 AI가 답변을 생성할 때 문맥의 흐름을 유지하기 위해 이전의 대화 내용 전체를 다시 입력으로 밀어 넣어 함께 처리하는 방식을 뜻하는 특징은?

  1. 상태 유지형 대화 (Stateful / Stateless Context Handling)
  2. 단발성 일회용 쿼리
  3. 하드코딩 규칙 기반 분기
  4. 관계형 데이터베이스 조인
정답 및 상세 해설 보기
정답: 1번
LLM은 기본적으로 이전 대화 기록을 프롬프트와 함께 누적하여 입력함으로써 문맥(Context)을 유지하며 대화를 이어갑니다.
문항 20

다음 중 대규모 언어 모델(LLM)의 구조 및 작동 원리에 대한 설명으로 가장 적절하지 않은 것은?

  1. 입력된 텍스트를 토큰 단위로 쪼갠 후 임베딩 과정을 거쳐 모델 내부로 전달한다.
  2. 트랜스포머의 어텐션 메커니즘을 통해 문장 전체의 단어 간 연관성을 병렬로 계산한다.
  3. 사전 학습이 완료된 모델은 추가 학습 없이 모든 최신 정보와 실시간 뉴스를 완벽하게 내재하고 있다.
  4. 확률 모델을 기반으로 작동하므로 온도 값 조절을 통해 답변의 창의성을 제어할 수 있다.
정답 및 상세 해설 보기
정답: 3번
사전 학습된 LLM은 학습 시점까지의 데이터만 보유하므로, 최신 정보나 실시간 뉴스를 반영하려면 RAG(검색 증강 생성)나 웹 검색 연동 등의 추가 기술이 필요합니다.
Chapter 1 로 Chapter 3 공부하기