내가 시험공부하려고 만든 자연어처리-유도 바이어스(Inductive Bias,RNN,Transformer)

Ⅰ. 유도 바이어스 (Inductive Bias)란 무엇인가? 🤔

**유도 바이어스(Inductive Bias)**란, 기계학습 모델(특히 딥러닝 알고리즘)이 아직 보지 못한 데이터에 대해 예측을 수행할 때, 학습 과정에서 특정한 패턴이나 가정을 선호하도록 우리가 부여하는 제약 또는 힌트를 의미합니다.

쉽게 말해, 모델이 아무런 사전 지식 없이 맨땅에 헤딩하는 것이 아니라, "이 문제는 대충 이런 식으로 푸는 게 맞아"라고 인간이 미리 귀띔해주는 것입니다. 이 '귀띔' 덕분에 모델은 방대한 가설 공간(hypothesis space) 속에서 정답을 훨씬 빠르고 효과적으로 찾아낼 수 있습니다.

슬라이드의 설명처럼, 얕은 신경망(DNN)에 특정 태스크를 해결하기 위한 힌트(hint)를 주는 것이 바로 유도 바이어스입니다.

---

Ⅱ. 유도 바이어스의 작동 방식: 예시로 이해하기

예시 1: 강아지 사진 구별하기 🐶

• 문제 상황: 강아지 사진을 보고 완벽하게 구분하고 싶다.
• 학습 목표: 정답(강아지 사진)을 알려주고 그 답을 외우도록 한다.
• 힌트 (유도 바이어스):
  • "눈은 2개, 코는 1개야."
  • "다리는 4개고, 4발로 걸어 다녀."
  • "꼬리가 있고 멍멍 소리를 내."

만약 이런 힌트가 없다면, 모델은 픽셀의 색상 조합, 배경의 질감 등 온갖 관련 없는 정보까지 모두 학습하려고 할 것입니다. 하지만 "눈, 코, 다리의 개수와 형태가 중요해!"라는 유도 바이어스를 주면, 모델은 이미지의 특정 영역(얼굴, 다리 등)에 더 집중하여 효율적으로 학습하게 됩니다.

이미지 인식 분야에서 주로 사용되는 **CNN(Convolutional Neural Network)**이 바로 이러한 유도 바이어스를 구조적으로 구현한 대표적인 예입니다. CNN은 '이미지 속 객체는 주변 픽셀들과 연관성이 높다(locality)'는 강력한 힌트를 내장하고 있습니다.

예시 2: 영어 문장 번역하기 🌐

• 문제 상황: "I am taking a lecture now." 라는 영어 문장을 한국어로 번역한다.
• 학습 목표: 정답("나는 지금 강의를 듣고 있습니다.")을 알려주고 그 답을 외우도록 한다.
• 힌트 (유도 바이어스):
  1. 순차적 정보 처리 (Sequentiality): 언어는 단어의 시간적 순서가 문맥 이해에 매우 중요하다. (나 다음에 는이 오고, 강의 다음에 를이 오는 순서)
     • ➡️ 이 힌트를 반영하여 설계된 신경망이 바로 **RNN(Recurrent Neural Network)**입니다. RNN은 이전 단계의 정보를 기억하여 다음 단계 계산에 활용하는 구조로, 순서가 중요한 데이터를 처리하는 데 특화되어 있습니다.
  2. 어휘의 유사성 (Locality/Similarity): 의미가 비슷한 단어는 비슷한 방식으로 처리되어야 한다. (e.g., '강의'와 '수업'은 문맥상 비슷하게 쓰일 수 있다)
     • ➡️ 이는 CNN이 단어 주변의 n-gram 패턴을 포착하거나, 단어 임베딩 자체가 이 속성을 반영하도록 학습됩니다.
  3. 문맥의 중요성 (Context-dependency): 단어의 의미는 주변 문맥에 따라 달라질 수 있다. (앞서 배운 'bank'의 예시)
     • ➡️ 이 힌트를 극대화하여 문장 전체의 관계를 한 번에 파악하도록 설계된 것이 바로 트랜스포머(Transformer)와 어텐션(Attention) 메커니즘입니다.

Ⅲ. 최종 요약 및 시험 대비 📝

1. 정의: 유도 바이어스란, 모델이 더 잘 학습할 수 있도록 인간이 제공하는 유용한 가정, 제약, 힌트이다.
2. 목적: 방대한 탐색 공간을 줄여주어 모델이 더 **빠르고 효율적으로 일반화(generalization)**할 수 있도록 돕는다. (즉, 처음 보는 데이터도 잘 맞히게 한다.)
3. 프로세스:
   • ① 인간이 문제에 유용할 것 같은 힌트를 먼저 정의한다. (e.g., "언어는 순서가 중요해!")
   • ② 이 힌트를 잘 반영할 수 있는 신경망 구조(Architecture)를 설계한다. (e.g., RNN을 만들자!)
   • ③ 이 구조를 통해 신경망을 학습시켜 성능을 확인한다.
4. 핵심 예시:
   • 이미지 인식 문제 ➡️ CNN (객체는 주변 픽셀과 관련이 깊다)
   • 자연어 처리(순차 데이터) 문제 ➡️ RNN (데이터는 시간적 순서가 중요하다), Transformer (문맥에 따라 의미가 달라진다)

결론적으로, **"어떤 문제에 어떤 모델 아키텍처를 선택하는가?"**라는 질문은 **"그 문제에 가장 적합한 유도 바이어스는 무엇인가?"**라는 질문과 같습니다. 이 관계를 이해하는 것이 핵심입니다.

 

🧠 힌트(유도 바이어스)와 신경망 구조의 연결고리

딥러닝 모델, 특히 자연어 처리(NLP) 모델의 발전은 "어떻게 하면 언어의 본질적인 특성을 모델 구조에 잘 녹여낼까?"에 대한 고민의 역사입니다. 슬라이드의 세 가지 힌트는 그 고민의 핵심을 담고 있으며, 각각 특정 아키텍처의 탄생을 이끌었습니다.

---

힌트 1. 순차적 정보 처리 (Sequentiality)

• "언어의 시간적 순서가 문맥 이해에 중요하다."
• 문제: "철수가 영희를 좋아한다"와 "영희가 철수를 좋아한다"는 단어는 같지만 순서가 달라 의미가 완전히 다릅니다. 이처럼 순서 정보를 처리할 수 있는 구조가 필요했습니다.
• 해결사: RNN (Recurrent Neural Network, 순환신경망)
  • 구조적 특징: RNN은 이름처럼 '순환'하는 구조를 가집니다. 각 시점(time step)의 단어를 처리할 때, 이전 시점의 처리 결과(hidden state)를 함께 입력으로 받습니다.
  • 작동 방식: "I"를 처리한 결과를 기억했다가, "am"을 처리할 때 그 기억을 활용합니다. 다시 "I am"을 처리한 결과를 기억했다가 "a"를 처리할 때 활용하는 식입니다. 이 과정을 통해 문장의 순서와 흐름에 따른 문맥을 자연스럽게 학습합니다.
  • 결론: RNN의 순환 구조는 '순서가 중요하다'는 유도 바이어스를 완벽하게 구현한 아키텍처입니다.

---

힌트 2. 어휘의 유사성 (Lexical Similarity)

• "의미가 유사한 단어는 유사한 방식으로 처리해야 한다."
• 문제: '자동차'와 '승용차'는 문장에서 비슷한 역할을 할 때가 많습니다. 모델이 이 두 단어를 완전히 다른 것으로 취급하면 비효율적입니다.
• 해결사: 단어 임베딩 (Word Embedding)
  • 구조적 특징: 이는 특정 아키텍처라기보다는 RNN과 Transformer의 입력단에 공통으로 적용되는 기본 원리입니다. Word2Vec, GloVe, FastText 등을 통해 사전 학습된 임베딩은 의미가 비슷한 단어를 벡터 공간에서 가까운 위치에 배치합니다.
  • 작동 방식: 모델은 '자동차'의 벡터 [0.1, 0.8, -0.2]와 '승용차'의 벡터 [0.2, 0.7, -0.3]가 유사하다는 것을 입력 단계부터 인지합니다. 따라서 두 단어가 입력되었을 때 후속 계산 과정에서도 비슷한 결과를 내놓게 됩니다.
  • 결론: 단어 임베딩 자체가 '의미가 비슷한 단어는 벡터도 비슷하다'는 유도 바이어스를 시스템에 주입하는 역할을 합니다.

---

힌트 3. 문맥의 중요성 (Context-dependency)

• "단어의 의미가 문맥에 따라 달라질 수 있다."
• 문제: RNN은 순서 정보를 잘 처리하지만, 문장이 길어지면 앞부분의 정보를 잊어버리는 **장기 의존성 문제(Long-term dependency problem)**가 있었습니다. 또한, 문장 내 모든 단어와의 관계를 동등하게 보는 것이 아니라, '나'라는 단어의 의미를 파악하기 위해 어떤 단어가 더 중요한지 선별하는 능력이 필요했습니다.
• 해결사: Transformer (어텐션 메커니즘 활용)
  • 구조적 특징: Transformer는 순환 구조를 과감히 버리고 어텐션(Attention) 메커니즘을 도입했습니다. 어텐션은 문장 내의 한 단어를 표현할 때, 문장의 다른 모든 단어를 동시에 참고하되, 각 단어에 **서로 다른 중요도(가중치)**를 부여하는 방식입니다.
  • 작동 방식: "The animal didn't cross the street because it was too tired." 라는 문장에서 it의 의미를 파악할 때, 어텐션 메커니즘은 'animal'에 높은 가중치를, 'street'에는 낮은 가중치를 부여합니다. 이를 통해 'it'이 'animal'을 가리킨다는 것을 명확히 이해하고, 문맥에 맞는 동적 임베딩을 생성합니다.
  • 결론: Transformer의 어텐션 메커니즘은 '문맥에 따라 단어의 의미가 달라지며, 문맥 속 단어들의 중요도는 각기 다르다'는 유도 바이어스를 가장 정교하게 구현한 아키텍처입니다.

최종 정리 🎯

힌트 (유도 바이어스)	핵심 내용	이를 구현한 주요 신경망 구조/기술
순차적 정보 처리	단어의 순서가 중요하다.	RNN (Recurrent Neural Network)
어휘의 유사성	비슷한 단어는 비슷하게 처리한다.	Word Embedding (RNN/Transformer의 입력)
문맥의 중요성	문맥에 따라 의미가 변한다.	Transformer (Attention Mechanism

RNN vs. Transformer: 문장을 이해하는 두 가지 접근법

RNN과 Transformer는 문장과 같은 순차적인 데이터를 처리하기 위해 설계되었지만, 그 접근 방식과 철학에는 근본적인 차이가 있습니다.

---

순환 신경망 (RNN): 순서대로 차근차근 이해하는 방식

RNN은 언어를 마치 사람이 글을 읽는 것처럼, 순서대로 한 단어씩 처리하는 구조입니다.

• 핵심 가정 (Inductive Bias): "자연어는 입력된 순서대로 해석해야 한다. 그리고 가까운 위치에 있는 단어일수록 더 밀접한 관계가 있다."
  • 이 가정은 매우 직관적이고 합리적입니다. '나는 학교에 간다'를 이해할 때 '나' 다음에 '학교'가 온다는 순서가 중요하기 때문입니다.
• 구현 방법 (시퀀스 구조):
  1. 첫 번째 단어("Jon")를 입력받아 처리하고, 그 결과(hidden state)를 출력합니다.
  2. 두 번째 단어("and")를 입력받을 때, 첫 번째 단어의 처리 결과(hidden state)를 함께 입력으로 사용합니다.
  3. 이 과정을 문장의 마지막 단어까지 반복합니다. 각 단계의 결과물은 이전 모든 단어의 정보를 누적하여 압축한 요약본과 같습니다.
  • 이처럼 이전 토큰의 표현을 다음 입력과 결합하여 순차적으로 고려하는 것을 시퀀스(sequence) 구조라고 합니다.
• 한계:
  • 병렬 처리 불가: 한 단어를 처리해야 다음 단어를 처리할 수 있는 구조라 연산 속도가 느립니다.
  • 장기 의존성 문제: 문장이 길어지면, 초반부 단어의 정보가 뒤로 갈수록 희석되어 잊어버리는 경향이 있습니다.

---

트랜스포머 (Transformer): 전체를 한 번에 보고 관계를 파악하는 방식

Transformer는 RNN의 순차적인 처리 방식의 한계를 극복하기 위해 등장했습니다. 마치 하늘에서 문장 전체를 조망하듯, 모든 단어를 동시에 처리합니다.

• 핵심 가정 (Inductive Bias): "한 단어의 의미는 멀리 떨어진 단어나, 심지어 이전이 아닌 이후에 오는 단어와도 관련 있을 수 있다. 따라서 그 중요도는 학습을 통해 알아내야 한다."
  • "The animal didn't cross the street because it was too tired."에서 it의 의미는 멀리 떨어진 'animal'과 관련이 있습니다. RNN은 이 관계를 파악하기 어렵지만, Transformer는 쉽게 파악할 수 있습니다.
• 구현 방법 (셀프 어텐션):
  1. 문장 내의 모든 단어를 한 번에 입력으로 받습니다.
  2. 셀프 어텐션(Self-attention) 메커니즘을 통해, 문장 내의 모든 단어 쌍(pair) 간의 관계 점수를 계산합니다.
  3. 예를 들어, it이라는 단어의 의미를 파악할 때 The, animal, street 등 다른 모든 단어가 it에 얼마나 중요한 영향을 미치는지 가중치를 계산하여, 이 가중치를 바탕으로 it의 문맥적 의미를 재구성합니다.
  • 이처럼 입력 내의 모든 단어 간 관계를 가중치 파라미터로 두고 한 번에 학습하기 때문에, 전체 문장에 대한 관계를 동시에 고려할 수 있습니다.
• 장점:
  • 병렬 처리 가능: 모든 단어를 동시에 계산하므로 GPU를 활용한 병렬 연산에 유리하여 학습 속도가 매우 빠릅니다.
  • 장기 의존성 해결: 거리와 상관없이 모든 단어의 관계를 직접 계산하므로 장기 의존성 문제를 효과적으로 해결합니다.

---

최종 비교 정리 🎯

특징	RNN (Recurrent Neural Network)	Transformer
처리 방식	순차적 (Sequential), 한 번에 한 단어씩	동시적 (Simultaneous), 한 번에 모든 단어
핵심 가정	순서와 근접성이 중요하다.	문장 전체의 관계가 중요하다.
구현 메커니즘	순환하는 Hidden State	Self-Attention
장점	구조가 직관적이고 간단함	병렬 처리 가능(빠른 속도), 장기 의존성 해결
단점	병렬 처리 불가(느린 속도), 장기 의존성 문제	연산량이 많고 많은 데이터 필요