jo식이야기

헌팅턴 무도병

1. 헌팅턴 무도병은  손발이 춤추듯 무의식적으로 움직이는 유전병이다.

https://www.sciencetimes.co.kr/nscvrg/view/menu/251?searchCategory=223&nscvrgSn=127353

2. 알츠하이머, 파킨슨병, 루게릭병과 함께 4대 뇌신경 질환으로 통한다.

3. 몸이 뒤틀리는 것 이외에도 환각(hallucination), 심각한 정서 변화, 치매 등도 헌팅턴 무도병의 증상이다. 

4. 헌팅턴 무도병은 우성유전자에 의해 유전된다. 즉, 아버지나 어머니가 이병을 가진다면 아이들이 이 병에 걸릴 확률이 50퍼센트이다. 

5. 구체적으로 왜 50퍼센트인지 모르는 사람들을 위해 설명하기 위해 생명 2로 수능을 본 필자의 얕은 지식으로 이야기해 보자면, 남자는 XY, 여자는 XX인데 자식한테 각각 한 개의 염색체를 주게 된다.

6. X염색체나 Y염색체에 의해 발생하는 유전병도 있다. 클라인펠터 증후군 (XXY)가 대표적이다.

https://cuh.chungbuk.ac.kr/client/community/medical/pop_medical.asp?sidx=316

7. 그런데 헌팅턴 무도병은 X염색체나 Y염색체에 의해 발생하는 질병은 아니다. 

8. 4번 상염색체의 단완 16.3 부위인 ‘헌팅톤 유전자’의 돌연변이에 의해 발생한다.

9. 아버지나 어머니 중 한 명이 헌팅턴 무도병을 발현시키는 부분에 돌연변이가 있고, 그 상 염색체가 자식한테 들어가게 된다면 나머지 부모님의 상염색체와 관련 없이 헌팅턴 무도병이 발현되게 되는데 이것이 우성에 의해 유전되는 유전병의 특징이다. 즉, 내가 헌팅턴 무도병을 일으키는 돌연변이를 가지고 있는 상염색체가 하나라도 있으면 바로 걸리는 것이다.

10. 이 질병은 10만명당 5명 정도 걸리는 병이고, 10년에서 30년 동안 천천히 발현되는데 3 40대에 그 증상이 나타나게 된다.

11. 정상적인 유전자는 이 CAG 염기가 28회 이하로 반복되는데 비해, 돌연변이 유전자에서는 40회 이상 CAG 삼핵산염기서열이 반복되는 것으로 나타난다고 한다.

12. 우리나라에는 2022년 기준 340명의 환자가 있다.

https://kormedi.com/2751511/

13. 유전자 치료제기 때문에 기술적 난이도도 높고, 실험 방식도 전통적인 실험 방식과 다르며 시장규모도 작기 때문에 이것을 개발하려는 회사가 많지 않다.

14. 헌팅턴 무도병을 치료하기 위해서 노력을 하지 않은 것은 아니다. Roche & Ionis Pharmaceuticals의 Tominersen은 2021년 3월 3상 임상시험(GENERATION HD1)에서 투약이 중단되었다.

15. 3상에서 위약보다 효과가 없었고, 8주마다 투약한 그룹은 오히려 운동 기능과 인지 기능이 더 악화되었고, 16주마다 투약한 그룹도 위약 대비 전반적인 개선 효과가 없었다.

16. Novartis의 branaplam은 mRNA splicing modifier로 작동하는 경구용 소분자 치료제였다. 그러나 이 마저도 2022년 8월 2b상 VIBRANT-HD 시험에서 투약이 일시 중단되었다.

17. 위의 약을 투여받은 사람들에게서 임상시험 참여자 일부에서 말초신경병증(peripheral neuropathy) 징후가 나타났다.

18. Wave Life Sciences는 2021년 3월 두 개의 ASO 약물인 WVE-120101과 WVE-120102의 개발을 중단했다.

19. 위의 약은​ PRECISION-HD1 및 HD2 1b/2a상 임상시험에서 돌연변이 헌팅틴 단백질(mHTT) 감소 효과가 임상적으로 유의미하지 않았다.

20. Sage Therapeutics - SAGE-718 (Dalzanemdor), Voyager Therapeutics - VY-HTT01, Triplet Therapeutics - TTX-3360 등등 대형 제약사 이외에도 헌팅턴 무도병을 치료하기 위해서 뛰어들었으나 "모두" 실패했습니다.

UNIQURE의 등장

21. 2025년 9월 헌팅턴 무도병 치료제를 개발하는 유니큐어에서 치료제에 대한 3년 추적데이터(2상)를 내놓았다.

22. 퇴행성 뇌질환인 헌팅턴 무도병의 진행을  최대 75퍼센트까지 지연시킬 수 있다는 데이터가 나왔다.

23. 실험을 진행한 영국 유니버시티칼리지 런던 헌틴텅병센터 연구팀의 사라 타브리지 교수는 BBC와의 인터뷰에서 “이는 헌팅턴병 환자가 1년 안에 겪는 퇴행성 감소가 치료 후에는 4년이 걸리게 돼 수십 년 동안 양질의 삶을 누릴 수 있다는 것을 의미한다”라고 말했다.

(이 분이 헌팅턴 무도병의 치료에 일조한 사라 타브리지 박사님이시다. 기술의 발전으로 앞으로도 더 많은 치료제를 통해 더 많은 환자의 꿈을 되찾아주면 좋겠다.)

24. 유니큐어의 헌팅턴 무도병 치료제인 AMT-130은 AAV5(Adeno-Associated Virus 5)라는 무해한 바이러스를 이용한 유전자 치료제다.

25. 위에서 설명했듯이 헌팅턴병의 원인은 HTT 유전자의 CAG 반복 확장으로 인한 병리성 헌팅틴 단백질 생성이다.

26. AMT-130의 마이크로 RNA는 이 헌팅틴 단백질을 만드는 메시지 지시문(mRNA)에 결합하여 이를 표적화하고, 세포로 하여금 정상 및 변이 헌팅틴 단백질 모두를 덜 생산하도록 한다.

27. AAV5는 혈액뇌장벽을 통과하지 않으므로, 치료는 뇌에 직접 주입되어야 한다.

28. 뇌를 뚫는 수술장비는 ClearPoint Neuro(CLPT)가 개발했다.

29. 총 29명의 헌팅턴병 환자를 대상으로 임상을 진행했고, 수술시간은 12~18시간이 걸린다.

30. 이때 유효물질을 넣기 위해 체강, 기관, 혈관 등에 삽입하여 체액 배출이나 약물 주입 등의 목적으로 사용되는 얇은 관인 카테터가 사용된다. 

https://www.vjneurology.com/amt-130/

31. 임상은 2020년 6월 처음으로 시작했고, 미국 다기관 임상시험으로 시작되었으며, 초기 2명 환자 후 90일 관찰 후 데이터 안전 모니터링 위원회(DSMB) 회의를 거쳐 진행 여부 결정했다.

https://huntingtonstudygroup.org/hd-insights/vol24_amt-130/

32. 2021년 12월, 첫 4명 환자의 12개월 데이터가 발표되었다.

https://hdsa.org/news/uniqure-announces-clinical-update-on-first-patients-in-phase-i- ii-clinical-trial-of-amt-130-gene-therapy-for-the-treatment-of- huntingtons-disease/#

33. 2021년 10월, 유럽 개방형 1b/2상 임상(NCT05243017)이 시작되었고, 2025년 9월에 36개월 추적 데이터가 발표되게 된 것이다.

34. 고용량 투약군은 17명, 저용량 투약군은 12명이다.

35. 결과는 다음과 같다. cUHDRS(복합 헌팅턴병 등급 척도): 75% 질병 진행 완화 (p=0.003) - 통계적으로 유의미함

​ 고용량군: 평균 -0.38점 변화 vs 외부 대조군: -1.52점 변화

​ 총 기능 용량(TFC): 60% 진행 완화 (p <0.05) - 이는 일상생활 기능 유지를 의미

 인지 기능(SDMT): 88% 진행 완화​ 신경필라멘트 경쇄(NfL): 기준선 대비 8.2% 감소 - 뇌세포손상 감소를 시사

https://en.hdbuzz.net/the-first-domino-falls-amt-130-gene-therapy-slows-huntingtons-i n-landmark-trial/

36. 저용량보다 고용량에서 더 유효하게 작용한다는 것도 보여주었기 때문에 용량 의존적 효과 가능성 또한 보여주었다.

37. 참고로 2024년에 발표된 24개월 데이터는 다음과 같았다.

고용량: cUHDRS에서 80% 진행 완화 (p=0.007) NfL: 11% 감소 (기준선 대비), 자연 병력 대조군은 26% 증가

38. 9월 24일에 데이터가 발표되고 주가는 247프로가 올랐다.

39. 약값의 가격은 유전자 치료제의 가격을 고려하면 몇 십억은 우스울 가능성이 높다.

40. 이 결과만 보았을 때 빅파마들의 우선인수후보로 손색이 없고, 이 때문에 주가는 계속해서 올랐다.

주가는 근데 반토막이 났는데?

41. 지금 고점대비 50프로 이상 떨어져 있는데 그 이유를 설명해 보겠다.

42. 심각한 부작용이 있던 것도 아니다. 2022년 12월 이후 심각한 이상반응은 없었다.

https://www.neurologylive.com/view/gene-therapy-amt-130-meets-endpoints-huntington-study-fda-submi ssion-follow

43. 위에서 말했듯이 이 실험은 뇌를 뚫어야 하기 때문에 전통적인 RCT(랜덤방식)으로 임상실험을 진행하는 것이 불가능하다.

44. 상식적으로 생각해 보자 위약을 실험하기 위해 여러분의 뇌를 뚫는다는 것 자체가 윤리적으로 말이 안 된다.

45. 그래서 외부 대조군 방식을 사용하였다. 2024년 12월 10일에 FDA는 이 방식을 승인했다.

https://www.hdyo.org/a/840-uniqure-update-on-fda-discussions

46. 이후 FDA는 2025년 4월에는 혁신의약품으로 지정을 했다.

https://european-biotechnology.com/latest-news/amt-130-gets-fda-breakthrough-therapy-designation/

 그 전의 타임라인을 빠르게 살펴보겠다.

47. 그 전의 타임라인을 살펴보자면, 2017년 10월에는 희귀 질환 치료제를 인정받아 시장 독점권 7년을 받았다.

48. 2019년 4월에는 Fast Track승인을 받았다

https://forbion.com/news-insights/news/uniqure-receives-fda-fast-track-designation-for-amt-130-gene-th erapy-for-the-treatment-of-huntington-s-disease/

49. 2024년 5월에는 RMAT으로 지정되었다.

https://www.rarediseaseadvisor.com/news/fda-grants-rmat-designation-gene-therapy-hd/

내용 이어서..

50. FDA랑 합의한 외부 대조군 방식이 무엇이냐면 외부 대조군은 과거에 수집된 독립적인 데이터베이스의 환자들을 현재 임상시험 참여 환자들과 비교하는 방식이다.

51. 그런데 FDA가 11월 3일 날 말을 갑자기 바꾼다. " 외부 대조군은 적합하지 않다"

https://www.biospectator.com/news/view/26842

52. 일단 유전자치료에 대해 승인을 내리는 곳은 CBER이다. 이곳의 소장이 비나이 프라사드이다. 프라사드가 부임했을 때 XBI의 지수가 4프로가 빠지기도 했다.

53. 이 사람이 이전부터 백신과 세포 및 유전자치료제, 가속승인 등에 매우 회의적인 의견을 피력하는 사람이었기 때문이다.

https://www.biospectator.com/news/view/25034

54. 요약하자면 이거다. Makary(현 국장), 그전 담당자 피터 막스든지 간에 지금 소장인 프라사드하고 합의한 거가 아니니까 무효화하겠다 이런 거고, 그래서 주가가 박살이 난 거다.

55. PRE- BLA의 회의록은 회의시작하고 30일 뒤에 공개되므로 11월 3일 날 FDA의 의견을 유니큐어에 전달한 것을 보면 곧 유니큐어가 회의록을 받게 될 거 같다. maybe 11월 말

갑자기 또 입장 변화?

56. 그런데 2025년 11월 11일에 Martin Makary(FDA 커미셔너)와 Vinay Prasad(CBER 디렉터)는 2025년 11월 12일 수요일에 New England Journal of Medicine에 " Plausible Mechanism Pathway "논문을 발표했다.

https://www.fiercebiotech.com/biotech/fdas-new-plausible-mechanism-pathway-accelerate-bespoke-gene-ed iting-therapies

57. 논문의 내용은 다음과 같다. 희귀·초희귀, 치명적 질환에서 RCT(무작위 대조 임상시험)가 사실상 불가능한 상황에서, 다음 5가지가 충족되면 조기 승인을 가능하게 하자는 것이다.

58. 저 논문이 발표된 이상 RCT가 불가능한 상황에서 다른 방식으로 평가하는 게 가능한 것이 공식화된 것이다.

59. AMT-130은 다음을 모두 갖추고 있다: 

희귀 적응증에 대한 높은 미충족 의료 수요 ✓ 

질병의 정의된 생물학적 원인(HTT 유전자 침묵) 표적 ✓

 동물 모델에서 표적 관여 확인 ✓ 

여러 연속 환자의 명확한 임상 개선 (75% 질병 진행 완화) ✓ 

즉, 명백히 모든 Plausible Mechanism Pathway 기준을 충족한다."

60. 정확하게 이 시점에서 나온 저 논문은 명백하게 유니큐어를 겨냥한 것이라고 생각한다. 그러나 FDA는 " Plausible Mechanism Pathway"를 공식화하기 전까지 유니큐어에게 특혜라는 의혹을 제거하기 위해서 그런 것이 아닐까?라는 것이 시장의 생각이다.

61. 이 영향인지 11월 11일에 17.93프로가 올랐다.

정리

62. 필자는 이 약이 허가를 받게 된다면 2배의 주가 상승은 우습다고 생각한다.

63. 그러나 리스크가 크다. 만약 RCT방식을 사용하라고 한다면 처음부터 임상을 다시 해야 된다. 

64. 추가적으로 1년 정도 추적데이터를 요구하는 것이 그나마 베스트일 거 같다.

65. FDA가 BLA 거부 의사를 표현한 이상 그대로 수용하는 것은 불가능에 가깝지 않을까 싶다.

66. 결론적으로 프라사드 이 사람이 유전자치료제에 원래부터 부정적인 입장이었던 것이 문제다. 

67. CDER 소장으로 새로 부임한 리처드 파즈 더 가 신약 승인에 우호적인 편인데 프라사드 잘 설득해 주면 좋겠다. 

68. 헌팅턴 무도병 환자를 가족으로 둔 가족들과 정치권에서 압박을 하고 있다는데 이게 먹힐지는 모르겠다. 만약 이게 먹혔으면 웬만한 신약들이 다 승인받았지..

69. 일단 안전성에서 어느 정도 검증된 것이 크다.

프라사드야!! 사람은 살려야 될 거 아니니..
모더나의 MRNA 치료제가 MRNA 시장의 붐을 일으켰듯이 이 약이 트리거가 되어 앞으로 여러 뇌질환을 정복해 나갈 것이라고 굳게 믿고 있겠다.

첫 번째로 스승님이 했던 말이 있다. " 아무리 좋은 주식이라도 시장의 관심을 받지 않으면 죽은 주식이다" 

그걸 듣고나서 망치를 맞은 느낌이었다. 스스로의 매매방식을 좀 바꿨다.

1. 좋은 주식이고 저평가더라도 거래량이 없다면 리스크 관리를 철저하게 한다. 예를 들면 손절라인과 지지라인을 명확하게 잡고 매매한다.

2. 커뮤니티나 뉴스에서 주목받기 시작해서 거래량이 증가하게 되고 충분히 언제든지 일정 거래량이 되어서 언제든지 탈출이 가능하다고 생각이 되면 손절과 지지를 1번 때처럼 타이트하게 하지 않는다.

=> 이러다가 많이 손실본적도 많으니 조심하자 

3. 이 때부터는 보통 지지라인을 지켜주는 경우가 많고 계속해서 지지라인을 여러 번 지지해 준다고 하면 크게 들어간다. 이 때는 다시 1번처럼 타이트하게 매매한다. 이때부터는 목표가를 정한다. 목표가가 오면 바로 50프로는 던지고 50프로는 남겨두고 50프로는 타이트하게 매매한다.

4. 그리고 다시 떨어졌을 때 원하는 부근까지 오면 들어가는데 조건이 있다. 카카오톡 톡방인원을 보면서 과열인지를 판단한다. 고점대비해서 30프로 정도인원이 나가면서 내가 원하는 부근까지 오면 보통 그때가 타점인 경우가 많다. 그리고 여기에 하나가 더 붙는데 거래량이 계속해서 과거보다 높은 상태로 유지를 해주어야 한다.

두 번째로 스승님이 했던 말이 있다. " 주도주를 잡아라"

뭔가 나는 홍대병이 있다. 남들이 AI 반도체 전력을 이야기할 때 바이오, 희토류, 석유, 은, 금, 광물 이런 걸 위주로 매매했던 거 같다. 바이오도 화이자 같은 바이오가 아니라 잡주위주로 매매했다. 왜 그랬냐면 주도주는 항상 비싸다.

물론 적정가 대비 저렴할 수 있지만 주도주가 아닌 섹터에서는 더 싼 것이 많다. 그래서 매번 주도주가 아닌 섹터가 주도주가 될 때까지 기다렸다. 그러나 요즘 느끼는 건데 가는 놈이 더 잘 가고 조정 와도 덜 떨어진다. 아직 몸에 익지는 않지만 조금씩 배워보려고 하고 있다.

마무리

계좌를 하루 만에 2배도 불려봤고 하루만에 50 퍼도 잃어봤고, 코인은 청산도 당해봤다. 그런데 나는 잃었을 때 가장 많이 배웠던 거 같다. 

돈을 잃어보라는 게 아니라 잃은 사람들한테도 충분히 배울 점이 많다는 것을 알려주고 싶은 것이다. 필자는 그래서 주식 수익률을 자랑하는 것이 이해가 가지 않는다. 그래서 나는 수익률 자랑을 거의 하지 않는다. 자랑해서 좋을 게 없는데 요즘 생각이 짧은 사람들이 많은 거 같다.

최근 주요 트레이딩 계좌의 5년 치 계좌 수익률이긴 한데 많이 번 것은 아니지만 이 정도 번 것도 운이 좋았다고 생각한다. 아마도 다시 회귀할 가능성이 높다. 

코로나 때는 코로나 빨리 끝날 줄 알고 크루즈랑 항공주식 들어갔다가 제대로 못 먹었던 기억이 있다. 2022년에는 괜히 TQQQ 들어갔다가 손절라인 제대로 못 잡아서 석유로 번 걸 날린 기억이 있다.

나는 수익률 일정회귀 법칙을 믿는다. 어차피 결국 나중에 갔을 때 일정 수치로 회귀하게 되는 거 같다. 그 일정 수치의 상방을 높이려고 공부하고 뉴스를 보는 것이다.

https://hanglestocks.tistory.com/130

글을 마저 이어서 써보겠다.

트럼프가 태양광 보조금 축소한다는데?

 
44. 18일 미국 국세청이 확정한 OBBBA 세액공제 지급 관련 세부규정에 따르면 2026년 7월 4일 이전에 태양광 및 풍력 단지를 착공하는 경우 4년 내에만 발전단지를 완성하고 전력을 생산하면 보조금을 지급하기로 했다.
 
https://news.nate.com/view/20250818n20641

45. 미국은 태양광, 풍력 발전단지에 대해 투자비의 30~50%를 세액공제해주는데 현금으로 직접 지원한다.
 
46. 2029~2030까지만 만들어놓으면 보조금 받는데 문제가 없고 오히려 빨리 만들자는 수요가 발생할 가능성이 높다.

47. 정확히는 2026년 7월 4일까지 착공하거나 2027년 12월 31일까지 완공하면 ITC(Investment Tax Credit)이라는 투자액 기준 보조금 30프로를 받는 크레딧을 받을 수 있다.
 

48. 태양광 보조금은 위에서 언급한 ITC 이외에도 AMPC(Advanced Manufacuring Production Credit)가 있다. 이거는 미국 내 제조되는 태양광 모듈/셀을 비롯한 신재생에너지 물품을 만드는 회사에 보조금을 주는 것이다.

49. 그리고 dc라는 세액공제도 있는데 이건 미국산 비중이 45퍼센트를 넘으면 10프로를 설치 사업자에게 추가로 주는 것이다. 즉 사업자 입장에서 오히려 미국산을 쓰는게 싸게 먹히고, 그래서 퍼스트 솔라가 잘 나가는 것이다.

49. AMPC를 받으려면 45퍼센트를 미국산, 2027년부터 55퍼센트를 미국산으로 맞춰야한다. 한화솔루션은 이를 충족시킬 수 있다. 왜냐하면 부품의 원가가 셀하고 모듈이 제일 크기 때문에 셀하고 모듈을 맞추는 것이 중요하다.

50. 여기서 태양광 패널이 어떻게 구성되있는지 보면 폴리실리콘, 잉곳, 웨이퍼, 셀, 모듈로 이루어져 있다. 보통 셀의 원가비중이 40~50 퍼, 모듈이 10~25 퍼, 잉곳/웨이퍼가 13~15 퍼, 폴리실리콘이 8~10 퍼정도 된다.

51. 여기서 미국 카터스빌 공장이 완공되면 3.3GW용량으로 잉곳, 웨이퍼, 셀을 생산할 수 있고, 모듈은 달튼하고 카터스빌 합쳐서 8.4GW 생산이 가능하다.

52. 한화솔루션 조지아 카터스빌 공장이 완공되면 말레이시아랑 한국에서 셀을 가져오더라도 보조금 기준을 맞출 수 있다. 약간 부족한 부분은 Array 트래킹을 사용하거나, 엔페이즈나 솔라엣지의 인버터 사용하거나 oci 폴리실리콘 사용해서 메꾸면 충분히 메꿀 수 있다.

53. 트럼프가 신재생에너지 보조금 축소한것이 맞다. 그러나 여기에서 자유로운 에너지원이 있다. 첫째로 수소이고, 둘째로 미국 내에서 생산한 태양광이다. 미국 내 요건(현재 45 퍼 미국산, 2027년부터 55 퍼 미국산)을 충전한 태양광 모듈, 셀 생산 업자에게 주는 AMPC를 2032년까지 그대로 주는 것으로 동결시켰다.

54. AMPC 보조금은 셀이 4$/W, 모듈은 7$/W, 웨이퍼는 $12/m^2, 잉겟은 $3/kg, 폴리실리콘은 $3/Kg이다.
 
55. 여기서 한화솔루션은 셀 3.3gw, 모듈 8.4gw, 웨이퍼 3.3gw, 잉곳을 3.3gw이고, 웨이퍼랑 잉곳은 이 양을 미터제곱과 kg으로 환산을 해보자면 각각 40만 미터제곱과 148톤 정도이다.

56. 셀, 웨이퍼, 잉겟, 모듈이 중복지급이 되지 않으므로 8.4GW의 모듈에 $0.07/W의 보조금을 받는다고 하면 $588M 보조금을 받게 된다. 그리고 ITV+DC 요건도 충족시키므로 설치 사업자 입장에서 40프로를 돌려받을 수 있다.

원래 목표는 폴리실리콘까지 수직계열화였다

57. 한화솔루션은 여기에 REC실리콘을 인수해서 폴리실리콘까지 수직계열화로 만들 계획을 하고 있었다. 한화가 대주주이다. 한화솔루션이 지분 16.67%를 1901억 원에, ㈜한화의 경우 12%를 1368억 원에 인수했다. 그러나 REC실리콘 장부 금액은 173억 원으로 투자 원금의 12.6%만 남았다.

58. 그러나 2025년 1분기 회사의 경영이 어려워져 태양광 폴리실리콘을 완전 중단을 선언했다. 그리고 실리콘 가스 사업자로 전황했다. 잔여 지분(66.67%)을 전량 사들여 REC실리콘을 100% 자회사로 품을 계획이다.   

https://www.g-enews.com/article/Global-Biz/2025/08/202508261014372653fbbec65dfb_1

https://www.thelec.kr/news/articleView.html?idxno=36117

59. 한화는 지급보증을 서는 등 물심양면으로 도왔으나 품질 문제로 한화솔루션에 폴리실리콘을 납품하지 못했기 때문에 미국 워싱턴주 공장 폐쇄 절차를 받는 중이다.

60. REC실리콘이 발표한 반기 실적을 보면 순손실은 지난해 같은 기간 5100만 달러에서 700만 달러로 크게 줄었으며, 이자·세금·감가상각 전 이익(EBITDA)은 150만 달러 적자에서 490만 달러 흑자로 돌아섰다. 그러나 이는 구조조정의 결과다.

https://www.thelec.kr/news/articleView.html?idxno=36928

61. 실리콘 가스는 반도체, 태양광 등에 쓰이기에 한화솔루션 입장에서 가지고 있으면 이 또한 수직계열화의 일환으로 볼 수 있다.

62.  생산 능력은 2개 미국 공장을 합쳐 3만 메트릭톤(MT) 이상이었으나, 약 80%(2만 4000MT)가 모세스레이크 공장 폐쇄로 가동이 중단되었다.

63. 결국 한화의 추가 투자가 필요하고, 이를 한화가 알기 때문에 고자세로 나오고 있다.

대체 그럼 한화솔루션은 얼마나 수혜를 볼까?

64. 일단 현재 한화솔루션은 미국 주거용 시장 1등으로 점유율이 30프로 이상이다. 25년 기준 미국 주거용 시장은 5.2GW이다.

65. 2024년 말 미국 모듈 유효 재고는 36.2GW로 추정되며 25년 말에는 26.9GW로 감소된다. 

66. 중국 기업들은 이미 미국 내 가격 경쟁력을 잃었다. 

Trina Solar(베트남)를 예로 추정해 보면, 현재 모듈 생산 비용은 약 31.5c/w다. 이는 한화솔루션(한국) 생산비용 대비 약 18.4%, 퍼스트솔라(미국) 생산비용 대비 약 17.1% 높은 수준이다(나머지 비용은 한화솔루션=Trina Solar 가정). 중국 기업들이 아무리 생산효율 성이 더 좋다 해도 쉽게 좁히기 어려운 비용 차이다. 게다가 AD/CVD가 70%/90%로 상승한다 가정하면, 한화솔루션과의 비용 차이는 18.4% 에서 23.7%/30.5%까지 벌어진다. 

67. 진코솔라의 말레이시아 셀 공장 7GW는 미국 수출이 가능해 보인다. 그러나 모듈에 있어서는 ITC와 DC모두를 받는 한화솔루션과 퍼스트솔라를 이기긴 힘들어 보인다.

68. 테슬라도 이 사업을 한다고 오해하는데 테슬라가 하는 태양광 사업은 모듈을 설치하고 ESS랑 엮어서 파는 것이고, 한화는 직접 모듈을 생산한다. 테슬라가 하는 사업부문은 선런이 하는 시장이다.

69. 앞서 이야기했듯이 태양광 모듈이 미국 내 이외의 생산지에서 수출은 박살 난 상황이고, 미국 내에서 모듈 생산분으로는 8GW의 숏티지가 발생한다. 현재 재고가 26.9GW만큼 남아있지만 점차 줄어들기 시작하면서 숏티지가 시작될 것이다.

70.  그전까지는 모듈만 미국산 모듈이기 때문에 고객입장에서 ITC는 받았으나 DC보너스를 받지 못했다. 

71. 만약 이제 MADE in USA를 45프로(강화되면 50프로)를 맞추게 된다면 지금 현재가격에서 고객에서 10프로 정도를 전가가 가능하다. 

하나증권은 미국 태양광 모듈 가격은 40~50% 상승 가능한 것으로 추정한다. AD/CVD와 M/S(시장 점유율)를 감안하여 가중평균 한 미국의 동남아 4개국으로부터의 모듈 수입 가격은 이론적으로 현재 W당 0.21$에서 W당 0.49$로 133% 상승이 예상된다. 

동남아 4개국의 미국 내 M/S 77%를 감안 시 미국 전체 가격은 이론적으로 W당 0.377$까지 약 80% 상승이 가능하다. 보수적으로 W당 0.3$ 수준까지 40~50% 상승도 가능하다. 하나증권에 따르면, 연간 출하량 8GW 기준 모듈 가격 W당 0.01$ 개선 시 한화큐셀의 분기 영업이익은 약 290억 원 개선될 전망이다(환율 1,450원 기준).
-
하나증권 유재성 연구원

적정주가 계산

74. 지난 2분기 신재생에너지 부문은 매출 1조 4464억 원으로 전년동기대비 47.5% 증가했다. 이 기간 영업이익은 1562억 원으로 전년동기대비 흑자전환했다. 1820억을 빼면 영업이익이 258억 적자이다. 

75. 2분기 현재 w당 약 0.2$ 수준이고 0.3$까지 오르게 되면 영업이익은 분기당 2900억이 증가하고 연단 위로 1조 1600억 원의 영업이익이 늘어난다. 그러나 원래 태양광 사업이 4분기가 피크이고 매출의 3 40퍼가 4분기에 나온다. 그러므로 우린 보수적으로 하기 위해서 4분기에 전체 총 연간 영업이익의 40프로의 영업이익이 나온다고 하고, 2분기에는 15프로가 나온다고 가정하겠다.

76. 보수적으로 잡았을 때 분기 태양광 사업의 영업이익은 2320-258=2062이고 2062*4=8248억이고, 보조금을 558M 달러를 받으니까 환율 1450원으로 계산하면 8525억 수령이 가능하다. 즉 16773억이다.

78. 다음 편에서는 한화솔루션의 석유화학 파트를 다뤄볼 텐데 필자는 흑자전환을 할 가능성을 높게 보고 있지만 보수적으로 순이익 0으로 잡고 계산해 보겠다.

79. 2025년 2분기 기준 당기순이익과 영업이익의 차이는 2675억이므로 당기순이익 계산을 위해서 빼주면 14098억 원이 나온다.

80. 자 이제 여기에 per배수를 얼마를 줄지는 상상에 맡기겠다. 그래도 10 정도는 줘도 되지 않을까 싶다. 왜냐면 퍼스트솔라가 per이 20이니까 국장의 특징을 고려하면 10정도를 줄 수 있다고 생각한다.

81. 그러면 14조의 시총을 가지게 된다. 참고로 현재시총은 5조이다. 

82. 만약 쇼티지로 모듈가격이 2배가 오른다면 연간 약 2조 2천억의 영업이익을 가지게 된다. 여기에도 per 10을 준다면 시총은 22조가 된다. 

83. 여기에 숏티지가 와서 한국공장까지 돌리게 되면 더 늘어날 수도 있다. 한국 공장 가동률이 21퍼 수준이다.

여러분들이라면 어떻게 가치를 평가할 것인가

먼저, 한화솔루션이 어떤 기업인지 알아보자

1. 한화솔루션은 한화그룹의 에너지·소재 핵심 계열사로, 2020년 한화케미컬·한화큐셀·한화첨단소재 3사 통합으로 출범한 친환경 에너지 소재 전문기업입니다.

 
2. 석유화학부터 태양광, 첨단소재까지 아우르는 포트폴리오로 글로벌 시장에서 경쟁력을 입증하고 있습니다. 

• 신재생에너지: 3,850,818 (약 53.2%)
• 기초소재: 2,430,604 (약 33.6%)
• 가공소재: 675,524 (약 9.3%)
• 기타: 275,709 (약 3.8%)

3. 현재 신재생에너지가 53프로 매출을, 기초소재가 33.6프로 매출, 가공소재가 9.3프로를 차지하고 있기에 한화솔루션을 분석하기 위해서는 태양광뿐만 아니라 석유화학 산업도 같이 봐야 한다.
 
4. 구체적으로 말해보자면 한화솔루션에서 기초소재 부문을 담당하고 있는 케미컬 부문은 PE, CA, PVC 등을 만들고 있으며, 가공소재를 다루는 한화첨단소재는 자동차부품과 산업용 소재 등을 다루고 있다.
 
5. 그리고 태양광을 만드는 한화큐셀은 셀/모듈 태양광 제품을 만들어서 팔고 있다. 기타에는 전자소재를 만드는 한화이센셜, 한화도시개발이 있다. 일단 태양광부터 하나씩 뜯어보도록 하겠다.
 

그렇다면 왜 태양광인가?

6. 현재 미국은 심각한 전력문제에 직면해 있다. 전력시설이 노후화된 건 둘째 치고, 데이터센터 급증으로 인한 전력공급이 부족해지고 있고, 하이퍼스케일러들은 전력이 공급이 되는 부지를 찾는데 어려움을 겪고 있다.
 
7. 뒤늦게 정신 차리고 원전을 지어보려고 하고 있지만 미국과 유럽은 원전 경쟁력을 잃은 지 오래되었다. 그나마 프랑스가 원전을 만들 능력이 있으나, 우리나라보다 비싼 건 둘째 치고, 공사기간조차도 제대로 맞추지도 못한다.
 
8. 프랑스의 57번째 원전인 플라망빌 원전 3호기의 가동은 예정보다 12년이 지난 2024년에 원자로가 가동되기 시작하였고, 예산은 4배가 초과되었다.
https://www.hankyung.com/article/202409034191i
 

 
9. 이 밖에 일본, 러시아, 한국이 있으나 결국 예산과 시간을 맞추려면 한국밖에 없다. 그러나 원전의 건설기간은 건설시간이 제일 빠른 한국 기준으로 7년이다. 참고로 프랑스는 원전개발에 25년이 걸렸다.
 
10. SMR? SMR과 MMR의 장점은 생산단가가 아니다. 도시 한가운데 세울 수 있을 수 있는 안정성과 짧은 공사기간이다.
 
11. SMR을 만들게 되면 공사기간은 3년 이하로 단축된다. https://www.opinionnews.co.kr/news/articleView.html?idxno=119822

 
12. 뉴스케일 파워 기준으로 전력생산단가도 기존 목표(55달러/㎿h)에서 상승하여 현재는 최대 120달러에 이른다. 그리고 건설 비용도 기존 53억 달러(한화 약 7조 원)에서 93억 달러(한화 약 12조 원)로 증가했다.
https://news.mtn.co.kr/news-detail/2024061815545284501

 
13. 물론 한국처럼 재생에너지를 깔기 어렵거나 에너지원을 수입해서 쓰는 나라에서는 SMR이 경쟁력이 있을 수 있지만 미국에서는 전력생산에 있어 태양광에 비해 경쟁력이 없다. 왜냐면 미국은 토지가 부족해서 태양광을 못 까는 나라가 아니기 때문이다.
 
14. 물론 이 기사에 따르면 건설 단가를 KWe당 3500달러, 발전 단가를 MWh당 65달러로 책정한다고 하는데 이렇게 되면 한국 원전의 kW당 건설단가인 3000달러랑 맞먹게 되어서 경제력이 생길 수도 있으나 2028년 이후의 이야기이다.
https://www.todayenergy.kr/news/articleView.html?idxno=288257
 
14. 참고로 2024년 4분기 태양광 발전 구매 계약(PPA) 평균 가격은 Mwh당 56.76이다. 
https://energy.ketep.re.kr/globalenergy/site/main/board/energy_news/22632

 
15. 미국 에너지부 산하 연구기관인 로렌스 버클리 국립 연구소 연구진의 분석에 따르면, 우선 사회적 비용을 반영하지 않더라도 대규모 태양광 발전(20MW, 100MW)의 LCOE는 2030년까지 47~48달러(약 6만 8천 원)/MWh로 낮아진다. 
 
16. 고정형 해상풍력 발전의 LCOE는 2030년에 약 100달러(약 14만 4천 원)/MWh로 줄어들어 석탄 발전과 비슷한 수준이 될 것으로 예상되었다.
 
17. 참고로  원자력 발전의 건설비는 같은 기간 동안 매년 2.6% 증가하여 2030년에는 50달러(약 7만 2천 원)/MWh 수준이 될 것으로 전망한다. 자력 발전의 LCOE는 사고 위험 비용이 반영됨에 따라 14~20% 증가하여 2030년에는 60달러/MWh 가까이 상승할 것으로 전망되었다. 
 

 
17. ESS를 포함해도 가격이 저렴한 편이다. 미국 서부 기준으로 태양광+ESS 조합의 LCOE는 104달러/MWh 수준으로, 석탄(118달러), 원전(182달러) 보다 낮다. 이는 2019년 대비 43% 하락한 수치로, 배터리와 태양광 설치비용의 동반 하락이 주요 원인이다. 
https://www.biznews.or.kr/news/article.html?no=16157

 
18. 조사기관에 따라 다르지만 태양광이 발전단가가 다른 발전원에 비해서 비싸지 않다. 즉 발전단가가 비싸지 않으면서 건설기간이 제일 짧은 것이 태양광이다.
 
19. SOFC도 미국 에너지부 산하 연구기관인 로렌스 버클리 국립 연구소 연구진의 분석에 따르면 발전단가가 현재 더 싼 것은 맞다. 그러나 볼륨에너지만 봐도 알겠지만 여기는 이미 숏티지시장이다. 
 
20. 천연가스 가격이 많이 떨어져서 발전단가가 낮아지긴 했지만 가스터빈이 숏티지다. 두산에너빌리티가 미국시장을 뚫은 거만 봐도 얼마나 숏티지길래 두산에너빌리티한테 기회가 열리나 싶다. 아마 두 에빌의 미국 가스터빈 수주 계속될 거다. 이미 GE만 해도 2 3년 치 백로그가 있다.
 
20. 결론적으로 SOFC 숏티지, 가스터빈 숏티지, SMR은 발전단가가 어떻게 될지도 아무도 모르고, 언제 제대로 만들어질지도 모름, 원전은 우리나라 말고 미국에 지을 수 있는 나라 거의 전무한 상황이라 숏티지 확정이다. 그리고 트럼프가 풍력은 극혐 한다.(그런데 결국 풍력도 할 거 같긴 하다)
 
21. 결론은 태양광의 수요가 떨어진다는 것은 사실이 아니다!!
 
22. 미국도 같은 기간 18GW(2022년), 27GW(2023년), 37GW(2024년)로 성장했지만 미국 에너지정보청(EIA)은 정책 불확실성에 따른 발주 지연으로 2025년 34GW로 역성장을 예상하고 있긴 하지만 장기적으로 성장할 수밖에 없다!!

https://www.hankyung.com/article/202509170864i

현재까지는 공급과잉, 이제는 숏티지

 
22. 미국 내에서 태양광이 공급과잉이었던 것은 지나가던 개도 아는 사실이다. 중국 태양광 업체들이 동남아를 통해서 우회 수출로 미국으로 수출해 왔다.
 
23. 미국은 태양광 모듈 수입 중 약 90%를 동남아 4개국에 의존하고 있다. 
 
24. 올해 3분기 태양광 모듈 가격은 0.1달러로 지난 2022년 1분기 0.27달러 대비 절반이하로 떨어진 것으로 알려졌다. 
 
25. 중국 기업들은 미국 태양광 시장 점유율 약 70%를 차지하고 있으며 중국을 제외하면 가정용 패널에서는 한화큐셀이 1등이다.
 
https://www.metroseoul.co.kr/article/20241222500283

 
26. 미국 상무부는 지난 4월 캄보디아(652~3,521%), 말레이시아(15~252%), 태국(367~947%), 베트남(121~814%)에 소재한 업체별로 상이한 반덤핑/상계관세(AD/CVD)를 확정

 
27. 중국이 미국에 수출하기 위해 다른 곳에 공장 세우기 시작하는 중이다. 그러나 한화큐셀은 곧 미국 공장 완공된다.
 
https://www.g-enews.com/article/Global-Biz/2025/06/2025061418093230130c8c1c064d_1

 
28. 미국 국제무역위원회(USITC) 데이터에 따르면, 관세 부과 이후 1년 만에 4개국(캄보디아, 말레이시아, 태국, 베트남)으로부터의 미국 수입은 83% 감소하는 등 이미 붕괴되었다.

https://www.g-enews.com/article/Global-Biz/2025/09/2025090617093834330c8c1c064d_1

 
29. 그러나 아직 숏티지 신호는 나오고 있지 않다. 왜냐면 아직도 공급과잉으로 인한 재고가 많이 남아있기 때문이다.

30. 라오스·인도·인도네시아산 중국 우회 물량에 대한 미국의 AD/CVD 조사가 진행 중이며, 예비판 정은 각각 2025년 10~12월, 최종판정은 2026년 2~4월에 나올 것으로 보인다.
 
31. 물론 3분기 실적 때는 6~7월 품질 문제로 인한 셀 가동 차질 및 이에 따른 미국 모듈 설비 가동률 하락 영향으로 가장 안 좋은  실적 예상
 
32. 중국 폴리실리콘 업체들이 덤핑을 그만하기 시작하면서 폴리실리콘 가격 급등으로 인한 영업마진 압박이 있다.

 
33. 그러나 미국 재고량이 오링이 나는 순간, 태양광 패널의 가격은 급등할 가능성이 높다.
 
34. 미국 내에서 태양광 모듈을 만드는 기업은 딱 3군데이다. 퍼스트솔라, 한화솔루션, 캐나디안솔라이다.
 
35. 퍼스트솔라는 미국내에서 2026년까지 14GW, 한화솔루션은 8.4GW, 캐나디안 솔라는 3GW이다.
 
36. 위에서 언급했듯이 태양광 시장의 예측이 34GW이지만 이 세 업체를 합쳐도 26GW이다. 중국업체는 더 이상 미국으로 수출하는 것이 관세 때문에 불가능하다.
 
37. 그리고 위에서 언급한 캐나디안 솔라는 강화된 미국 보조금기준을 맞추지 못한다. 중국산 폴리실리콘과 웨이퍼를 쓰기 때문이다. 
 
38. 미국 내에서 잉곳-웨이퍼-셀-모듈로 이어지는 태양광 모듈을 만들 수 있는 기업은 딱 두 군데, 한화솔루션, 퍼스트솔라가 끝이다.
 
39. 셀 6.2GW / 모듈 2.7GW 진천공장, 말레이시아공장은 셀과 모듈 생산능력이 각각 2.3GW이다.

https://biz.newdaily.co.kr/svc/article_print.html?no=2023122800068

https://qcells.com/kr/get-support/factory

 
40. 결국 한화솔루션이 하려는 건 부족한 셀을 한국하고 말레이시아에서 만들어서 보내는 것이다. 이렇게 되면 미국 내 생산되는 폴리실리콘과 잉곳까지 고려하면 IRA 요건인 45퍼센트를 맞출 수 있다. 
 
41. 또한 만약 숏티지가 나서 가격이 오른다면 진천 하고 말레이시아에서 만든 것도 미국으로 보낼 수 있다.
 
42. 셀과 모듈이 보통 1대 1로 매칭되어 제작되는데 계산해 보면 모듈 =2.7+2.3+8.4=13.4, 셀 = 2.3+6.2+3.3= 11.8GW인데 OCI 미국 내 셀 공장이 2026년 하반기까지 목표 생산능력이 2GW인 것을 생각하면 한국 회사로만으로도 셀과 모듈의 밸류체인이 완성된다. 
 
https://blog.naver.com/yes_invest/223841927313?trackingCode=rss

 
43. 요약하자면 한화솔루션이 중국 반덤핑 때리기의 최대 수혜자이다. 아직까지는 태양광 시장이 안 좋고 미국 공장이 완공이 안돼서 공장 가동률이 2025년 반기 보고서기준 21퍼센트밖에 안된다.
 

## 벡터 공간의 10가지 규칙 📜

벡터 공간은 **벡터의 집합(V)**과 두 가지 연산, 즉 **덧셈(⊕)**과 **스칼라 곱(⊙)**으로 이루어져 있습니다. 이 10가지 규칙은 크게 '덧셈에 관한 5가지 규칙'과 '스칼라 곱에 관한 5가지 규칙'으로 나뉩니다.

### 덧셈에 관한 5가지 규칙 (Axioms 1-5)

이 규칙들은 집합 안에서 덧셈이 얼마나 안정적이고 예측 가능하게 작동하는지를 보장합니다.

1. 덧셈에 대해 닫혀있다 (Closed under addition)
   • u ⊕ v는 집합 V 안에 있다.
   • 의미: 집합 V 안에 있는 두 벡터를 더한 결과는 반드시 다시 집합 V 안에 있어야 합니다. 덧셈을 통해 집합 밖으로 '탈출'할 수 없습니다.
2. 덧셈의 교환법칙 (Commutative)
   • u ⊕ v = v ⊕ u
   • 의미: 더하는 순서를 바꿔도 결과는 같습니다.
3. 덧셈의 결합법칙 (Associative)
   • (u ⊕ v) ⊕ w = u ⊕ (v ⊕ w)
   • 의미: 세 개 이상의 벡터를 더할 때, 어떤 쌍을 먼저 더하든 결과는 같습니다.
4. 덧셈에 대한 항등원 (Additive identity)의 존재
   • 집합 V 안에는 **영벡터(0)**가 존재해서, 모든 벡터 u에 대해 0 ⊕ u = u를 만족한다.
   • 의미: 더해도 아무런 변화를 주지 않는 '기준점' 같은 벡터가 반드시 있어야 합니다. 손글씨로 쓰신 것처럼 **"덧셈에 대한 항등원"**이 바로 이 영벡터입니다.
5. 덧셈에 대한 역원 (Additive inverse)의 존재
   • 모든 벡터 u에 대해, 더했을 때 영벡터를 만드는 짝꿍 벡터 -u가 반드시 존재한다. (u ⊕ (-u) = 0)
   • 의미: 모든 벡터는 자신의 '반대' 방향 벡터를 가지고 있습니다. 이 규칙 덕분에 우리는 뺄셈을 정의할 수 있습니다.

### 스칼라 곱에 관한 5가지 규칙 (Axioms 6-10)

이 규칙들은 벡터를 늘리거나 줄이는 스칼라 곱셈이 어떻게 작동해야 하는지를 정의합니다.

1. 스칼라 곱에 대해 닫혀있다 (Closed under scalar multiplication)
   • c ⊙ u는 집합 V 안에 있다.
   • 의미: 집합 안의 어떤 벡터를 가져와 실수(스칼라)배를 해도, 그 결과는 절대 집합 밖으로 나가지 않습니다.
2. 분배법칙 1 (Distributive)
   • c ⊙ (u ⊕ v) = (c ⊙ u) ⊕ (c ⊙ v)
   • 의미: 벡터들을 먼저 더한 뒤 스칼라배를 하는 것과, 각각 스칼라배를 한 뒤 더하는 것은 결과가 같습니다. (c(u+v)=cu+cv)
3. 분배법칙 2 (Distributive)
   • (c + d) ⊙ u = (c ⊙ u) ⊕ (d ⊙ u)
   • 의미: 스칼라들을 먼저 더한 뒤 벡터에 곱하는 것과, 각각의 스칼라를 벡터에 곱한 뒤 더하는 것은 결과가 같습니다. ((c+d)u=cu+du)
4. 스칼라 곱의 결합법칙 (Associative)
   • c ⊙ (d ⊙ u) = (cd) ⊙ u
   • 의미: 여러 스칼라를 곱할 때, 어떤 순서로 곱하든 결과는 같습니다. (c(du)=(cd)u)
5. 곱셈에 대한 항등원 (Multiplicative identity)
   • 1 ⊙ u = u
   • 의미: 어떤 벡터든 스칼라 1을 곱하면 자기 자신이 그대로 나옵니다.

핵심은, 어떤 집합이 벡터 공간이 되려면 **10가지 규칙(공리)**을 모두 만족해야 한다는 것입니다. 하나라도 실패하면 벡터 공간이 될 수 없습니다.

## 1. 벡터 공간의 표준 예시 (Examples 1 & 2)

이 페이지의 첫 두 예제는 벡터 공간의 가장 대표적인 사례들입니다.

• 예제 1 (Euclidean Vector Spaces): 우리가 흔히 아는 Rn 공간(화살표 벡터들의 집합)은 우리가 아는 일반적인 덧셈과 스칼라 곱셈에 대해 벡터 공간이 됩니다.
• 예제 2 (Vector Spaces of Matrices): 모든 m×n 행렬들의 집합 역시, 행렬의 성분별 덧셈과 스칼라 곱셈에 대해 벡터 공간이 됩니다. 이는 '벡터'라는 개념이 화살표뿐만 아니라 행렬까지 확장될 수 있음을 보여줍니다.

## 2. 벡터 공간이 아닌 경우 (Example 3) 🚫

이것이 이 페이지의 핵심 문제입니다. 겉보기에는 간단해 보이지만, 정의된 연산 규칙이 특이해서 10가지 규칙 중 일부를 만족하지 못하는 경우입니다.

• 집합: V=R (모든 실수의 집합)
• 특이한 연산 규칙:
  • 덧셈: a⊕b=2a+2b
  • 스칼라 곱: k⊙a=ka (이건 일반적인 곱셈과 같습니다)

문제는 이 연산 규칙 하에서 덧셈의 교환법칙은 성립하지만, 결합법칙은 성립하지 않음을 보이라는 것입니다.

1. 교환법칙 (Commutative) 확인 - 성공 ✅

교환법칙이 성립하려면 a⊕b=b⊕a 여야 합니다.

• a⊕b=2a+2b
• b⊕a=2b+2a

일반 덧셈에서 2a+2b 와 2b+2a 는 같으므로, 교환법칙은 성립합니다. (손글씨로 '성립'이라고 쓰신 부분이 맞습니다.)

2. 결합법칙 (Associative) 확인 - 실패 ❌

결합법칙이 성립하려면 (a⊕b)⊕c=a⊕(b⊕c) 여야 합니다. 좌변과 우변을 각각 계산해 보겠습니다.

• 좌변: (a⊕b)⊕c
  1. 먼저 괄호 안의 a⊕b를 계산하면 2a+2b 입니다.
  2. 이제 $(2a+2b)$와 c를 새로운 덧셈 규칙으로 더합니다: (2a+2b)⊕c=2(2a+2b)+2c=4a+4b+2c
• 우변: a⊕(b⊕c)
  1. 먼저 괄호 안의 b⊕c를 계산하면 2b+2c 입니다.
  2. 이제 a와 $(2b+2c)$를 새로운 덧셈 규칙으로 더합니다: a⊕(2b+2c)=2a+2(2b+2c)=2a+4b+4c
• 비교: 좌변(4a+4b+2c)과 우변(2a+4b+4c)은 같지 않습니다.

## 최종 결론 🎓

덧셈에 대한 결합법칙 (벡터 공간의 10가지 규칙 중 3번 규칙)이 성립하지 않기 때문에, 이 집합 V는 주어진 특이한 연산 규칙 하에서 벡터 공간이 아닙니다 (is not a vector space).

이 문제는 겉보기에는 평범한 2차원 벡터(R2) 같지만, 덧셈과 스칼라 곱의 규칙을 완전히 새롭게 정의했을 때에도 벡터 공간(Vector Space)의 10가지 규칙을 모두 만족하는지 확인하는 매우 좋은 예제입니다.

결론부터 말씀드리면, 이 집합 V는 주어진 특이한 연산 규칙 하에서 벡터 공간이 맞습니다.

핵심은 우리가 평소에 알던 '상식'을 버리고, 오직 문제에 주어진 새로운 규칙만을 사용해서 10가지 공리를 하나씩 확인하는 것입니다. 특히 영벡터와 역원을 찾는 과정이 중요합니다.

## 문제 분석: 새로운 연산 규칙 📜

• 집합 V: 모든 2차원 순서쌍 (a, b)의 집합.
• 새로운 덧셈(⊕):(두 벡터를 더할 때, 각 성분에 1을 추가로 더합니다.)
• (v1​,v2​)⊕(w1​,w2​)=(v1​+w1​+1,v2​+w2​+1)
• 새로운 스칼라 곱(⊙):(스칼라배를 할 때, 각 성분에 c-1을 추가로 더합니다.)
• c⊙(v1​,v2​)=(cv1​+c−1,cv2​+c−1)

## 핵심 공리(Axiom) 증명 과정

모든 10가지 규칙을 확인해야 하지만, 가장 중요하고 헷갈리는 것은 **영벡터(항등원)**와 역원을 찾는 것입니다.

1. 이 공간의 '영벡터'는 무엇인가? (Axiom 4: Additive Identity)

우리가 찾아야 할 영벡터를 $\mathbf{0} = (z_1, z_2)$라고 합시다. 영벡터의 정의는 어떤 벡터 $\mathbf{v}$에 더해도 v 자신을 변화시키지 않는 것입니다. 즉, v⊕0=v 여야 합니다.

새로운 덧셈 규칙을 이용해 이 식을 풀어보면,

이 결과가 원래 벡터 $(v_1, v_2)$와 같아야 합니다. 따라서 각 성분을 비교하면,

• v1​+z1​+1=v1​⟹z1​=−1
• v2​+z2​+1=v2​⟹z2​=−1

따라서 이 벡터 공간의 영벡터는 $(0, 0)$이 아니라 (−1,−1) 입니다!

2. 모든 벡터는 '역원'을 가지는가? (Axiom 5: Additive Inverse)

모든 벡터 $\mathbf{v} = (v_1, v_2)$에 대해, 그 역원 $-\mathbf{v} = (w_1, w_2)$를 더했을 때 방금 구한 **영벡터 (−1,−1)**이 나와야 합니다. 즉, v⊕(−v)=(−1,−1) 입니다.

새로운 덧셈 규칙을 이용해 이 식을 풀어보면,

이 결과가 영벡터 $(-1, -1)$과 같아야 합니다.

• v1​+w1​+1=−1⟹w1​=−v1​−2
• v2​+w2​+1=−1⟹w2​=−v2​−2

따라서 벡터 $(v_1, v_2)$의 역원은 (−v1​−2,−v2​−2) 입니다. 모든 벡터 $\mathbf{v}$에 대해 그 역원이 항상 존재함을 확인했습니다.

## 나머지 규칙들

• 닫혀있는가? (Axioms 1, 6): 덧셈과 스칼라 곱의 결과는 모두 순서쌍 (실수, 실수) 형태이므로, 집합 V 안에 머무릅니다. (성립)
• 교환/결합/분배 법칙 등 (Axioms 2, 3, 7, 8, 9, 10): 이 규칙들도 모두 성립합니다. 예를 들어 교환법칙을 보면,
  • (v1​,v2​)⊕(w1​,w2​)=(v1​+w1​+1,v2​+w2​+1)
  • (w1​,w2​)⊕(v1​,v2​)=(w1​+v1​+1,w2​+v2​+1)
  • 일반 덧셈은 교환법칙이 성립하므로 위 두 결과는 같습니다. (성립)

## 최종 결론 🎓

주어진 집합 V와 두 개의 특이한 연산은 벡터 공간의 10가지 규칙을 모두 만족하므로, V는 벡터 공간이 맞습니다.

이 문제는 '벡터 공간'이라는 개념이 얼마나 추상적이고 강력한지를 보여줍니다. 덧셈과 곱셈의 규칙만 잘 정의되면, 우리가 상상하지 못했던 형태의 영벡터와 역원을 가지는 새로운 '공간'을 만들어낼 수 있습니다.

이 페이지에 있는 벡터 공간의 두 가지 기본 정리를 명확하게 풀어 설명해 드리겠습니다. 이 정리들은 벡터 공간의 '상식'과도 같은 기본 규칙들을 증명하는 과정입니다.

## 정리 1: 덧셈에 대한 역원은 유일하다

"벡터 공간 V에서, 모든 벡터의 덧셈에 대한 역원(additive inverse)은 유일하다(unique)."

• 쉬운 설명 🤔: 어떤 벡터 u가 있을 때, u에 더해서 영벡터(0)를 만드는 짝꿍 벡터(-u)는 세상에 딱 하나뿐이라는 뜻입니다. 마치 숫자 5에 더해서 0을 만드는 숫자가 -5 하나뿐인 것과 같습니다.
• 증명 과정 👣:
  1. 가정: 만약 u의 역원이 v와 w, 이렇게 두 개라고 가정해 봅시다. (증명의 목표는 결국 v와 w가 사실 같은 벡터임을 보이는 것입니다.)
     • 즉, u ⊕ v = 0 이고 u ⊕ w = 0 입니다.
  2. 시작: v에서 시작합니다. 벡터 공간 규칙 4번(항등원)에 의해, v는 v ⊕ 0와 같습니다.
  3. v=v⊕0
  4. 치환: 위 가정에서 u ⊕ w = 0 이므로, 0 대신 u ⊕ w를 대입합니다.
  5. v=v⊕(u⊕w)
  6. 재결합: 벡터 공간 규칙 3번(결합법칙)을 이용해 괄호의 위치를 바꿉니다.
  7. v=(v⊕u)⊕w
  8. 다시 치환: 처음 가정에서 v도 u의 역원이었으므로 v ⊕ u = 0 입니다. (v oplus u)를 0으로 바꿉니다.
  9. v=0⊕w
  10. 마무리: 벡터 공간 규칙 4번(항등원)에 의해, 0 ⊕ w는 그냥 w입니다.
  11. v=w
  12. 결론: v로 시작했는데 w로 끝났습니다. 따라서 v와 w는 같은 벡터였던 것입니다. 즉, 역원은 유일합니다.

## 정리 2: 영벡터와 스칼라 곱의 기본 성질

이 정리는 벡터 공간의 10가지 기본 규칙으로부터 유도할 수 있는 4가지 '당연해 보이는' 성질들을 나열합니다.

1. 0u = 0
   • 의미: 숫자 0을 어떤 벡터 u에 곱하면, 그 결과는 영벡터 0이 됩니다.
2. c0 = 0
   • 의미: 어떤 숫자 c를 영벡터 0에 곱하면, 그 결과는 영벡터 0이 됩니다.
3. (-1)u = -u
   • 의미: 숫자 -1을 벡터 u에 곱하면, 그 결과는 u의 **덧셈에 대한 역원(-u)**과 같습니다. 즉, 벡터의 방향을 정반대로 뒤집는 것과 같습니다.
4. 만약 cu = 0 이면, c = 0 또는 u = 0 이다.
   • 의미: 숫자와 벡터를 곱한 결과가 영벡터가 되었다면, 둘 중 하나는 반드시 0이어야 합니다. (숫자가 0이었거나, 벡터가 영벡터였거나) 이는 일반 대수학의 인수분해 원리(ab=0 이면 a=0 또는 b=0)와 매우 유사합니다.

**벡터 공간(Vector Space)**의 정의와 관련된 핵심 사실들을 3가지로 요약한 것입니다. 각 항목을 명확하게 풀어 설명해 드릴게요.

## 1. 벡터 공간인지 확인하는 방법

1. 어떤 집합 V가 주어진 덧셈과 스칼라 곱 연산에 대해 벡터 공간인지를 판별하려면, **10가지 벡터 공간 공리(규칙)**를 모두 만족하는지 확인해야 한다.

이것은 어떤 집합이 '벡터 공간'이라는 자격을 얻기 위한 유일한 시험입니다. 겉보기에 벡터처럼 보인다고 해서 벡터 공간이 되는 것이 아니라, 덧셈과 스칼라 곱에 대해 정의된 10가지 규칙을 하나도 빠짐없이 통과해야만 합니다. 하나라도 실패하면 벡터 공간이 아닙니다.

## 2. 벡터 공간의 대표적인 예시들 🌟

1. 유클리드 공간 Rⁿ, 행렬 집합 Mₘₓₙ, 그리고 n차 이하의 다항식 집합 Pₙ은 모두 표준적인 연산에 대해 벡터 공간이다.

이것은 우리가 앞으로 계속 마주칠 벡터 공간의 가장 중요한 세 가지 예시입니다. '벡터'라는 개념이 단순히 화살표에만 국한되지 않는다는 것을 보여줍니다.

• 유클리드 공간 (Rⁿ): 우리가 흔히 생각하는 (x, y)나 (x, y, z) 같은 좌표 또는 화살표 벡터들의 집합입니다.
• 행렬 (Mₘₓₙ): 같은 크기(m x n)의 모든 행렬들의 집합 역시, 성분별 덧셈과 스칼라 곱에 대해 벡터 공간을 이룹니다.
• 다항식 (Pₙ): 특정 차수(n) 이하의 모든 다항식들의 집합도 벡터 공간입니다. (예: 모든 2차 이하 다항식의 집합)

## 3. 모든 벡터 공간에서 성립하는 기본 성질

1. 모든 벡터 공간에서 덧셈에 대한 역원은 유일하다. 또한 0u = 0, c0 = 0, (-1)u = -u가 성립한다. 추가로, cu = 0이면 c=0 또는 u=0이다.

이것들은 10가지 기본 규칙으로부터 자연스럽게 파생되는 '상식'과 같은 속성들입니다.

• 역원의 유일성: 어떤 벡터 u에 더해서 영벡터를 만드는 짝꿍(-u)은 세상에 단 하나뿐입니다.
• 0의 역할:
  • 0**u** = **0**: 숫자 0을 어떤 벡터에 곱하면 영벡터가 됩니다.
  • c**0** = **0**: 영벡터에 어떤 숫자를 곱해도 영벡터가 됩니다.
  • (-1)**u** = -**u**: 숫자 -1을 벡터에 곱하면 그 벡터의 역원이 됩니다.
• 영인자 정리: 숫자와 벡터를 곱한 결과가 영벡터가 되었다면, 둘 중 하나는 반드시 0이어야 합니다 (숫자가 0이었거나, 벡터가 영벡터였거나).

## 1. 통계 모델과 신경망 모델의 결정적 차이

가장 먼저, 두 방식의 근본적인 차이점을 알아야 합니다.

• 통계 기반 방식 (n-gram):
  • "직접 카운트해서 확률을 계산한다."
  • P(B|A) = count(A,B) / count(A) 처럼, 학습 데이터에 등장하는 횟수를 직접 세어서 확률 값을 구했습니다.
• 신경망 기반 방식:
  • "확률을 잘 맞추도록 모델을 학습시킨다."
  • 직접 횟수를 세지 않습니다. 대신, **학습 목표(Learning Objective)**를 설정하고, 그 목표에 도달하도록 모델의 수많은 파라미터(가중치)를 점진적으로 업데이트합니다.
  • 이때 사용되는 핵심적인 3요소는 다음과 같습니다.
    1. 학습 목표 (Learning Objective): 모델이 달성해야 할 최종 목표. 언어 모델의 경우 "주어진 학습 데이터(문장들)의 확률을 최대화하는 것"입니다.
    2. 손실 함수 (Loss Function): 현재 모델이 정답에서 얼마나 멀리 떨어져 있는지(오차)를 측정하는 함수입니다. 손실(Loss) 값이 클수록 모델 성능이 나쁘다는 뜻이며, 학습은 이 **손실 값을 최소화(minimize)**하는 방향으로 진행됩니다.
    3. 최적화 (Optimization): 손실 함수를 최소화하기 위해 모델의 파라미터를 어떤 방향으로, 얼마나 업데이트할지 결정하는 과정입니다. (e.g., 경사 하강법, Gradient Descent)

🔑 핵심: 신경망 모델은 복잡한 함수를 통해 패턴을 학습하기 때문에, n-gram 모델이 할 수 없었던 장거리 의존성이나 단어 간의 비선형적인 관계(e.g., 의미적 유사성)를 파악할 수 있게 됩니다.

## 2. 최대 우도 추정 (Maximum Likelihood Estimation, MLE)

신경망 언어 모델의 학습 목표인 "주어진 문장들의 확률을 최대화"하는 통계적 원리가 바로 **최대 우도 추정(MLE)**입니다.

• 기본 개념:
• "우리가 가지고 있는 데이터가 가장 그럴듯하게(likely) 관찰될 수 있도록, 모델의 파라미터(θ)를 결정하자."
• 직관적 예시:
  • 어떤 동전을 10번 던졌더니 앞면이 7번 나왔다고 합시다. 이 동전의 앞면이 나올 확률(θ)은 얼마일까요?
  • MLE는 "10번 중 7번의 앞면"이라는 관찰 결과를 가장 잘 설명하는 θ값을 찾습니다. 상식적으로 그 값은 0.7일 것입니다. θ가 0.7일 때, 10번 중 7번 앞면이 나올 가능성(Likelihood)이 가장 높기 때문입니다.
• 언어 모델에 적용:
  • 수많은 문장으로 이루어진 학습 데이터가 주어집니다.
  • 신경망 모델의 수백만 개 파라미터(θ)를 조정하여, 이 학습 데이터에 있는 모든 문장들이 나타날 확률의 곱(결합 확률)이 최대가 되도록 만듭니다.
• 수식:
  • L(θ): 우도(Likelihood) 함수. 모델 파라미터 θ가 얼마나 '그럴듯한지' 나타냅니다.
  • θ: 모델의 모든 파라미터(가중치) 집합.
  • Π: 모든 원소를 곱하라는 기호.
  • P_θ(sentence): 현재 파라미터 θ를 가진 모델이 계산한 한 문장의 확률.
  • 목표: L(θ)를 최대로 만드는 θ를 찾는 것.
• L(θ)=sentences∏​Pθ​(sentence)
• 역사적 배경: MLE는 1920년대 통계학자 **로널드 피셔(Ronald Fisher)**에 의해 정립된, 매우 유서 깊고 신뢰도 높은 통계적 원리입니다. 현대 통계학과 머신러닝의 근간을 이루는 핵심 개념 중 하나입니다.

## 3. 신경망 언어 모델의 예시: ELMo

슬라이드에 다시 등장한 ELMo는 바로 이런 신경망 기반 접근법의 성공적인 예시입니다.

• ELMo (Embeddings from Language Models):
  • 거대한 텍스트 데이터를 사용해 양방향 LSTM(bi-LSTM) 구조의 신경망 언어 모델을 미리 학습시킵니다.
  • 이 과정에서 MLE 원리를 사용해, 주어진 문장들의 확률을 최대화하도록 모델을 훈련합니다.
  • 그 결과, n-gram과 달리 **문맥에 따라 단어의 의미가 달라지는 것(e.g., 동음이의어)**을 파악하는 능력을 갖추게 됩니다. 이는 신경망 모델이 단순 카운트를 넘어 단어의 의미와 문맥적 관계를 학습했기 때문에 가능합니다.

## 🦉 시험 대비 최종 요약

• 패러다임 전환: 통계 모델의 직접 카운트 방식에서, 신경망 모델의 손실 함수 최소화를 통한 학습 방식으로 전환되었습니다.
• 최대 우도 추정 (MLE): 신경망 모델의 핵심 학습 원리. 관찰된 학습 데이터의 확률(우도)을 최대로 만드는 모델 파라미터(θ)를 찾는 방법입니다.
• 신경망 모델의 핵심 장점: n-gram이 해결하지 못했던 장거리 의존성과 단어의 의미 관계를 학습할 수 있습니다. ELMo가 그 대표적인 예시입니다.

신경망 언어 모델의 학습 원리인 **최대 우도 추정(Maximum Likelihood Estimation, MLE)**을 구체적으로 설명하는 매우 중요한 부분입니다. 시험에 완벽하게 대비할 수 있도록 각 개념을 명확하게 짚어 드릴게요.

## 1. 우도(Likelihood)란 무엇인가? - "얼마나 그럴듯한가"

MLE를 이해하려면 먼저 '우도(Likelihood)'의 개념을 알아야 합니다.

• 직관적 의미: 단어 뜻 그대로 '그럴듯한 정도'입니다. 내가 관찰한 데이터가, 현재의 모델(파라미터) 하에서 얼마나 그럴듯하게(likely) 나타날 수 있는가를 나타내는 값입니다.
• 확률(Probability)과의 차이점:
  • 확률: 모델(파라미터 θ)이 고정되어 있을 때, 특정 데이터(x)가 관찰될 가능성.
    • 예: "앞면이 나올 확률이 0.5인 **정상적인 동전(θ)**을 던질 때, 10번 중 앞면이 7번 나올 **확률(x)**은 얼마인가?"
  • 우도(Likelihood): 관찰된 데이터(x)가 고정되어 있을 때, 어떤 모델(파라미터 θ)이 이 데이터를 가장 잘 설명하는가.
    • 예: "10번 던져서 앞면이 7번 나오는 **데이터(x)**를 관찰했을 때, 이 동전의 앞면이 나올 확률이 0.7이라는 **모델(θ)**은 얼마나 그럴듯한가?"
• 수식:
  • L(θ|x): 데이터 x가 주어졌을 때, 파라미터 θ의 우도
  • P(X=x|θ): 파라미터 θ가 주어졌을 때, 데이터 x의 확률
  • 핵심: 수식은 같지만, 무엇을 변수로 보느냐에 따라 관점이 다릅니다. 우도 함수에서 우리가 찾고 싶은 것은 최적의 θ 입니다.
• L(θ∣x)=P(X=x∣θ)

## 2. 최대 우도 추정(MLE)의 작동 방식

MLE는 위에서 설명한 '우도(Likelihood)'를 **최대(Maximum)**로 만드는 모델 파라미터(θ)를 찾는 과정입니다. 언어 모델의 학습 과정을 단계별로 살펴보겠습니다.

1. The Task (과제): 다음 단어 예측
   • 입력: 문맥이 주어집니다. (e.g., "the cat sat on")
   • 출력: 모델은 어휘집(Lexicon)에 있는 모든 단어에 대해, 다음에 등장할 확률을 출력합니다.
     • P(the|...) = 0.6
     • P(a|...) = 0.1
     • P(mat|...) = 0.2
     • ... (모든 확률의 합은 1)
2. The "Correct Answer" (정답 데이터)
   • 슬라이드의 노란 박스가 핵심입니다: "실제 데이터에 해당하는 단어만 확률이 1이고, 나머지는 0"
   • 실제 다음 단어가 "mat"이었다면, 정답은 {mat: 1, the: 0, a: 0, ...} 와 같은 원-핫 인코딩(one-hot encoding) 형태로 표현됩니다.
3. Calculating Likelihood (우도 계산)
   • 이 한 번의 예측에서 우도 값은 모델이 정답 단어에 부여한 확률 값입니다. 위 예시에서는 P(mat|...)에 해당하는 0.2가 됩니다.
4. Learning Process (최적 파라미터 학습)
   • 모델의 학습 목표는 이 우도 값(0.2)을 정답(1)에 가깝게 만드는 것, 즉 최대화하는 것입니다.
   • 이 과정을 전체 학습 데이터에 있는 모든 문장, 모든 단어에 대해 반복합니다.
   • 최종적으로 모든 문장들의 우도를 곱한 전체 우도(L_n(θ; y))가 최대가 되는 지점을 찾습니다.
   • 수식:
     • θ̂: 우리가 찾으려는 최적의 파라미터 추정치
     • arg max: 뒤따르는 함수를 최대로 만드는 인자(θ)를 찾으라는 명령어
     • 의미: "우리의 전체 학습 데이터 y가 나타날 우도 L을 최대로 만드는 파라미터 θ를 찾아라." 이것이 바로 신경망 언어 모델의 학습 과정 전체를 요약하는 수식입니다.
   • θ^=argθ∈Θmax​Ln​(θ;y)

## 🦉 시험 대비 최종 요약

• 우도 L(θ|x): 내가 본 데이터(x)가 특정 모델(θ)에서 나왔을 '그럴듯한 정도'.
• MLE 목표: 이 우도를 최대로 만드는 최적의 모델 파라미터 θ̂를 찾는 것.
• 언어 모델 학습 과정:
  1. 모델이 다음 단어에 대한 확률 분포를 출력한다.
  2. 모델이 실제 정답 단어에 부여한 확률값이 바로 그 예측의 우도가 된다.
  3. 학습(최적화)을 통해 이 우도 값을 1에 가깝게 만드는 방향으로 모델의 파라미터를 계속 업데이트한다.
• arg max L(θ; y): 이 모든 학습 과정을 한 줄로 요약한 수학적 표현이다.

신경망의 학습 과정을 이해하는 데 가장 핵심적인 개념인 학습 목표와 손실 함수, 그리고 왜 **교차 엔트로피(Cross-Entropy)**를 사용하는지에 대해 설명하고 있습니다. 시험에 반드시 출제될 내용이므로 명확하게 정리해 드릴게요.

## 1. 학습 목표와 손실 함수: 목표와 측정 도구

신경망을 학습시키려면 먼저 '무엇을 해야 하는지' 알려주고, '얼마나 잘하고 있는지' 측정해야 합니다. 이 두 가지가 바로 학습 목표와 손실 함수입니다.

학습 목표 (Learning Objective)

• 정의: 모델이 달성해야 할 추상적인 목표 또는 과제를 의미합니다.
• 언어 모델의 학습 목표: 지도 학습(Supervised Learning) 방식을 따릅니다. 즉, 정답이 있는 데이터를 보고 학습합니다.
  • 과제: 문장에서 특정 단어를 빈칸으로 만들고, 그 빈칸에 들어갈 정답 단어를 맞추는 것이 학습 목표입니다.

손실 함수 (Loss/Objective Function)

• 정의: 위에서 정의한 추상적인 학습 목표를, 컴퓨터가 계산할 수 있는 구체적인 수학 공식으로 바꾼 것입니다.
• 역할: 모델의 예측이 정답과 **얼마나 다른지(오차, error)**를 계산하는 '벌점(penalty) 계산기'입니다.
  • 손실(Loss) 값이 크면 👉 "너 지금 엄청나게 틀렸어!"
  • 손실(Loss) 값이 작으면 👉 "아주 잘하고 있구나!"
• 궁극적 목표: 모델을 학습시킨다는 것은 결국 이 손실 함수의 값을 최소(minimize)로 만드는 최적의 파라미터를 찾아가는 과정입니다.

## 2. 왜 '맞으면 0, 틀리면 1'은 최악의 손실 함수인가?

가장 단순하게 "정답을 맞추면 벌점 0, 오답이면 벌점 1"이라고 손실 함수를 정의할 수도 있습니다. 하지만 이는 신경망 학습에 사용할 수 없는, 최악의 방법입니다.

• 문제점: 미분이 불가능하다 (Non-differentiable)
  • 신경망은 **경사 하강법(Gradient Descent)**을 통해 학습합니다. 경사 하강법은 손실 함수를 미분해서 얻은 '기울기(gradient)'를 보고, 손실이 낮아지는 방향으로 파라미터를 조금씩 수정하는 방식입니다.
• 직관적 비유:
  • 여러분이 안개를 낀 산 정상(손실=0)을 찾아가는 상황이라고 상상해 보세요.
  • 좋은 손실 함수 (미분 가능): 부드러운 언덕길과 같습니다. 발바닥으로 땅의 기울기를 느끼면 어느 쪽이 내리막길인지(손실이 줄어드는 방향인지) 항상 알 수 있습니다.
  • 나쁜 0/1 손실 함수 (미분 불가능): 평평한 절벽 위와 같습니다. 발밑은 항상 평평해서(기울기=0) 어느 방향으로 가야 절벽 아래의 목표 지점(정상)에 가까워지는지 전혀 알 수 없습니다. 방향을 모르니 학습이 진행되지 않습니다.

## 3. 정답은 교차 엔트로피 (Cross-Entropy)

이러한 문제를 해결하기 위해, 최대 우도 추정(MLE) 원리를 기반으로 한 **교차 엔트로피(Cross-Entropy)**를 손실 함수로 사용합니다.

• 정의: 두 확률 분포 사이의 차이(거리)를 측정하는 방법입니다.
• 언어 모델에서의 두 확률 분포:
  1. 실제 정답 분포: 정답 단어만 확률이 1이고 나머지는 모두 0인 분포입니다. (e.g., {mat: 1, the: 0, a: 0, ...})
  2. 모델의 예측 분포: 모델이 Softmax 함수를 통해 출력한, 각 단어에 대한 예측 확률 분포입니다. (e.g., {mat: 0.2, the: 0.6, a: 0.1, ...})
• 작동 방식:
  • 모델의 예측이 정답과 비슷할수록 (정답 단어에 높은 확률을 부여할수록) 교차 엔트로피 값은 낮아집니다.
  • 모델의 예측이 정답과 다를수록 (정답 단어에 낮은 확률을 부여할수록) 교차 엔트로피 값은 매우 높아집니다.
• 가장 중요한 장점: 교차 엔트로피 함수는 매끄럽고 미분이 가능합니다. 따라서 모델이 얼마나 틀렸는지 뿐만 아니라, 어느 방향으로 파라미터를 수정해야 더 잘할 수 있는지에 대한 명확한 신호(기울기)를 제공합니다.
• MLE와의 관계: 수학적으로 교차 엔트로피 손실을 최소화하는 것은 로그 우도(Log-Likelihood)를 최대화하는 것과 같습니다. 즉, 교차 엔트로피는 MLE 원칙을 신경망에서 구현하는 표준적인 방법입니다.

## 🦉 시험 대비 최종 요약

• 학습 목표 vs. 손실 함수: 학습 목표는 **'무엇을 할지'**에 대한 추상적 정의, 손실 함수는 **'얼마나 틀렸는지'**를 계산하는 구체적인 수학 공식입니다.
• 최악의 손실 함수: '맞으면 0, 틀리면 1' 같은 방식은 미분이 불가능하여 경사 하강법에 사용할 수 없습니다.
• 최고의 손실 함수: 교차 엔트로피(Cross-Entropy). 두 확률 분포(정답, 예측)의 차이를 측정하며, 미분이 가능하여 신경망 학습에 필수적입니다.
• 핵심 관계: 교차 엔트로피 손실(Loss)을 최소화하는 것은 최대 우도 추정(MLE) 원리를 따르는 것과 수학적으로 동일합니다.

신경망 언어 모델의 학습 원리인 **교차 엔트로피(Cross-Entropy)**와 그 시초가 된 **NNLM(Neural Network Language Model)**을 다루고 있습니다. 시험에 나올 핵심 개념들을 완벽하게 정리해 드릴게요.

## 1. MLE와 교차 엔트로피의 관계: 동전의 양면

지난 시간에 배운 최대 우도 추정(MLE)과 손실 함수(Loss function)는 사실상 같은 목표를 다른 관점에서 표현한 것입니다.

• MLE의 목표: 모델이 학습 데이터를 얼마나 잘 설명하는지에 대한 '우도(Likelihood)'를 **최대화(Maximize)**하는 것.
  • θ^=argθ∈Θmax​Ln​(θ;y)
• 손실 함수의 목표: 모델의 예측이 얼마나 틀렸는지를 나타내는 '손실(Loss)'을 **최소화(Minimize)**하는 것.

이 둘을 연결하는 방법은 간단합니다. 우도 함수에 **로그(log)**를 씌우고 **음수(-)**를 붙이면 손실 함수가 됩니다.

손실(Loss) = - log(우도(Likelihood))

로그를 씌우면 곱셈이 덧셈으로 바뀌어 계산이 편리해지고, 음수를 붙여 '최대화' 문제를 '최소화' 문제로 바꿀 수 있습니다. 이 손실 함수가 바로 **교차 엔트로피(Cross-Entropy)**입니다.

🔑 핵심: 교차 엔트로피 손실을 최소화하는 것은 수학적으로 **우도를 최대화하는 것(MLE)**과 완벽하게 동일한 목표를 가집니다.

## 2. 교차 엔트로피(Cross-Entropy) 수식 완전 분해

• 정의: **실제 분포(P)와 모델의 예측 분포(Q) 간의 차이(거리)**를 측정하는 지표입니다.
• 수식:
  • P(x): 실제 정답 분포. (원-핫 벡터: 정답 단어만 1, 나머진 0)
  • Q(x): 모델의 예측 확률 분포. (Softmax 출력값)
• Cross-Entropy=−x∑​P(x)logQ(x)
• 🌟 수식의 단순화 (이것이 핵심입니다!) P(x)는 정답 단어의 위치에서만 1이고 나머지 모든 위치에서는 0입니다. 따라서 복잡해 보이는 합산 기호(Σ)는 사실상 정답 단어 하나에 대해서만 계산됩니다.결론: 교차 엔트로피 손실은 결국 모델이 '정답 단어'에 부여한 확률값에 마이너스 로그를 취한 것입니다.
  • 모델이 정답을 잘 맞춰서 Q(정답 단어)가 1에 가까워지면 → log(1)은 0이므로, 손실은 0에 가까워집니다. (잘했어!)
  • 모델이 정답을 못 맞춰서 Q(정답 단어)가 0에 가까워지면 → log(0)은 음의 무한대에 가까워지므로, 손실은 매우 커집니다. (똑바로 해!)
• Cross-Entropy=−(1⋅logQ(정답 단어)+0⋅logQ(오답 단어1)+…)
  ∴Cross-Entropy=−logQ(정답 단어)
• 소프트맥스(Softmax): 신경망의 마지막 출력값을 0~1 사이의 확률값으로 변환하고, 모든 확률의 총합이 1이 되도록 만들어주는 함수입니다. 교차 엔트로피를 사용하기 위해 필수적입니다.

## 3. 최초의 신경망 언어 모델 (NNLM)

2003년 요슈아 벤지오(Yoshua Bengio) 교수가 발표한 NNLM은 현대 신경망 언어 모델의 시초가 된 기념비적인 모델입니다.

• 핵심 아이디어 1: 신경망으로 n-gram 문제를 풀다
  • 과제: n-gram 모델처럼, n-1개의 이전 단어들이 주어졌을 때 n번째 단어를 예측합니다.
  • 차이점: 확률을 카운트로 계산하는 대신, 신경망을 학습시켜 확률을 예측합니다.
• 핵심 아이디어 2: 단어 임베딩(Word Embedding)의 발명 🚀
  • n-gram 모델의 가장 큰 한계는 단어의 '의미'를 모른다는 것이었습니다.
  • NNLM은 이를 해결하기 위해, 희소한 표현인 **원-핫 인코딩(one-hot encoding)**을 신경망 학습을 통해 의미를 함축한 밀집된(dense) 벡터 표현으로 변환했습니다. 이것이 바로 **'단어 임베딩'**입니다.
  • 이 밀집 벡터 공간에서는 의미가 비슷한 단어들(e.g., '고양이', '강아지')이 서로 가까운 위치에 놓이게 되어, 모델이 단어 간의 의미적 유사성을 학습할 수 있게 되었습니다.
• NNLM 구조:
  1. 입력층: 이전 n-1개 단어의 인덱스.
  2. 투사층(Projection Layer): 각 단어 인덱스를 단어 임베딩 벡터로 변환합니다. (거대한 조회 테이블(Lookup Table) C에서 해당 단어의 벡터를 꺼내옴)
  3. 은닉층(Hidden Layer): 변환된 임베딩 벡터들을 하나로 연결(concatenate)하여 신경망 연산을 수행합니다.
  4. 출력층(Output Layer): Softmax 함수를 통해 다음 단어에 대한 확률 분포를 출력합니다.

## 🦉 시험 대비 최종 요약

• MLE와 교차 엔트로피: 교차 엔트로피 손실을 최소화하는 것은 (로그) 우도를 최대화하는 것과 수학적으로 같다.
• 교차 엔트로피의 실제 의미: -log(모델이 정답 단어에 부여한 확률).
• NNLM의 두 가지 혁신:
  1. 신경망을 언어 모델링에 최초로 도입.
  2. 단어 임베딩 개념을 발명하여, n-gram의 '의미 이해 불가' 문제를 해결.
• NNLM 구조: 단어 인덱스 입력 → 임베딩 룩업 → 은닉층 연산 → Softmax 출력.

## 1. n-gram이란 무엇인가? (What is an n-gram?)

n-gram은 아주 간단한 개념입니다.

• 정의: n개의 연속된 단어 묶음
• 목적: 문장 전체를 한 번에 다루기 어려우니, 확률 계산을 위해 문장을 n개 단위로 잘라서 분석하겠다는 의미입니다.
• 슬라이드 예시 분석: "오늘 학교에 왔다"
  • Unigram (1-gram): 한 단어씩 묶은 것.
    • "오늘", "학교에", "왔다"
  • Bigram (2-gram): 두 단어씩 묶은 것.
    • "오늘 학교에", "학교에 왔다"
  • Trigram (3-gram): 세 단어씩 묶은 것.
    • "오늘 학교에 왔다"

이처럼 n-gram은 문장을 분석하기 위한 기본 단위를 정의하는 방법입니다.

n-gram에서 n을 길게 할수록 희소성 문제는 훨씬 더 심각해집니다. 좋은 질문을 주셨는데, 많은 분들이 헷갈려 하는 부분이라 비유를 통해 명확하게 설명해 드릴게요.

핵심 원리는 **"n이 길어질수록 가능한 조합의 수가 기하급수적으로 늘어나고, 특정 조합이 내가 가진 한정된 데이터에 존재할 확률은 급격히 낮아지기 때문"**입니다.

## 도서관 비유로 이해하기 🧐

내가 가진 학습 데이터를 '도서관에 있는 모든 책'이라고 상상해 봅시다.

• n=1 (Unigram) 찾기
  • 도서관에서 "the"라는 단어를 찾는 것과 같습니다.
  • 결과: 너무나도 쉽게, 수백만 번 찾을 수 있습니다. 희소성 문제가 전혀 없습니다.
• n=2 (Bigram) 찾기
  • 도서관에서 "the house"라는 구절을 찾는 것과 같습니다.
  • 결과: 이것도 매우 흔해서, 수만 번은 찾을 수 있습니다. 희소성 문제가 거의 없습니다.
• n=5 (5-gram) 찾기
  • 도서관에서 "the house is on fire"라는 구절을 찾는 것과 같습니다.
  • 결과: 이제부터 찾기 어려워집니다. 소설책 몇 권에서나 간신히 찾을 수 있을 겁니다. 카운트가 급격히 줄어 희소성이 보이기 시작합니다.
• n=10 (10-gram) 찾기
  • 도서관에서 "the house is on fire, said the boy"라는 구절을 찾는 것과 같습니다.
  • 결과: 이 문장은 문법적으로 완벽하지만, 도서관 전체를 다 뒤져도 정확히 이 순서로 된 구절은 단 한 번도 등장하지 않을 가능성이 매우 높습니다. 이것이 바로 희소성 문제입니다.

## 수학적 관점 🔢

사용자님의 생각 "n을 길게 뽑으면 나올 가능성이 더 높아지는 거 아닌가?"는 **'문맥을 더 많이 알아서 예측이 더 정확해진다'**는 이론적인 장점만 보신 것입니다. 하지만 통계 기반 n-gram 모델은 '의미'를 이해하는 것이 아니라, **'똑같은 것을 본 적이 있는가'**를 카운트할 뿐입니다.

• 단어 종류(Vocabulary)가 10,000개라고 가정해 봅시다.
  • Bigram (n=2)의 경우의 수: 10,000 × 10,000 = 1억 개
  • Trigram (n=3)의 경우의 수: 10,000 × 10,000 × 10,000 = 1조 개
  • 5-gram (n=5)의 경우의 수: 10,000의 5제곱 = 100,000,000,000,000,000,000개 (100경)

아무리 구글이 가진 방대한 데이터를 쓴다고 해도, 저 천문학적인 경우의 수를 모두 포함할 수는 없습니다. 따라서 n이 길어질수록, 우리가 마주칠 대부분의 문장은 학습 데이터에 한 번도 등장하지 않은 조합일 수밖에 없습니다.

## 결론

• n을 길게 한다는 것은 더 구체적인(specific) 문맥을 보겠다는 의미입니다.
• 문맥이 구체적일수록 이론적인 예측 정확도는 올라가지만, 그 구체적인 문맥을 학습 데이터에서 본 적이 있을 확률(카운트)은 0에 수렴하게 됩니다.
• 이 때문에 n-gram 모델은 정확성(높은 n)과 희소성(낮은 n) 사이의 트레이드오프(trade-off) 관계를 가지며, 스무딩이나 백오프 같은 기법으로 이 문제를 '완화'할 뿐 '해결'하지는 못합니다.

이것이 바로 단어의 의미 자체를 학습하는 신경망 언어 모델이 등장하게 된 근본적인 이유입니다.

## 2. 마르코프 가정 (The Markov Assumption) - 현실과의 타협

지난 시간에 통계 기반 모델은 희소성 문제(Sparsity Problem) 때문에 긴 문장의 확률을 계산하기 어렵다고 배웠습니다. 마르코프 가정은 이 문제를 해결하기 위한 매우 실용적인 아이디어입니다.

• 문제 인식: "나는 오늘 아침에 밥을 먹고 파란색 버스를 타고 학교에 왔다"에서 '왔다'를 예측하기 위해 문장 전체를 고려하는 것은 불가능하다. (count(나는 오늘...학교에))를 찾는 것은 거의 불가능)
• 핵심 아이디어 (가정):즉, '왔다'라는 단어는 '나는', '아침에' 같은 먼 단어보다는, 바로 앞의 '학교에'라는 단어의 영향을 훨씬 더 많이 받는다는 현실적인 가정을 하는 것입니다.
• "어떤 단어의 등장 확률은 먼 과거의 모든 단어가 아니라, 바로 앞의 몇 개 단어에만 영향을 받을 것이다."
• 수식으로 이해하기:
  • ≈ (근사): 왼쪽의 '정확한 확률' 계산이 불가능하니, 오른쪽의 '단축된 확률'로 **대략 비슷할 것이라고 가정(근사)**하겠다는 의미입니다.
  • w_1, ..., w_{t-1}: 단어의 전체 역사 (full history)
  • w_{t-n+1}, ..., w_{t-1}: 예측할 단어(w_t) 바로 앞의 n-1개 단어 (recent history)
• P(wt​∣w1​,...,wt−1​)≈P(wt​∣wt−n+1​,...,wt−1​)

## 3. n-gram 모델과 마르코프 가정의 결합

이제 이 두 개념이 어떻게 함께 작동하는지 보겠습니다. n-gram 모델은 마르코프 가정을 실제로 구현하는 방법입니다.

• Bigram (n=2) 모델의 경우:
  • 가정: 다음 단어는 바로 앞 1개(n-1)의 단어에만 영향을 받는다.
  • 적용: P(왔다 | 오늘 학교에) 라는 어려운 계산 대신, 마르코프 가정을 적용하여 **P(왔다 | 학교에)** 라는 훨씬 간단한 문제로 바꿉니다.
  • 계산: 이제 우리는 count("학교에 왔다") / count("학교에") 라는 계산 가능한 확률을 얻게 됩니다.
• Trigram (n=3) 모델의 경우:
  • 가정: 다음 단어는 바로 앞 2개(n-1)의 단어에만 영향을 받는다.
  • 적용: P(왔다 | 오늘 학교에)는 **P(왔다 | 오늘 학교에)**로 계산합니다. (이 문장은 짧아서 전체가 되지만, 더 긴 문장에서도 바로 앞 두 단어만 봅니다.)
  • 계산: count("오늘 학교에 왔다") / count("오늘 학교에") 로 확률을 계산합니다.

## 🦉 시험 대비 최종 요약

• n-gram: 문장을 분석하기 위한 'n개의 연속된 단어 묶음'.
• 마르코프 가정: 다음 단어 예측 시, 전체 문맥 대신 '바로 앞 n-1개 단어'라는 짧은 문맥만 본다는 현실적인 가정.
• 마르코코프 가정을 쓰는 이유: 통계 기반 모델의 고질적인 희소성 문제(Sparsity Problem)를 해결하기 위해서.
• n-gram 모델의 작동 방식:
  • Unigram (n=1): 문맥을 전혀 보지 않음. P(왔다)
  • Bigram (n=2): 바로 앞 1개 단어만 봄. P(왔다 | 학교에)
  • Trigram (n=3): 바로 앞 2개 단어만 봄. P(왔다 | 오늘 학교에)
• n-gram의 Trade-off (장단점):
  • n이 커지면? 더 많은 문맥을 반영해 예측이 정확해지지만, 다시 희소성 문제가 발생할 가능성이 커진다.
  • n이 작아지면? 희소성 문제는 줄어들지만, 문맥을 너무 적게 반영하여 예측의 정확도가 떨어진다.

## 1. n-gram 모델의 확률 계산: 현실적인 연쇄 법칙

n-gram 모델은 이전에 배운 '연쇄 법칙(Chain Rule)'을 그대로 사용하지 않고, 마르코프 가정에 따라 현실적으로 단순화(근사)해서 사용합니다. 슬라이드의 그림은 이 과정을 완벽하게 보여줍니다.

• 문장: "this is the house that Alice built"
• 목표: 문장 전체의 확률 p(this is the house that Alice built) 구하기

이것을 계산하기 위해 각 단어의 확률을 곱해야 하는데, n-gram 모델별로 다음과 같이 마지막 단어 built의 확률을 다르게 계산합니다.

1. Chain Rule (이상적인 모델):
   • p(built | this is the house that Alice)
   • 의미: 'built' 이전의 모든 단어를 문맥으로 고려합니다. 현실적으로 희소성 문제 때문에 계산이 거의 불가능합니다.
2. Trigram (n=3) 모델:
   • p(built | that Alice)
   • 의미: 'built' 바로 앞의 2개(n-1) 단어만 문맥으로 봅니다. 훨씬 현실적인 근사치입니다.
3. Bigram (n=2) 모델:
   • p(built | Alice)
   • 의미: 'built' 바로 앞의 1개(n-1) 단어만 문맥으로 봅니다. 더 많이 단순화되었습니다.
4. Unigram (n=1) 모델:
   • p(built)
   • 의미: 문맥을 전혀 고려하지 않고(n-1=0), 그냥 'built'라는 단어 자체의 등장 확률만 봅니다.

핵심: n-gram 모델은 긴 문맥을 n-1개의 짧은 문맥으로 잘라내어 희소성 문제를 해결하고 확률 계산을 가능하게 만드는 것입니다.

## 2. n값 선택의 중요성: Trade-off 관계

n을 얼마로 설정할지는 n-gram 모델의 성능을 결정하는 매우 중요한 문제입니다. n의 크기에 따라 명확한 장단점이 존재하며, 이를 **Trade-off(상충 관계)**라고 합니다.

n이 작은 경우 (e.g., Bigram, n=2)

• ✅ 장점 (Advantages):
  • 희소성 문제 덜함: 문맥으로 보는 단어가 적기 때문에(e.g., "Alice"), 해당 문맥이 데이터에 존재할 확률이 높습니다. 즉, 웬만한 문장은 확률 계산이 가능합니다.
  • 적은 데이터로 학습 가능: 카운트할 n-gram의 종류가 적으므로, 데이터가 많지 않아도 괜찮습니다.
  • 계산량이 적음: 모델이 단순해서 계산이 빠릅니다.
• 😥 단점 (Disadvantages):
  • 문맥 정보 활용 어려움: 바로 앞 한두 단어만 보기 때문에 문장의 전체적인 의미나 복잡한 구조를 파악하지 못합니다.
  • 긴 의존성 표현 불가능: 예를 들어, "I live in a small village in the mountains and speak fluent... (나는 산속 작은 마을에 살고 유창한 ...를 구사한다)" 에서 다음에 올 'Korean'을 예측하려면 'I'라는 주어를 봐야 하지만, Bigram 모델은 'fluent'만 보기 때문에 정확한 예측이 어렵습니다.

n이 큰 경우 (e.g., 4-gram, n=4)

• ✅ 장점 (Advantages):
  • 더 많은 문맥 정보 반영 → 예측 정확도 증가: 더 긴 앞부분의 내용을 참고하므로, 다음에 올 단어를 훨씬 더 정확하게 예측할 수 있습니다. 문장의 자연스러움이 향상됩니다.
• 😥 단점 (Disadvantages):
  • 희소성 문제 심각: 문맥이 길어지면서(e.g., "house that Alice"), 해당 문맥이 학습 데이터에 한 번도 등장하지 않았을 확률이 기하급수적으로 높아집니다.
  • 계산량이 많음: 고려해야 할 n-gram의 종류가 폭발적으로 증가하여 많은 메모리와 계산 시간이 필요합니다.
  • 아주 긴 문맥은 여전히 포함 불가: n을 5나 6으로 늘려도, 결국 몇십 개 단어에 걸친 긴 의존성은 여전히 파악할 수 없습니다.

## 🦉 시험 대비 최종 요약

• n-gram 모델의 계산: 이상적인 연쇄 법칙을 '바로 앞 n-1개 단어만 보는' 현실적인 방식으로 근사하여 계산한다.
• n 선택의 Trade-off: n-gram 모델의 성능은 정확성(높은 n)과 일반화/안정성(낮은 n) 사이의 줄다리기와 같다.
• n이 작을 때 (Small n): 희소성 문제 ↓, 정확도 ↓ (문맥을 거의 못 봄)
• n이 클 때 (Large n): 정확도 ↑, 희소성 문제 ↑ (처음 보는 문장에 취약)
• 결론: 적절한 n값을 선택하는 것이 중요하며, 이 근본적인 한계 때문에 현대에는 신경망 기반 언어 모델이 주류가 되었다.

이 슬라이드들은 n-gram 모델의 치명적인 약점인 **희소성 문제(Sparsity Problem)**와 이를 해결하기 위한 스무딩(Smoothing) 기법들을 설명하고 있습니다. 시험에 단골로 출제되는 주제이니, 각 기법의 원리와 차이점을 중심으로 완벽하게 설명해 드릴게요.

## 1. 희소성 문제 (The Sparsity Problem): 왜 확률이 0이 되면 안되는가?

n-gram 모델은 학습 데이터에 등장한 횟수(카운트)를 기반으로 확률을 계산합니다. 여기서 심각한 문제가 발생합니다.

• 문제점: 학습 데이터에 단 한 번도 나오지 않은 n-gram은 확률이 0이 됩니다.
  • 예시: 슬라이드처럼 단어 집합(Vocabulary)이 {a, b, c}일 때, 가능한 bigram은 "aa, ab, ac, ba, bb, bc, ca, cb, cc" 총 9가지입니다.
  • 하지만 우리가 가진 데이터(Corpus)에 "ab", "bc", "ab", "ac"만 있다면, "aa"나 "bb" 같은 bigram은 한 번도 등장하지 않았으므로 count(aa)는 0이 됩니다.
• 치명적인 결과: 문장 전체의 확률은 연쇄 법칙에 따라 각 n-gram의 확률을 곱해서 계산됩니다. 이때, 단 하나의 n-gram이라도 확률이 0이면 문장 전체의 확률도 0이 되어버립니다.
  • 이는 문법적으로 완벽하고 의미가 통하는 문장일지라도, 학습 데이터에서 본 적 없다는 이유만으로 "절대 나타날 수 없는 문장"이라고 잘못 판단하는 결과를 낳습니다.

## 2. 스무딩 (Smoothing): 없는 것에 확률을 나눠주는 기술

스무딩은 희소성 문제를 해결하기 위한 모든 기법을 통칭하는 말입니다.

• 핵심 아이디어:
• "학습 데이터에서 관측된 n-gram들의 확률을 조금씩 깎아서, 관측되지 않은 (unseen) n-gram들에게 아주 작은 확률이라도 나눠주자!"
• 목적:
  1. 관측되지 않은 n-gram의 확률이 0이 되는 것을 방지합니다.
  2. 전체적인 확률 분포를 더 현실적이고 부드럽게(Smooth) 보정합니다.

이제 대표적인 스무딩 기법 두 가지를 살펴보겠습니다.

## 3. 스무딩 기법 1: Add-one (Laplace) Smoothing

가장 간단하고 직관적인 스무딩 방법입니다.

• 원리: "모든 종류의 n-gram 카운트에 묻지도 따지지도 않고 그냥 1을 더하자!"
• 적용:
  • count(aa)는 원래 0이었지만, Add-one 스무딩을 적용하면 0 + 1 = 1이 됩니다.
  • count(ab)는 원래 2였지만, 2 + 1 = 3이 됩니다.
• 확률 계산: 분자에 1을 더했으므로, 전체 확률의 합이 1이 되도록 분모도 보정해주어야 합니다. 분모에는 **전체 단어의 개수(V, Vocabulary size)**를 더해줍니다.
  • 수식:
  • Padd−1​(wi​∣wi−1​)=count(wi−1​)+Vcount(wi−1​,wi​)+1​
• 장점: 구현이 매우 간단하고, 절대 0이 되는 확률을 만들지 않습니다.
• 단점: 관측되지 않은 수많은 n-gram에 너무 많은 확률을 낭비합니다. 특히 단어 수가 많아질수록(V가 커질수록) 기존에 관측된 n-gram들의 확률을 너무 많이 깎아내려 분포를 심하게 왜곡할 수 있습니다.

## 4. 스무딩 기법 2: Good-Turing Smoothing

Add-one보다 훨씬 정교하고 성능이 좋은 방법입니다.

• 핵심 아이디어:특히, **"한 번 등장한(빈도=1) n-gram들의 지분을 조금 떼어다가, 한 번도 등장하지 않은(빈도=0) n-gram들에게 나눠주자"**는 개념이 핵심입니다.
• "빈도수가 c+1번인 n-gram들의 정보를 활용해서, 빈도수가 c번인 n-gram들의 확률을 재평가하자."
• 카운트 보정 수식:
  • c: 원래 카운트 (e.g., count(aa) = 0)
  • N_c: 카운트가 정확히 c번인 n-gram의 종류(type) 수
  • c*: 보정된 새로운 카운트
• c∗=(c+1)Nc​Nc+1​​
• 슬라이드 예시로 계산하기:
  1. 목표: 한 번도 안 나온 "aa"의 보정된 카운트 c* 구하기 (즉, c=0일 때)
  2. Corpus: {"ab", "bc", "ab", "ac"}
  3. N_c 계산:
     • N_1 (카운트가 1인 bigram 종류 수): "bc", "ac" 두 종류 → N_1 = 2
     • N_0 (카운트가 0인 bigram 종류 수): 전체 9개 중 3개("ab", "bc", "ac")를 제외한 여섯 종류 → N_0 = 6
  4. c* 계산 (c=0 대입):
     • c* = (0 + 1) * (N_1 / N_0) = 1 * (2 / 6) = 1/3
  5. 결과: "aa", "bb" 등 한 번도 관측되지 않은 모든 bigram의 보정된 카운트는 1/3이 됩니다. 0이 아닌 값을 가지게 되었으므로 희소성 문제가 해결됩니다.

## 🦉 시험 대비 최종 요약

• 희소성 문제: 학습 데이터에 없는 n-gram의 확률이 0이 되어, 문장 전체 확률이 0이 되는 문제.
• 스무딩: 이 문제를 해결하기 위해, 본 적 없는 n-gram에 확률을 빌려주는 모든 기법.
• Add-one 스무딩: 가장 단순한 방법. 모든 카운트에 +1을 하고 분모에 +V를 한다. 간단하지만 분포 왜곡이 심할 수 있다.
• Good-Turing 스무딩: 정교한 방법. **'c+1번 나온 종류의 수'**를 이용해 **'c번 나온 것들'**의 카운트를 재조정한다. 일반적으로 Add-one보다 성능이 우수하다.

## 1. n-gram 언어 모델의 4가지 명백한 한계

n-gram 모델은 통계적 접근법의 정수이지만, 다음과 같은 4가지 명백한 한계점을 가지고 있습니다.

1. 짧은 문맥 한계 (Short Context Limit)
   • n-gram은 마르코프 가정에 따라 바로 앞의 n-1개 단어만 보기 때문에, 문장 전체에 걸친 긴 의존 관계(Long-distance dependencies)를 파악할 수 없습니다.
   • 예시: "저 멀리 산기슭에 있는 예쁜 집에 사는 그 소녀는 행복하다." 라는 문장에서, '행복하다'의 주어는 '소녀'입니다. 하지만 Trigram 모델(n=3)은 '사는 그' 라는 단어만 보고 '행복하다'를 예측해야 하므로, 제대로 된 예측이 거의 불가능합니다.
2. 희소성 문제 (Sparsity Problem)
   • 이전에 배운 것처럼, n이 조금만 커져도 학습 데이터에 없는 n-gram이 나타날 확률이 매우 높습니다. 스무딩이나 백오프 같은 기법으로 완화할 수는 있지만, 근본적으로 해결되지는 않는 고질적인 문제입니다.
3. 의미 파악의 어려움 (No Semantic Understanding) 😭
   • n-gram 모델은 단어를 그저 기호(symbol)로 취급할 뿐, 단어의 의미나 단어 간의 유사성을 전혀 이해하지 못합니다.
   • 예시: 모델이 "고양이가 귀엽다"라는 문장을 학습했더라도, "야옹이가 귀엽다"라는 문장은 완전히 새로운 n-gram으로 취급합니다. '고양이'와 '야옹이'가 의미적으로 매우 유사하다는 사실을 알지 못합니다. 이 때문에 새로운 표현에 매우 취약합니다.
4. 높은 메모리/계산량 (High Memory/Computation)
   • 모델은 학습 데이터에 등장한 모든 n-gram의 카운트를 사전처럼 저장해야 합니다. 데이터가 커지거나 n값이 커지면 이 사전의 크기가 기하급수적으로 커져 엄청난 메모리 공간을 차지합니다.

## 2. 희소성 문제 해결을 위한 고급 기법들

이러한 한계, 특히 희소성 문제를 해결하기 위해 다음과 같은 더 정교한 기법들이 개발되었습니다.

1) Kneser-Ney Smoothing: '맥락 다양성'의 발견

가장 성능이 좋다고 알려진 표준적인 스무딩 기법입니다.

• 핵심 아이디어: 단순히 얼마나 자주 등장했는지(카운트)만 보지 말고, 얼마나 다양한 문맥에서 등장했는지(Context Diversity)를 함께 고려하자!
• 직관적 예시:
  • "Francisco": 이 단어는 거의 항상 "San" 뒤에만 나타납니다. 즉, 등장하는 문맥이 매우 한정적입니다.
  • "book": 이 단어는 "read a", "interesting", "buy the" 등 매우 다양한 단어 뒤에 나타날 수 있습니다.
• 결론: Kneser-Ney 스무딩은 "book"처럼 다양한 문맥에서 등장하는 단어가, "Francisco"처럼 특정 문맥에만 갇혀있는 단어보다 새로운 문맥에서도 등장할 확률이 더 높다고 보고 확률을 보정합니다. 이로써 훨씬 더 현실적인 확률 분포를 만들어냅니다.

2) 백오프 (Backoff): '플랜 B' 전략

스무딩과는 약간 다른 접근법입니다.

• 핵심 아이디어: 일단 가장 정보가 많은 긴 n-gram(e.g., Trigram)으로 확률을 계산해보고, 만약 카운트가 0이면 더 짧은 n-gram(e.g., Bigram)으로 물러나서(back off) 확률을 추정하자.
• 작동 방식 (폭포수 모델):
  1. Try Trigram: P(C | A, B)를 계산 시도.
  2. If Fails (count=0): Back off to Bigram. P(C | B)를 대신 사용.
  3. If Fails (count=0): Back off to Unigram. P(C)를 대신 사용.
• 특징: 한 번에 하나의 모델만 사용합니다. 긴 n-gram이 실패했을 때를 대비한 '비상 계획'과 같습니다.

3) 내삽 (Interpolation): '전문가 믹스' 전략

백오프와 비슷하지만, 더 세련된 방식입니다.

• 핵심 아이디어: 긴 n-gram과 짧은 n-gram을 모두 사용하되, 각각의 예측 결과를 가중치를 두어 섞어주자(blend).
• 작동 방식 (가중 평균):
  • 최종 확률 = λ₁ * P(Trigram) + λ₂ * P(Bigram) + λ₃ * P(Unigram)
  • λ (람다)는 각 모델의 예측을 얼마나 신뢰할지를 나타내는 가중치이며, λ₁ + λ₂ + λ₃ = 1 입니다.
• 특징: 특정 n-gram 정보가 없더라도 다른 n-gram들의 정보를 모두 활용하므로, 백오프보다 더 안정적이고 부드러운 확률을 추정할 수 있습니다.

## 🦉 시험 대비 최종 요약

• n-gram의 4대 한계: 짧은 문맥, 희소성, 의미 이해 불가, 높은 메모리 사용량. 이 단점들 때문에 신경망 모델이 필요해졌습니다.
• Kneser-Ney Smoothing: 가장 정교한 스무딩. 단순 카운트가 아닌 **'맥락 다양성'**을 고려합니다.
• Backoff vs. Interpolation:
  • 백오프: 하나만 선택. 긴 n-gram이 실패하면 짧은 n-gram으로 물러나는 방식.
  • 내삽(Interpolation): 모두 섞어서 사용. 긴 n-gram과 짧은 n-gram의 예측 결과를 가중 평균 내는 방식.

## 1. 언어 모델(Language Model)의 핵심 개념

슬라이드 아래쪽의 '개념' 섹션부터 살펴보겠습니다. 언어 모델이 무엇인지에 대한 정의입니다.

1. "자연어 입력 -> '통계학적'으로 가장 적절한 출력값을 찾아내는 모델"
   • 설명: 언어 모델은 사람이 쓰는 말(자연어)을 컴퓨터가 이해하고 처리할 수 있도록 만든 모델입니다. 이때, 정답이 하나로 정해진 규칙 기반이 아니라, 방대한 텍스트 데이터를 학습해서 통계적으로 가장 확률이 높은 단어나 문장을 찾아냅니다.
   • 예시: "저는 오늘 아침에 맛있는 사과를" 이라는 문장 다음에 올 단어를 예측할 때, 데이터상 '먹었어요'가 '달렸어요'보다 훨씬 많이 나왔기 때문에 '먹었어요'가 더 적절하다고 판단하는 식입니다.
2. "단어 시퀀스에 '확률'을 할당하는 모델: 단어 시퀀스가 얼마나 자연스러운지 평가"
   • 설명: 언어 모델의 핵심 기능은 문장의 자연스러움을 확률로 평가하는 것입니다. 문법에 맞고 의미가 통하는 문장일수록 높은 확률값을 가집니다.
   • 예시:
     • P("나는 학교에 갑니다") -> 높은 확률 (자연스러운 문장)
     • P("학교에 나는 갑니다 나는") -> 낮은 확률 (어색한 문장)
   • 응용: 이 원리를 이용해 번역기나 챗봇이 여러 후보 문장 중 가장 자연스러운 문장을 선택하게 됩니다.
3. "언어 모델링: 주어진 단어들로부터 아직 모르는 단어를 예측하는 작업"
   • 설명: 이것이 바로 언어 모델을 훈련시키는 가장 기본적인 작업입니다. 앞 단어들이 주어졌을 때, 빈칸에 들어갈 다음 단어를 맞추는 퀴즈를 계속 푸는 것과 같습니다.
   • 예시: "공부를 열심히 하면 시험에..." 라는 문장에서 빈칸에 '합격할' 이라는 단어를 예측하는 작업입니다.
4. "최종 태스크 해결을 위한 네트워크 구조 및 학습목표 정의에 활용"
   • 설명: 언어 모델은 그 자체로도 쓰이지만, 다른 더 복잡한 인공지능 모델의 '기초 두뇌' 역할을 합니다. 예를 들어, 감성 분석, 챗봇, 기계 번역 같은 특정 작업을(Final Task) 해결하기 위해 미리 잘 훈련된 언어 모델(Pretrained Model)을 가져와서 약간만 추가 학습(Fine-tuning)시켜 사용하는 경우가 많습니다.

## 2. 언어 모델의 발전 과정

슬라이드 가장 아래에 있는 기술의 흐름입니다. 시험에 순서나 각 모델의 특징을 묻기 좋습니다.

• 통계 기반: n-gram
  • 개념: 단어들의 순서를 n개씩 묶어서 그 등장 횟수를 세는 방식입니다. 예를 들어, 2-gram(bigram)은 두 단어씩, 3-gram(trigram)은 세 단어씩 묶어서 확률을 계산합니다.
  • 한계: n개의 단어만 고려하므로 문맥을 넓게 파악하지 못하고, 학습 데이터에 한 번도 등장하지 않은 단어 조합은 확률이 0이 되는 **'희소성 문제(Sparsity Problem)'**가 있습니다.
• 인공신경망 기반: Neural LM → Seq2Seq → Attention → Pretrained Models → LLM
  • Neural LM (신경망 언어 모델): n-gram의 한계를 극복하기 위해 등장했습니다. 단어를 벡터(숫자의 배열)로 표현(임베딩)하여 단어 간의 의미적 유사성을 학습하고, 더 긴 문맥을 이해할 수 있게 되었습니다.
  • Seq2Seq (시퀀스-투-시퀀스): 문장 같은 시퀀스(Sequence)를 입력받아 번역문 같은 다른 시퀀스를 출력하는 구조입니다. 인코더와 디코더로 구성되며, 기계 번역 분야에 큰 발전을 가져왔습니다.
  • Attention (어텐션): Seq2Seq 모델의 성능을 획기적으로 개선한 메커니즘입니다. 번역할 때 문장의 특정 단어에 더 '집중(Attention)'해서 관련성 높은 정보를 활용하도록 만들어, 긴 문장의 번역 품질을 크게 높였습니다. 현대 언어 모델의 가장 핵심적인 기술 중 하나입니다.
  • Pretrained Models (사전학습 모델): 거대한 데이터로 미리 훈련된 범용 언어 모델입니다. (예: BERT, GPT) 이 모델들을 특정 작업에 맞게 약간만 추가 학습(미세 조정, Fine-tuning)하면 높은 성능을 낼 수 있어 효율적입니다.
  • LLM (거대 언어 모델): 사전학습 모델의 규모(파라미터, 데이터)를 엄청나게 키운 모델들입니다. (예: GPT-3, GPT-4)

## 3. 언어 모델 예시: ELMo

슬라이드 위쪽의 ELMo 모델에 대한 설명입니다.

• ELMo (Embeddings from Language Models)
  • 핵심 특징: '깊은 문맥을 반영한 단어 표현' (Deep Contextualized Word Representations)
  • 설명: ELMo 이전의 Word2Vec 같은 모델들은 'bank'라는 단어가 '강둑'이든 '은행'이든 항상 같은 벡터값을 가졌습니다. 하지만 ELMo는 문장 전체의 문맥을 파악해서 같은 단어라도 문맥에 따라 다른 벡터값을 부여합니다. 이것이 바로 '문맥화된 임베딩(Contextualized Embedding)'이며, 언어 모델 역사에서 매우 중요한 혁신입니다.
  • 작동 방식:
    1. 양방향 LSTM (bi-LSTM): 문장을 처음부터 끝으로 (the → mat) 한 번, 그리고 끝에서 처음으로 (mat → the) 또 한 번, 총 두 방향으로 읽습니다.
    2. 결합: 이 두 방향의 정보를 모두 합쳐서 각 단어의 의미를 최종적으로 결정합니다. 덕분에 단어의 앞뒤 문맥을 모두 풍부하게 이해할 수 있게 됩니다.
    3. 수식 log p(word | all words before word): 이것은 정방향 언어 모델의 목표를 나타냅니다. 즉, '이전 단어들이 주어졌을 때 현재 단어가 나타날 로그 확률'을 최대화하며 학습한다는 의미입니다. ELMo는 정방향과 역방향 모델을 함께 사용합니다.

## 🦉 시험 대비 최종 요약 (핵심 암기 포인트)

• 언어 모델이란? 문장의 확률을 계산하고, 다음 단어를 예측하는 통계적 모델.
• 언어 모델의 역할: 문장이 얼마나 자연스러운지 확률로 평가한다.
• n-gram vs. 신경망: n-gram은 단어 빈도수 기반, 신경망은 단어의 의미와 문맥을 벡터로 학습.
• ELMo의 가장 큰 기여: **'문맥을 이해하는' 단어 벡터(임베딩)**를 만들었다. (양방향 학습 덕분)
• 현대 언어 모델의 핵심: Attention 메커니즘과 사전학습(Pre-training) 패러다임.

언어 모델의 두 가지 핵심 역할과, 그 역할이 실제로 어떻게 응용되는지에 대한 예시들입니다.

## 1. 언어 모델의 두 가지 핵심 역할 (Two Core Roles of a Language Model)

언어 모델을 훈련하고 사용하는 방식은 크게 두 가지로 나눌 수 있습니다. 이 둘의 차이점은 시험에 나올 확률이 매우 높으니 꼭 구분해서 알아두세요.

1) 다음 단어 예측 (Next Word Prediction)

• 개념: 문장의 앞부분이 주어졌을 때, 바로 다음에 올 단어를 맞추는 방식입니다. 마치 문장 이어가기 퀴즈와 같습니다.
• 예시: "오늘 점심 메뉴는..." 이라는 문장을 주고, 다음에 올 단어인 "김치찌개"를 예측하도록 학습시킵니다.
• 대표 모델: GPT 계열의 모델들이 이 방식을 사용합니다. 그래서 글을 생성하고, 질문에 답하고, 대화를 이어가는 등의 작업(생성 모델)에 강점을 보입니다.
• 슬라이드 표현: "이전 단어들이 주어졌을 때 다음 단어 예측"

2) 마스크된 단어 예측 (Masked Language Modeling, MLM)

• 개념: 문장 중간에 무작위로 구멍(Mask)을 뚫어놓고, 그 빈칸에 들어갈 원래 단어를 맞추는 방식입니다. 영어 빈칸 채우기 문제와 똑같습니다.
• 예시: "오늘 점심 메뉴는 [MASK]입니다." 라는 문장을 주고, [MASK] 토큰에 "김치찌개"가 들어가야 함을 맞추도록 학습시킵니다.
• 핵심 특징: 다음 단어만 보는 것이 아니라, 빈칸의 앞뒤 문맥을 모두 동시에 고려해서 단어를 예측합니다. 따라서 문장의 전체적인 의미를 이해하는 능력이 뛰어납니다.
• 대표 모델: BERT 계열의 모델들이 이 방식을 사용하며, 문장의 의미를 파악해 분류하거나 분석하는 작업에 특히 강력합니다.
• 슬라이드 표현: "가운데 빈 칸에 해당하는 단어 예측"

## 2. 확률 할당을 통한 언어 모델의 응용 (Applications of Language Models via Probability Assignment)

이제 언어 모델이 '가장 자연스러운 문장에 높은 확률을 부여하는' 핵심 원리를 이용해 어떤 문제들을 해결하는지 살펴보겠습니다. 모든 예시의 공통점은 **"여러 후보 중, 언어 모델이 가장 자연스럽다고 판단(가장 높은 확률을 부여)하는 것을 정답으로 선택한다"**는 것입니다.

1) 기계 번역 (Machine Translation)

• 상황: "I took the bus." 라는 문장을 번역해야 합니다. 영어 단어 'take'는 '타다', '가지고 가다', '태우다' 등 다양한 뜻을 가집니다.
• 언어 모델의 역할: 번역기는 가능한 후보 문장들을 만듭니다.
  • 후보 1: "나는 버스를 탔다."
  • 후보 2: "나는 버스를 태웠다." (내가 운전해서 다른 사람을 태워준다는 의미)
• 확률 비교: 언어 모델이 두 문장의 자연스러움을 평가합니다. 일반적으로 '버스를 타다'라는 표현이 '버스를 태우다'보다 훨씬 자연스럽고 흔하게 쓰입니다.
  • P(나는 버스를 탔다) > P(나는 버스를 태웠다)
• 결과: 확률이 더 높은 "나는 버스를 탔다."가 최종 번역문으로 선택됩니다.

2) 오타 교정 (Spell Correction)

• 상황: 사용자가 "오늘 날시가 좋다." 라고 오타를 입력했습니다.
• 언어 모델의 역할: 오타 교정기는 '날시'와 비슷한 단어들을 후보로 올립니다.
  • 후보 1: "오늘 날시가 좋다."
  • 후보 2: "오늘 날씨가 좋다."
• 확률 비교: 언어 모델이 두 문장의 자연스러움을 평가합니다. '날씨'는 한국어에 없는 단어이므로 문맥상 매우 어색합니다.
  • P(오늘 날가 좋다) < P(오늘 날씨가 좋다)
• 결과: 확률이 훨씬 높은 "오늘 날씨가 좋다."를 올바른 문장으로 판단하여 오타를 수정해 줍니다.

3) 음성 인식 (Speech Recognition)

• 상황: 주변 소음 등으로 인해 음성 인식이 불분명할 때, 발음이 비슷한 단어들 사이에서 혼동이 생깁니다. 예를 들어 "나는 메론을 먹는다" 라는 음성이 들어왔는데, 시스템은 '메론'과 '메롱'을 헷갈려 합니다.
• 언어 모델의 역할: 인식된 소리를 바탕으로 가능한 텍스트 후보들을 만듭니다.
  • 후보 1: "나는 메론을 먹는다."
  • 후보 2: "나는 메롱을 먹는다."
• 확률 비교: 언어 모델이 두 문장이 얼마나 말이 되는지를 평가합니다. '메론(과일)을 먹는 것'은 매우 상식적이고 자연스러운 행동입니다. 반면 '메롱(장난)을 먹는 것'은 의미가 통하지 않습니다.
  • P(나는 메론을 먹는다) > P(나는 메롱을 먹는다)
• 결과: 의미상 확률이 높은 "나는 메론을 먹는다."가 최종 인식 결과로 선택됩니다.

4) 정보 검색 (Information Retrieval/Search)

• 상황: 사용자가 검색창에 "비행기 예약" 이라고 입력합니다.
• 언어 모델의 역할: 이것은 다음 단어 예측(Next Word Prediction) 역할의 직접적인 응용입니다. 언어 모델은 "비행기 예약" 다음에 사람들이 가장 많이 검색했던, 즉 이어질 확률이 가장 높은 단어들을 예측하여 추천해 줍니다.
• 확률 비교 및 추천:
  • "비행기 예약" 다음 단어 후보: 사이트, 방법, 가격, 이벤트 ...
  • 이 중 가장 확률이 높은 단어들을 순서대로 보여주는 것이 자동 완성 기능입니다.
• 결과: 사용자는 타이핑을 덜 하고도 원하는 검색어를 더 빠르고 정확하게 완성할 수 있습니다.

## 🦉 시험 대비 최종 요약 (Key Exam Takeaways)

• 언어 모델의 2대 학습법:
  • GPT 계열 (생성): 다음 단어 예측 (문장 이어가기)
  • BERT 계열 (이해): 마스크된 단어 예측 (빈칸 채우기, 양방향 문맥 이해)
• 언어 모델의 핵심 응용 원리:
  • 여러 가능한 후보(번역문, 교정 단어, 인식 결과)를 생성한다.
  • 언어 모델이 각 후보의 자연스러움을 확률로 계산한다.
  • 가장 높은 확률을 가진 후보를 최종 결과로 선택한다.
  • 이 원리는 기계 번역, 오타 교정, 음성 인식 등 다양한 분야에서 정확도를 높이는 데 결정적인 역할을 한다.

## 1. "자연스러움"의 재정의와 수학적 접근

✅ 핵심 개념 복습 및 추가

이전 슬라이드에서 언어 모델은 문장의 '자연스러움'을 평가한다고 배웠습니다. 첫 번째 슬라이드는 여기에 중요한 단서를 하나 더 추가합니다.

• "자연스럽다"는 것은 태스크(task) 및 사람의 의도에 따라 다르게 정의된다.
  • 설명: 이 말은 '자연스러움'의 기준이 절대적이지 않다는 뜻입니다. 예를 들어,
    • 챗봇: 친구처럼 친근하고 짧은 문장이 '자연스러운' 문장입니다.
    • 논문 요약: 학술적이고 객관적인 문체가 '자연스러운' 문장입니다.
    • 법률 문서: 딱딱하고 논리적인 문체가 '자연스러운' 문장입니다.
  • 핵심: 즉, 언어 모델은 주어진 목적에 맞는 가장 적절한 문장을 찾아내도록 훈련됩니다.

✅ 자연스러움을 숫자로 바꾸기: 조건부 확률

컴퓨터는 '자연스럽다'는 추상적인 개념을 이해하지 못합니다. 그래서 이것을 **'확률(Probability)'**이라는 숫자로 바꿔서 계산합니다.

• 조건부 확률 (Conditional Probability)로 표현 가능
  • 설명: 언어 모델의 핵심 아이디어입니다. 문장의 자연스러움은 **"이전 단어들이 주어졌을 때, 특정 단어가 다음에 등장할 확률"**을 계산함으로써 측정할 수 있습니다.
  • 예시: "나는 버스를" 이라는 단어들이 주어졌을 때, 다음에 "탔다"가 나올 확률은 높고, "날았다"가 나올 확률은 매우 낮을 것입니다. 이 확률값이 바로 그 문장의 자연스러움을 나타내는 척도(기준)가 됩니다.

## 2. 언어 모델의 핵심 수식 완전 정복 📐

이제 언어 모델이 문장 전체의 자연스러움을 어떻게 계산하는지 그 공식을 살펴보겠습니다. 여기가 가장 중요합니다!

✅ 문장 확률 P(W)와 확률의 연쇄 법칙 (Chain Rule)

우리의 목표는 문장 전체(W)가 나타날 확률, 즉 P(W)를 구하는 것입니다.

• 정의:
  • 하나의 문장(단어 시퀀스) W는 n개의 단어로 이루어져 있습니다:* 문장 전체의 출현 확률은 모든 단어가 순서대로 함께 나타날 **결합 분포(Joint Distribution)**로 표현됩니다:
  • P(W)=P(w1​,w2​,...,wn​)
  • W={w1​,w2​,...,wn​}
• 핵심 공식 (확률의 연쇄 법칙): 문장 전체의 확률 P(W)는 각 단어의 조건부 확률을 순서대로 모두 곱한 값과 같습니다.
  • Π (파이): 이 기호는 모든 항을 곱하라는 의미입니다.
  • P(w_i | w_1, ..., w_{i-1}): 1번째부터 i-1번째 단어까지 등장했을 때, i번째 단어가 등장할 조건부 확률입니다.
• P(W)=i=1∏n​P(wi​∣w1​,...,wi−1​)
• 예시로 쉽게 이해하기: "I love you" 라는 문장의 확률을 계산해 봅시다.
  • W = {I, love, you}
  • P(I love you) = P(I) * P(love | I) * P(you | I, love)
  이 공식의 의미는 다음과 같습니다.
  1. P(I): 문장이 "I"로 시작할 확률.
  2. P(love | I): 문장이 "I"로 시작했을 때, 다음 단어가 "love"일 확률.
  3. P(you | I, love): 문장이 "I love"로 시작했을 때, 다음 단어가 "you"일 확률.
  이 세 확률을 모두 곱하면 "I love you"라는 문장 전체의 자연스러움(확률)을 계산할 수 있습니다.

## 3. 조건부 확률 복습 및 NLP에서의 활용

슬라이드 마지막 부분은 조건부 확률의 기본 정의와 NLP에서의 의미를 설명합니다.

• 조건부 확률의 정의:
  • 사건 B가 이미 일어났다고 가정했을 때, 사건 A가 일어날 확률
  • 수식:
  • P(A∣B)=P(B)P(A,B)​
• NLP에서의 활용 (이것이 핵심!):
  • B (조건): 문맥 (Context), 즉 이전에 등장한 단어들 (w_1, ..., w_{i-1})
  • A (사건): 새로운 단어 (New Word), 즉 다음에 등장할 단어 (w_i)
  결국, 언어 모델은 주어진 문맥(B) 하에서 새로운 단어(A)가 나타날 확률 P(A|B)을 계산하는 모델이라고 할 수 있습니다. 이는 언어가 순차적인(sequential) 특성을 가지기 때문에 가능한 접근 방식입니다.

## 🦉 시험 대비 최종 요약 (Key Exam Takeaways)

• 자연스러움 = 확률: 언어 모델에게 '자연스럽다'는 것은 곧 **'확률이 높다'**는 의미입니다.
• 핵심 계산 도구: 조건부 확률 P(다음 단어 | 이전 단어들)
• 문장 전체 확률 계산법: **확률의 연쇄 법칙(Chain Rule)**을 사용하여, 각 단계의 조건부 확률을 처음부터 끝까지 모두 곱합니다. (P(W) = P(w1) * P(w2|w1) * P(w3|w1,w2) * ...)
• 조건부 확률 P(A|B)와 NLP의 관계:
  • B는 문맥(Context)
  • A는 새로운 단어(New Word)

## 1. 확률의 연쇄 법칙 (Chain Rule): 문장을 확률로 분해하기

첫 번째 슬라이드는 문장 전체의 확률을 어떻게 계산하는지 다시 한번 보여줍니다.

• 핵심 원리: 문장 전체가 등장할 확률은, 각 단어가 이전 문맥 하에서 등장할 조건부 확률들을 모두 곱한 것과 같습니다.
• 수식:
• P(w1​,w2​,...,wn​)=P(w1​)P(w2​∣w1​)P(w3​∣w1​,w2​)...P(wn​∣w1​,...,wn−1​)
• 슬라이드 예시 분석: "아침에 버스를 타고 학교에 왔다"라는 문장의 확률 계산
  • 이 문장의 자연스러움(확률)은 아래 5개 확률의 곱으로 계산됩니다.
    1. P(아침에): 문장이 '아침에'로 시작할 확률
    2. P(버스를 | 아침에): '아침에' 다음에 '버스를'이 나올 확률
    3. P(타고 | 아침에 버스를): '아침에 버스를' 다음에 '타고'가 나올 확률
    4. P(학교에 | 아침에 버스를 타고): '아침에 버스를 타고' 다음에 '학교에'가 나올 확률
    5. P(왔다 | 아침에 버스를 타고 학교에): '아침에 버스를 타고 학교에' 다음에 '왔다'가 나올 확률
• 🔑 최종 결론: 이 곱셈의 결과, 즉 최종 확률값이 높을수록 우리 모델은 이 문장을 **"더 자연스럽다"**고 평가합니다.

## 2. 통계 기반 언어 모델: 확률을 '카운트'로 계산하기

그렇다면 P(타고 | 아침에 버스를) 같은 조건부 확률 값은 어떻게 알아낼까요? 통계 기반 언어 모델(n-gram 모델 등)은 아주 간단한 방법을 사용합니다. 바로 전체 텍스트 데이터(Corpus)에서 직접 단어의 등장 횟수(카운트)를 세는 것입니다.

• 핵심 계산 공식:
• P(wt​∣w1​,...,wt−1​)=count(w1​,...,wt−1​)count(w1​,...,wt−1​,wt​)​
• 공식 해설:
  • 분모 count(w_1, ..., w_{t-1}): 문맥에 해당하는 단어 뭉치 (예: "아침에 버스를")가 전체 데이터에서 총 몇 번 등장했는가?
  • 분자 count(w_1, ..., w_{t-1}, w_t): 그 문맥 뒤에 우리가 궁금해하는 다음 단어(예: "타고")까지 붙은 전체 뭉치 (예: "아침에 버스를 타고")가 총 몇 번 등장했는가?
• 쉬운 예시: P(cream | ice)를 계산해 봅시다.
  1. 데이터 전체에서 "ice"라는 단어가 총 1000번 나왔다고 가정합니다. (count(ice) = 1000)
  2. 그중에서 "ice" 바로 다음에 "cream"이 나온 경우, 즉 "ice cream"이 총 800번 나왔다고 가정합니다. (count(ice cream) = 800)
  3. 계산 결과: P(cream | ice) = 800 / 1000 = 0.8 (80%) 이 됩니다.

## 3. 통계 기반 모델의 치명적 한계: 희소성 문제 (Sparsity Problem) 😥

카운트 기반 방식은 직관적이고 간단하지만, 매우 치명적인 약점을 가지고 있습니다.

• 문제점: 문장이 조금만 길어져도, 해당 문장이 학습 데이터에 한 번도 등장하지 않았을 확률이 매우 높습니다.
  • 예시: P(왔다 | 아침에 버스를 타고 학교에)를 계산하려면, 분모인 count(아침에 버스를 타고 학교에) 값을 알아야 합니다. 하지만 우리가 가진 수많은 책과 뉴스 기사 데이터 전체를 뒤져봐도 "아침에 버스를 타고 학교에"라는 구절이 정확히 똑같이 등장한 적이 한 번도 없을 수 있습니다.
• 결과 (희소성 문제):
  1. 분모가 0이 되는 문제: 문맥에 해당하는 구절이 데이터에 없으면 count가 0이 되어 확률 계산 자체가 불가능해집니다. (0으로 나누기 오류)
  2. 분자가 0이 되는 문제: 문맥은 있었지만 그 다음에 특정 단어가 온 적이 없다면, 확률이 0이 됩니다. 이는 문법적으로 완벽한 문장이라도 처음 보는 문장이면 부자연스럽다고 판단해버리는 심각한 문제를 낳습니다.
• 결론: 이 희소성 문제 때문에 통계 기반 언어 모델은 처음 보는 문장이나 긴 문장에 대한 일반화 성능이 매우 떨어집니다. 이것이 바로 현대 언어 모델들이 단순히 카운트하는 대신, 단어의 의미를 벡터로 학습하는 신경망(Neural Network) 기반으로 발전하게 된 가장 중요한 이유입니다.

## 🦉 시험 대비 최종 요약

• 연쇄 법칙 (Chain Rule): 문장 전체의 확률을 구하기 위해 조건부 확률들을 곱하는 수학적 규칙.
• 통계 기반 모델의 계산법: 조건부 확률을 단어 등장 횟수를 세서 (카운트 기반으로) 계산한다. (분자: 전체 시퀀스 카운트 / 분모: 문맥 시퀀스 카운트)
• 희소성 문제 (Sparsity Problem): 통계 기반 모델의 가장 큰 단점. 문장이 길어지면 데이터에 해당 구절의 카운트가 0이 되어, 처음 보는 문장에 대한 확률 계산이 불가능하거나 부정확해진다. 이 문제를 해결하기 위해 신경망 언어 모델이 등장했다.