LLM
2024. 11. 24.
대규모 언어 모델 (LLM) 기본 정리
대규모 언어 모델 (LLM) 이란?대규모 언어 모델 (Large Language Model, LLM)은 대규모 텍스트 데이터셋으로 학습된 인공지능 모델입니다. 인간의 언어를 이해하고 생성하는 능력을 갖추고 있으며, 자연어 처리(NLP) 분야에서 혁신을 가져오고 있습니다.LLM의 핵심 구성 요소 및 학습 과정LLM은 일반적으로 트랜스포머(Transformer) 아키텍처를 기반으로 합니다. 트랜스포머 모델은 어텐션(Attention) 메커니즘을 사용하여 문장 내 단어들 간의 관계를 효율적으로 학습합니다.학습 과정:사전 학습 (Pre-training): 대규모의 다양한 텍스트 데이터(웹 문서, 책, 대화 등)를 사용하여 모델이 언어의 통계적 패턴, 문법, 사실 등을 학습합니다. 이 단계에서는 주로 다음 단어 ..
