20250825 강희숙 강사님

NLP 알고리즘 변천사

1. DNN (Deep Neural Network)

DNN은 여러 개의 은닉층을 가진 신경망으로, 순서가 없는 정적인 데이터를 분류하는 데 주로 사용된다.

순차적인 데이터의 문맥을 이해하지 못하는 한계가 있다.

2. RNN (Recurrent Neural Network)

RNN은 순서가 있는 데이터를 처리하도록 설계되었다.

이전 단계의 정보를 다음 단계로 전달하는 순환 구조를 통해 문장과 같이 순서가 중요한 데이터를 다룬다.

문장이 길어지면 초반의 중요한 문맥 정보가 뒤로 갈수록 희미해지는 기울기 소실(Vanishing Gradient) 문제가 발생하며, 병렬 처리가 어려워 학습 속도가 느리다는 한계가 있다.

3. LSTM (Long Short-Term Memory)

LSTM은 RNN의 장기 의존성 문제를 해결하기 위해 고안되었다.

'셀 상태(Cell State)'와 세 가지 게이트를 도입하여 중요한 정보를 기억하고 불필요한 정보를 잊어버리는 기능을 수행한다.

RNN보다는 복잡하지만, 여전히 순차적인 계산을 하기 때문에 병렬 처리가 어렵다.

셀 상태 (Cell State)

셀 상태는 LSTM 내부의 기억 경로 역할을 한다.

마치 컨베이어 벨트처럼 문장이 진행되는 동안 과거의 정보를 계속해서 실어 나른다.

이 경로는 LSTM의 세 가지 게이트에 의해 정보가 추가되거나 삭제되면서 내용이 업데이트된다.

세 가지 게이트 (Gates)

게이트는 셀 상태에 어떤 정보를 통과시킬지, 어떤 정보를 차단할지 결정하는 일종의 제어 장치다.