대표적인 Sequence data 처리 모델 (RNN - Seq2Seq)

안녕하세요. 이번 포스팅에서는 대표적인 Sequence data 처리 모델인 RNN과 Gate RNN(LSTM, GRU), Seq2Seq에 대해 알아보겠습니다. (Gate RNN은 RNN에 게이트(입력, 망각, 출력)를 추가한 것이고 대표적으로는 LSTM, GRU가 있다)

 

우선 각 모델의  

RNN(Recurrent Neural Network)과 LSTM(Long Short-Term Memory)은 순환 신경망의 두 가지 주요 형태로, 시퀀스 데이터를 처리하는 데 널리 사용됩니다. 각각의 특징과 차이점을 살펴보겠습니다.

• RNN: 매 시점마다 이전 단계의 hidden state를 사용하여 다음 hidden state를 생성.
• Gate RNN (1997): 시간이 지날수록 이전 정보를 잃어버리는 RNN의 장기 의존성 문제를 해결하기 위해, Gate(입력, 망각, 출력) 구조를 도입.
• Seq2Seq (2014): 기존 LSTM은 긴 Sequence에 대해서 성능이 저하되는 문제가 있었는데, 인코더-디코더(Encoder-Decoder)와 고정된 크기의 Context Vector를 도입해서 복잡한 시퀀스 변환 작업에 유용.
• Attention Mechanism (2014): Seq2Seq에서 디코더가 입력 Sequence의 특정 부분에 Attention 도입. 생성하는 단어마다 입력 시퀀스의 관련 부분에 더 중점을 두도록 함. 
• Transformer (2017)

 

 

RNN(Recurrent Neural Network)의 특징:

1. 시간적 순서 정보 처리: RNN은 시퀀스 데이터를 처리할 때 이전 단계의 정보 Hidden state를 기억하여 현재 단계의 출력에 영향을 준다. 그리고  각 시간 단계에서의 입력과 이전 단계의 은닉 상태(hidden state)가 결합되어 현재 단계의 은닉 상태를 생성합니다.
2. 내부 메모리 사용: 각 단계에서의 계산은 이전 단계의 내부 상태(hidden state)를 사용합니다.
3. 가변 길이 입력 처리: 다양한 길이의 입력 시퀀스를 처리할 수 있습니다.
4. 단순한 구조: 기본 RNN은 매우 간단한 구조를 가지고 있어 구현이 용이합니다.

LSTM(Long Short-Term Memory)의 특징:

1. 장기 의존성 문제 해결: LSTM은 RNN의 장기 의존성 문제를 해결하기 위해 고안되었습니다.
2. 게이트 메커니즘: (입력, 망각, 출력 게이트)를 통해 정보 흐름을 조절합니다. 
3. 상태 유지: LSTM은 장기 상태(long-term state)와 단기 상태(short-term state) 두 가지 상태를 유지해서 장기 의존성 문제를 해결 가능
4. 복잡한 구조: LSTM은 기본 RNN에 비해 더 복잡한 구조를 가지고 있어 구현이 어렵습니다.

RNN과 LSTM의 주요 차이점:

1. 장기 의존성 처리 능력: 기본 RNN은 시간이 지날수록 이전 정보를 잃어버리는 장기 의존성 문제(long-term dependencies problem)를 가집니다. 반면, LSTM은 이 문제를 해결하기 위한 특별한 구조(게이트)를 갖추고 있어 장기적인 정보를 효과적으로 기억할 수 있습니다.
2. 구조적 복잡성: LSTM은 RNN에 비해 구조적으로 복잡합니다. LSTM은 입력, 망각, 출력 게이트 등 추가적인 메커니즘을 포함하고 있어서, 이를 통해 정보 흐름을 더 세밀하게 제어할 수 있습니다.

결론적으로, RNN은 간단한 시퀀스 처리에 적합하지만 장기 의존성 문제를 가지고 있으며, LSTM은 이러한 장기 의존성 문제를 해결할 수 있지만 구조가 더 복잡합니다.

 

 

 

Seq2Seq 모델은 2014년에 Ilya Sutskever, Oriol Vinyals, Quoc V. Le에 의해 Google에서 "Sequence to Sequence Learning with Neural Networks"라는 논문을 통해 처음 소개되었습니다. 이 모델은 두 개의 LSTM 네트워크를 사용하여 입력 시퀀스를 처리하는 인코더와 출력 시퀀스를 생성하는 디코더로 구성되어 있었습니다.

또한 Seq2Seq은 인코더-디코더를 최초로 제안한 논문이다. 

 

Seq2Seq 다음 Attention이다. Attention mechanism 논문에서는 Seq2Seq 모델에 Attention 메커니즘을 추가하여 기계 번역의 성능을 크게 향상시킴. 

 

 

1. 인코더-디코더 구조: Seq2Seq 모델은 두 주요 부분, 즉 인코더와 디코더로 구성됩니다. 인코더는 입력 시퀀스를 압축해서 고정된 크기의 컨텍스트 벡터(context vector)로 변환하고, 디코더는 이 컨텍스트 벡터를 사용하여 출력 시퀀스를 생성합니다.
2. 시퀀스 처리 능력: 이 모델은 시간적으로 연결된 Sequence data, 예를 들어 텍스트, 음성, 시계열 데이터 등을 처리하는 데 적합합니다.
3. 변동하는 입력/출력 길이 처리: Seq2Seq 모델은 입력과 출력 시퀀스의 길이가 서로 다를 수 있는 경우에 유용합니다. 예를 들어, 번역에서는 소스 문장과 타겟 문장의 길이가 다를 수 있습니다.
4. 컨텍스트 벡터의 중요성: 인코더는 입력 시퀀스의 전체 정보를 컨텍스트 벡터로 압축합니다. 디코더는 이 벡터를 사용하여 출력 시퀀스를 생성하기 때문에, 컨텍스트 벡터의 질이 모델의 성능에 큰 영향을 미칩니다.
5. Attention Mechanism: 초기의 Seq2Seq 모델은 긴 시퀀스에 대해 성능이 저하되는 문제가 있었습니다. Attention 메커니즘은 디코더가 인코더의 각 스텝에서 생성된 정보에 접근할 수 있게 하여 이 문제를 해결합니다.
6. 다양한 응용 분야: 기계 번역, 텍스트 요약, 질의 응답 시스템, 음성 인식 등 다양한 NLP 작업에 널리 사용됩니다.
7. 모델 복잡도: Seq2Seq 모델은 종종 순환 신경망(RNN), 특히 LSTM(Long Short-Term Memory) 또는 GRU(Gated Recurrent Units)를 사용합니다. 이로 인해 모델이 복잡해지고, 학습하는 데 많은 데이터와 시간이 필요할 수 있습니다.