이미지가 공간 구조를 가진다면, 텍스트·시계열·음성·로그는 순서(시퀀스) 구조를 가진다. 이전 입력이 다음 출력에 영향을 주는 이런 데이터에는 순환 신경망(RNN)과 그 발전형, 그리고 오늘날의 주류인 Transformer가 쓰인다. MLS-C01은 RNN/LSTM/GRU의 차이, seq2seq 구조, 어텐션·Transformer 개념, 시계열·NLP에서의 알고리즘 선택을 묻는다.
RNN은 시퀀스를 한 시점씩 처리하며 은닉 상태(hidden state) 에 과거 정보를 누적한다.
h_t = f(W_x * x_t + W_h * h_{t-1} + b)
출력 y_t 는 h_t 로부터 계산h_{t-1}: 이전 시점까지의 "기억"이 다음 계산에 전달된다.💡 관련 이론: RNN은 시간축으로 펼치면(unroll) 매우 깊은 신경망과 같아진다. 따라서 역전파(시간을 따라 펼친 BPTT)에서 기울기가 곱셈으로 누적되며 기울기 소실/폭발이 심하게 일어난다. 그 결과 단순 RNN은 먼 과거의 정보를 잘 기억하지 못하는 장기 의존성(long-term dependency) 문제를 갖는다. 이 한계가 LSTM·GRU의 탄생 배경이다.
장기 의존성 문제를 게이트(gate) 메커니즘으로 완화한 RNN 변형이다.