https://arxiv.org/abs/1409.0473 Neural Machine Translation by Jointly Learning to Align and TranslateNeural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the traarxiv.orgAttention Mechanism이란Seq2Seq 모델의..

Sequence-to-Sequence(Seq2Seq)일반적으로 Seq2Seq 모델은 입력 열에 대한 출력 열을 예측하는 신경망 아키텍처의 일종입니다. 주로 기계 번역, Q/A, 텍스트 요약 등에서 많이 사용됩니다. 이번 프로젝트에서는 논리연산을 입력으로, 계산 결과를 출력으로 해석하는 Seq2Seq 모델을 활용해 문제를 해결해보겠습니다. 데이터 생성 및 처리논리연산에 대한 데이터셋을 생성하며, 두 자리 수까지의 숫자 쌍을 사용해 연산 결과를 데이터셋에 포함하도록 구성하였습니다.# 데이터셋 생성 함수def generate_dataset(num_samples=10000): data = { "x1": [], "operator": [], "x2": [], ..

https://arxiv.org/abs/1409.3215 Sequence to Sequence Learning with Neural NetworksDeep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paparxiv.org Seq2Seq : Sequence to Sequence Learning with Neura..

Vanilla RNN의 한계 : 장기 의존성 문제(The Problem of Long-term Dependency)은닉층의 과거의 정보가 마지막까지 전달하지 못하는 현상을 의미한다."과학 선생님이 오늘 쪽지시험을 보았다. 쪽지시험에서 점수를 잘 받은 학생은 ?? 선생님이 칭찬해 주었다."라는 문장이 있고, ??라는 단어를 예측하고자 한다. 문장 앞에서 과학 선생님이 쪽지시험을 냈다는 이야기가 있으니, ??는 '과학'이라고 알 수 있다. 하지만, 예측하고자 하는 단어와 근거가 되는 단어의 거리가 멀어진다면, RNN은 올바르게 문맥을 연결할 수 없다. 이유는, 멀리 있는 단어일수록 정보가 전달되지 않고 소실될 가능성이 있는 장기 의존성 문제 때문이다. LSTM(Long Short-Term Memory)LST..

RNN(Recurrent Neural Network, 순환 신경망)RNN의 구조녹색 박스는 hidden state, 파란 박스 x는 인풋, 파란박스 y는 아웃풋은닉층 : $h_t = \tanh(W_x x_t + W_h h_{t-1} + b)$출력층 : $y_t = f(W_yh_t + b)$단, $f$는 비선형 활성화 함수 중 하나.(수식에서와 같이 활성화 함수(activation function)은 하이퍼볼릭탄젠트(tanh)RNN의 특징 : 이전 단계의 정보를 기억하고 다음 단계에 전달할 수 있다 == 순차적(연속적)인 데이터를 처리할 수 있다RNN 장점 :가변적인 길이의 input Sequence를 처리할 수 있다.입력된 데이터의 순서를 기억하여 t시점에서 수행된 계산은 여러단계 이전의 정보를 사용할 ..