Deep learning/Machine Learning/CS 공부기록

Introduction 이번 튜토리얼은 torchtext의 몇 몇 편리한 클래스를 이용하여 영어와 독일어 모두를 포함한 잘 알려진 데이터 셋에 대해 진행하고, 독일 문장을 영어로 번역할 수 있는 attention을 이용한 sequence-to-sequence 모델을 학습시켜보도록 하겠습니다. 이 튜토리얼이 끝나면, 여러분은 다음과 같은 것을 할 수 있습니다: 문장을 NLP 모델링에서 일반적으로 사용되는 포맷으로 전처리 할 수 있습니다. 이는 torchtext의 편리한 클래스를 이용합니다: TranslationDataset Field BucketIterator 본 튜토리얼의 원본은 다음과 같습니다. 역자의 주석은 지금 이 문단과 같이 citation으로 남기겠습니다. 본 코드는 colab을 통해서 실행할 ..

포트폴리오 용으로 Attention을 구현하던 중 헷갈리는 개념을 정리하였다. 원본은 https://stackoverflow.com/questions/62444430/implementing-attention/62445044#62445044 을 참고하면 된다. (본 링크는 부족한 영어실력으로 내가 직접한 것임.) 1. Decoder의 초기 hidden state $s_0$는 어떤 값인가?? 이를 물어본 이유는 내가 참고한 implementation에서 $s_0$를 구하는 과정이 각기 다 달랐기 때문이다. 아래는 PyTorch 재단에서 제공하는 NLP 튜토리얼인데, 이 부분에서 $s_0$는 context vector로 정의하고 있다. https://colab.research.google.com/drive/1..