본문 바로가기

deep learning

PyTorch contiguous Attention을 활용한 NMT를 학습하던 도중 다음과 같은 에러가 발생했다. --------------------------------------------------------------------------- RuntimeError Traceback (most recent call last) in () 108 for epoch in range(N_EPOCHS): 109 start_time = time.time() --> 110 train_loss = train(model, train_iterator, optimizer, criterion, CLIP) 111 valid_loss = evaluate(model, valid_iterator, criterion) 112 end_time = time.tim.. 더보기
PyTorch RNN 그냥 PyTorch RNN 이용하면서 중요한 점 간단하게 공유해봄. 실제 코드에서의 이야기이니 RNN을 모르는 사람은 이론적인 배경을 공부하고 오면 좋을듯 싶다. 기본 구조 우리가 생각하는 것과는 다르게, RNN은 $x_1, ..., x_{t}$]의 sequence 데이터 전부를 필요로 한다. 즉, iterative $x=1, 2, 3, ...$을 하나씩 넣는 구조가 아니다. 기본 구조는 다음과 같이 생겼다. model = RNN(input_size: int, hidden_size: int, num_layers: int=1, bias=True, batch_first: bool, dropout: float, bidirectional: bool=False, nonlinearity: str='tanh&.. 더보기
Docker로 (대충) 딥러닝 개발환경 구축하기 기존에는 colab으로 학습을 진행하고 있었는데, 로컬에 세팅을 하자니 업데이트 할 것도 많고, 버전 꼬일 것도 걱정되고 해서 docker를 사용하기로 결정했다. 컴공 출신이 아니라 linux도 모르고, 일단 들이박느라 개고생을 했지만... 한번 천천히 따라가보자. 그냥 citation덕지덕지 달터이니 review 논문 읽는 셈 치면 될거같다. 1. Docker 설치하기 Docker를 설치하는 것은 간단하다. 구글링을 하면 다양한 환경에서 설치하는 방법이 나온다. 나는 다음 블로그를 참고했다. https://www.quantumdl.com/entry/PyTorchTensorflow%EB%A5%BC-%EC%9C%84%ED%95%9C-Docker-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%.. 더보기