Deep learning/Machine Learning/CS 공부기록

By whichby (전치사) + which (관계대명사 = 선행사를 받아서 관계절을 이끔)해당 구조는 전치사 + 관계대명사 형태로, 관계절 안에서 전치사의 목적어 역할을 하는 관계대명사이다.by which은 그것을 통해서/그것으로로 해석한다. 예문 Every cardinal has already chosen the name by which he would like his papacy to be known.모든 추기경은 그의 깊은 내면에서 (자신이 당선됐을 시) 교황으로서 불릴 이름을 이미 정해놓았다이는 He would like his papacy to be known by that name라는 문장에서 that name을 선행사로 관계절로 만든 것이다.이를 위해 관계대명사 which로 바꾸고, 그것을 ..

마크다운이 먹히질 않는다. 그래서 그냥 github pages를 하나 팠다. https://inhyeokyoo.github.io/ 앞으로는 이쪽에서 포스팅 하겠다.

드디어 알고리즘에서 볼 수 있는 stack/queue까지 왔다. CS전공자가 아니므로 대부분 줏어 들은게 다였는데, 이를 정리하면서 많은 도움이 됐다. Stack LIFO, 즉, 선입후출 구조를 갖는다. Reference Queue

HashTable 연관배열(associative array)1 구조를 이용하여 key-value를 저장하는 자료구조로, 위 그림과 같이 key, hash function, hash, value, bucket(slot)으로 구성되어 있다. key: 고유한 값으로, hash function의 input이 된다. 이 상태로 bucket에 저장된다면 다양한 길이 만큼의 저장소를 구성해 두어야 하기 때문에 해시 함수로 값을 바꿔야 한다. Hash function: 다양한 길이의 key를 hash로 변경하는 역할을 한다. 서로 다른 key가 같은 hash를 갖을 경우 해시 충돌이 일어나므로, 조심해야 한다. hash: hash function의 결과물로, bucket에서 value와 매칭되어 저장된다. value:..

자료구조(Data structure)는 데이터들의 모임, 관계, 함수, 명령 등의 집합을 의미한다. 즉, 처리하고자 하는 데이터들이 모여 있는 형태, 혹은, 처리하고자 하는 데이터들 사이의 관계 (수직, 상하, 일방적, 상호 등)를 정의한 것, 혹은, 데이터들을 사용하기 용이하게 저장해 놓은 형태라고 볼 수 있다. 자료구조를 잘 선택하면 사용하는 메모리와 시간, 공간적 효율성을 확보할 수 있다. 배열(Array) 같은 종류의 데이터(int, string, float, etc.)를 하나의 이름으로 관리한다. 배열 인덱스는 값에 대한 유일무이한 식별자이다. 크기가 정해져있고, 변경할 수 없다. array를 assign한 변수에는 배열의 첫 원소의 메모리 주소를 갖고 있어 index를 사용하여 빠르게 접근할 ..

IT 기업 기술 면접 대비를 위한 기본 개념 정리를 위한 카테고리입니다. 본 글은 https://github.com/WeareSoft/tech-interview을 참고하여 작성하였고, CS에 대한 개념이 없는 분들까지 쉽게 이해할 수 있도록 정리하는 것을 목적으로 하고 있습니다.

Introduction 이번 튜토리얼은 nn.Transformer를 이용하여 sequence-to-sequence 모델을 어떻게 학습시키는지 알아보겠습니다. Pytroch 1.2 release는 Attention is All You Need에 기반한 표준 transformer 모듈을 포함합니다. transformer 모델은 더욱 parallelizable하면서 다양한 sequence-to-sequence에 우월함이 증명되었습니다. nn.Transformer는 전적으로 attention mechanism(최근 nn.MultiheadAttention으로 구현된 다른 모듈)에 의존하여 인풋과 아웃풋사이의 global dependency를 추출합니다. nn.Transformer은 고도로 모듈화되어 이 튜토리얼의..

Introduction 이번 튜토리얼은 torchtext의 몇 몇 편리한 클래스를 이용하여 영어와 독일어 모두를 포함한 잘 알려진 데이터 셋에 대해 진행하고, 독일 문장을 영어로 번역할 수 있는 attention을 이용한 sequence-to-sequence 모델을 학습시켜보도록 하겠습니다. 이 튜토리얼이 끝나면, 여러분은 다음과 같은 것을 할 수 있습니다: 문장을 NLP 모델링에서 일반적으로 사용되는 포맷으로 전처리 할 수 있습니다. 이는 torchtext의 편리한 클래스를 이용합니다: TranslationDataset Field BucketIterator 본 튜토리얼의 원본은 다음과 같습니다. 역자의 주석은 지금 이 문단과 같이 citation으로 남기겠습니다. 본 코드는 colab을 통해서 실행할 ..