NLP Study Blog - Natural language processing

Named Entity Recogition

NER(Named Entity Recogition, 개체명 인식) : NLP에서 특정 단어(토큰)가 사람,장소,조직,날짜,숫자,제품명 등 어떤 개체(entity)인지 인식하는 Task이다.

Tokenizer training

목표: Transformers 라이브러리에서 사용되는 토크나이저를 만들어보자

Hangeul Automata

한글 자소, 숫자, 백스페이스를 입력받아, 완성형 문장을 만드는 오토마타를 구현

Tabular Parsing

- Lexical dictionary (어휘 사전)을 이용해서 문장을 형태소 분석하는 것.

From Prior to Posterior with Bayes’ Theorem

\(P(\theta)\) : 데이터를 보기 전에, \(\theta\)에 대해 우리가 갖는 믿음

Byte Pair Encoding

BPE(Byte Pair Encoding) 는 긴 단어나 새로운 단어를 작은 단위(조각)로 쪼개서 처리할 수 있게 해주는 토큰화 기법이다.

Transformer architecture

- 마스크 행렬

Model fine tuning

아래 코드를 실행하고 런타임 재시작

Base on Encoder-Decoder models

- 인코더-디코더 기반 모델은 완성된 문장을 이어받아 입력과는 완전히 다른 새로운 문장을 생성하는 것을 목적으로 한다.

Base on Encoder models

- 클래스가 잘 설정되었는지 확인

Base on Decoder models

디코더 기반 모델은 문장 앞부분 일부만을 입력받아 이를 이어서 작성하는 형태이며 이를 자연어 생성이라고도 말한다.

Position Embedding vs Position Encoding

- 위치 임베딩

About Transformers

- 이상한 부분의 보충설명

Text generation

- 그리디 서치 디코딩의 이해

NLP Sampling

정확성과 다양성은 서로 trade-off관계가 있다.

Text Classification Fine Tuning

- colab에서 실습하길 바랍니다.

Evaluate

Evaluate 클래스는 accuracy, F1 score, precision, recall, BLEU, ROUGE 등등 다양한 평가 지표를 간단하게 불러와 활용할 수 있다.