BERT(Bi-directional Encoder Representations from Transformers) - 구글에서 개발한 NLP 사전 훈련 기술, Language Model 잘 만들어진 BERT 언어모델 위에 1개의 Classification layer만 부착하여 다양한 NLP task를 수행 Contextual Embedding 방법 : 단어마다 벡터가 고정되어있지 않고 문장마다 단어의 vector가 달라지는 임베딩 방법을 뜻한다. BERT 모델의 구조도 Sentence 2개를 input으로 받아 토큰 단위로 임베딩 Transformer layer를 거친다. 최종적으로 자신을 표현하는 구조 WordPiece tokenizing Byte Pair Encoding(BPE) 알고리즘 이용 빈도수에..
