JJING_LOG

* Tacademy 강의 내용 정리 1. 자연어 처리 자연 언어 : 일반 사회에서 자연히 발생하여 쓰이는 언어 자연어 처리(Natural Language Processing, NLP) - 컴퓨터를 이용하여 인간 언어의 이해, 생성 및 분석을 다루는 인공 지능 기술 - 자연어를 컴퓨터가 해독하고 그 의미를 이해하는 기술 자연어 처리 기술 1. 규칙/지식 기반 접근법 ( Symbolic approach ) - 규칙을 지정해두고, 지식을 이용해 그에 따라 자연어를 처리하는 것 2. 확률/통계 기반 접근법 ( Staticstical approach ) - 예 : TF-IDE -> 핵심 : 필요없는 키워드 말고, 의미 있는 키워드를 얻자 - TF : 단어가 문서에 등장한 개수 -> TF가 높을수록 중요한 단어 -..

BERT(Bi-directional Encoder Representations from Transformers) - 구글에서 개발한 NLP 사전 훈련 기술, Language Model 잘 만들어진 BERT 언어모델 위에 1개의 Classification layer만 부착하여 다양한 NLP task를 수행 Contextual Embedding 방법 : 단어마다 벡터가 고정되어있지 않고 문장마다 단어의 vector가 달라지는 임베딩 방법을 뜻한다. BERT 모델의 구조도 Sentence 2개를 input으로 받아 토큰 단위로 임베딩 Transformer layer를 거친다. 최종적으로 자신을 표현하는 구조 WordPiece tokenizing Byte Pair Encoding(BPE) 알고리즘 이용 빈도수에..