AI Researcher가 될끄야!/자연어처리8 GPT3 모델을 소개합니다! (대규모 언어모델의 등장, OPEN AI) Few-shot multi-task learner GPT3는 Few-shot multi-task learner 라는 이름으로 논문이 나왔는데 일반적인 multi가 아닌 적은 양의 데이터를 Fine tuning시에 사용해도 task에 잘 작동될 수 있도록한 언어모델이다. 여기서 사용된 Prompt 러닝이 사용되었는데 영어를 불어로 번역한다고 했을 때, 프롬프트 창에서 영어를 입력을 주고 출력이 나올 수 있도록하는 구조로 몇개의 예시를 주고 학습을 진행합니다. 위 상황에서는 치즈는 무엇으로 바뀔까 라고 문제를 주어 nlp 문제를 비지도 학습을 진행하는 것 입니다. GPT3는 96개의 attention layer였으며, 128 dimension을 가지고 있습니다. train data는 460B tokens라고.. 2022. 1. 18. Conversational AI _ 챗봇이 대화를 하려면? 연구동향 Chit-chat : 일반대화를 처리하는 간단한 대화에 대한 챗봇 Info : QA task를 처리하는 챗봇 Task agent : 단순한 작업을 대신 실행해주는 task를 수행하는 챗봇 위 그림을 살펴보자면 음성으로 들어오게 되면 음성인식을 해야하기 때문에 ASR등등의 전처리 단계가 필요하다. 이렇게 들어온 input들은 사용자가 어떠한 의도를 가지고 말하는지 알기 위해 '언어를 이해'하는 단계가 필요하다. 하지만 실제로는 언어를 이해하는 것 보다 적절한 조치를 결정하는 일이 굉장히 어렵다. 따라서 대화는 'CONTEXT'를 적절하게 파악하고 이해하는 것이 중요하다. (분홍색 라인) 대화에 대한 적절한 근거를 도출하기 위해 Knowledge Base에서 검색 후 도출한다. 또한 이 과정에서 U.. 2022. 1. 18. 자연어의 의미 이해 방법 Semantics 1. 자연어는 동일하더라도 다른 의미를 가지는 경우가 많다. (어떻게 이해할 수 있을까?) 위의 예와 비슷하게 '고양이'라고 했을 때 실제 동물 고양이일 수도 있고 '고양이'인형일 수도 있다 이럴 경우에 주변의 단어들의 조합으로 그 단어의 의미를 유추 할 수 있을 것이다. 전자의 의미일 경우 '고양이 밥 언제 줘야해?', '고양이 왜이렇게 살쪗어?'등의 문장이 나올 것이고, 후자의 의미라면 '나 이번에 고양이 인형 사줘',혹은 '고양이 캐릭터는 어디 진열되어있죠?'등일 것이다. 이렇게 비슷한 의미를 가지는 단어들 주변에는 동시에 비슷한 단어들이 올것이다. 예시는 다음과 같다, 이를 매트릭스 형태로 변경해 볼 수 있다. 2.일반적인 방식 1) From a word-context matrix of count.. 2022. 1. 3. 자연어의 특징 1. 자연어 분석 단계 1) 화용론 : 화자의 진짜 의도 2) 의미론 : 문장의 의미 * 특정 도메인에 대한 지식 -> 의미 사전이 필요함 *같은 의미 표현에 대한 정규화 다만 대화 상황에 따라 그 의도가 달라질 수 있음! 따라서 대화 상황에 대한 지식이 필요함 3)구문론: 문장의 구조 * 형태소 : 뜻을 가지는 가장 작은 말의 단위 2. 자연어의 특징 1) 합성성 위의 예시 처럼 명사 구문이 하나의 명사부분에 들어갈 수 있다는 점에서 합성성을 가짐 2) 비합성성 관용적인 표현으로 구성이 되는 경우가 있다. 또한 '좋은 날'같은 경우는 조합으로 생각 하면 안됨. 3) 생략 의미를 내포하고 있거나 관용적으로 쓰이기 때문에 생략이 되는 경우가 많음 4) 모호성과 불확실성 아이유 노래 라고 했을 때 두가지로 .. 2022. 1. 3. 자연어 이해 기술이란? (NLU) 1. 자연어 이해 기술 기계가 사람의 말을 이해할 수 있도록 하는 기술 기계는 사람의 말을 특정 기호로 여긴다. 따라서 기계가 사람의 말을 이해할 수 있도록 할 필요가 있다. 자연어 이해 기술의 목적은 가장 인간 같은 기계를 만들기 위해 노력하는 것이다. ✅ 뢰브너 상 튜링테스트를 통해 가장 인간적인 컴퓨터를 선발하는 것을 목적으로 창안된 뢰브너 상은 역설적이게도 '가장 인간적인 인간'을 선발하기에 이른다. 직접 보지 않은 상태에서 이루어지는 대화(정확히는 화면에 표시)만으로는 기계와 인간의 구별이 모호해진다. 진짜 인간의 대답도 기계의 대답으로 간주되는 현상이 생기면서 제한된 조건에서 가장 인간적인 인간을 뽑는 것도 의미 있는 일이 된 것이다. 뢰브너 상 수상자를 선정하는 대회에서는 다양한 주제를 가지.. 2022. 1. 3. [파이썬] 경로를 지정하는 모듈 (os 모듈) import os os.getcwd() # 현재경로 os.listdir()#현재 폴더 안에 파일들 os.listdir('.\Wtxt')# 텍스트 파일들 2021. 1. 12. 이전 1 2 다음
