자연어처리7 [논문 리뷰] PLATO-2: Towards Building an Open-Domain Chatbot viaCurriculum Learning 오늘 소개할 논문은 ACL 2021에서 공개 되었고, DSTC9부터 10까지 휩쓸었던 PLATO2 모델을 소개해드리도록하겠습니다. ✅ 논문링크 : https://arxiv.org/abs/2006.16779 💚Abstract 핵심적인 내용은 전통적 open-domain 학습방식에서 일대일 맵핑 방식 뿐만 아니라 일대다 맵핑을 적용하였고, 적절한 응답을 고르는 절차를 두단계로 나누는 curriculum learning을 도입했다는 것 입니다. 첫번째 단계는 Coarse-grained generation model로 일대일 맵핑방식을 활용하여 학습을 하고, 두번째 단게에서는 fine-grained 모델로 latent variable을 활용하는 방식입니다. 본 모델은 영어와 중국어 두 가지 언어로 각각 학습하였.. 2022. 3. 25. [챗봇 개발] 대화형 전공 설계 챗봇, Talk-in 프로젝트 안녕하세요 프로젝트를 정리하는 첫 번째 이야기 시작합니다! 이번에 소개드릴 프로젝트는 학부생으로 들었던 마지막 과목에서 팀원분들과 함께 진행했던 프로젝트 '대화형 전공 설계 챗봇, Talk-in'입니다. 저는 본 프로젝트에서 인공지능 모델 개발 전반을 맡았습니다. 🙄 개발 동기 코로나로 인해 더욱 빙판길이 되고 있는 취업길 때문에라도 조기에 내게 꼭 맞는 ‘전공 설계’는 대학생의 필수 그 이상입니다. 하지만 나에게 맞는 과목을 정하고 설계 하기 까지의 과정은 보시다 시피 정말 힘든 길입니다. 그리고 진로 및 전공 설계의 길잡이 '취업 지원팀'은 여러분도 아시다 시피 취켓팅이라고 불리죠 우리는 어떻게 해야 할까요? 따라서 이러한 문제를 해결 하고자 'Talk-in'을 생각하게 되었습니다. 톡인은 대화형 과.. 2022. 2. 16. [논문 리뷰] Learning knowledge bases with parameters for task-oriented dialogue system 제가 오늘 소개할 논문은 learning knowledge bases with parameters for task-oriented dialogue system으로 emnlp2020에 소개된 논문입니다. Introduction 대화 시스템을 구성하는 방식은 각 대화 모델을 모듈 처럼 결합하여 하나의 파이프라인을 형성하여 시스템을 구성하는 파이프라인 방식과 엔드 투 엔드 방식으로 인풋을 넣으면 한번에 생성까지 이어지는 종단형 방식이 있습니다. 각각의 문제점을 짚어보면 파이프라인 같은 경우는 반드시 적절한 DST를 예측하여 KB(DB)에 쿼리를 날려야 합니다. 또한 이를 기반으로 적절한 템플릿을 활용해 value를 채우는 형식으로 대화를 생성한다. 굉장히 복잡하고, multiple step이 필요합니다.(KB.. 2022. 2. 11. 자연어의 의미 이해 방법 Semantics 1. 자연어는 동일하더라도 다른 의미를 가지는 경우가 많다. (어떻게 이해할 수 있을까?) 위의 예와 비슷하게 '고양이'라고 했을 때 실제 동물 고양이일 수도 있고 '고양이'인형일 수도 있다 이럴 경우에 주변의 단어들의 조합으로 그 단어의 의미를 유추 할 수 있을 것이다. 전자의 의미일 경우 '고양이 밥 언제 줘야해?', '고양이 왜이렇게 살쪗어?'등의 문장이 나올 것이고, 후자의 의미라면 '나 이번에 고양이 인형 사줘',혹은 '고양이 캐릭터는 어디 진열되어있죠?'등일 것이다. 이렇게 비슷한 의미를 가지는 단어들 주변에는 동시에 비슷한 단어들이 올것이다. 예시는 다음과 같다, 이를 매트릭스 형태로 변경해 볼 수 있다. 2.일반적인 방식 1) From a word-context matrix of count.. 2022. 1. 3. 자연어의 특징 1. 자연어 분석 단계 1) 화용론 : 화자의 진짜 의도 2) 의미론 : 문장의 의미 * 특정 도메인에 대한 지식 -> 의미 사전이 필요함 *같은 의미 표현에 대한 정규화 다만 대화 상황에 따라 그 의도가 달라질 수 있음! 따라서 대화 상황에 대한 지식이 필요함 3)구문론: 문장의 구조 * 형태소 : 뜻을 가지는 가장 작은 말의 단위 2. 자연어의 특징 1) 합성성 위의 예시 처럼 명사 구문이 하나의 명사부분에 들어갈 수 있다는 점에서 합성성을 가짐 2) 비합성성 관용적인 표현으로 구성이 되는 경우가 있다. 또한 '좋은 날'같은 경우는 조합으로 생각 하면 안됨. 3) 생략 의미를 내포하고 있거나 관용적으로 쓰이기 때문에 생략이 되는 경우가 많음 4) 모호성과 불확실성 아이유 노래 라고 했을 때 두가지로 .. 2022. 1. 3. [자연어 처리] 정규표현 정의 : 텍스트 편집기 또는 프로그래밍 언어에서 특정 유형의 문자열을 검색 또는 치환할 때 사용 문자열의 검색과 치환 외에도 텍스트 처리의 핵심 사용예 특정 문자열 포함 문자열 모두검색 특정유형 문자열 검색 반복메타 문자 매칭 및 기타 메타 문자 정규표현 이스케이프문자 -매치 함수 import re re.match('1','1234') type(re.match('1','1234')) 다만 매치하는 것이 없을 때는 아무것도 출력되지 않음 (오류는 나지 않음) -정규표현과 조건문 a=['abc','bcd103','103abc'] re.search('\w+',a)//오류 for i in a : if re.search('\d+',i): print(i,re.search('\d+',i).group()) -finda.. 2021. 1. 12. 이전 1 2 다음
