AI Researcher가 될끄야!/대화 시스템5 [논문 리뷰] PLATO-2: Towards Building an Open-Domain Chatbot viaCurriculum Learning 오늘 소개할 논문은 ACL 2021에서 공개 되었고, DSTC9부터 10까지 휩쓸었던 PLATO2 모델을 소개해드리도록하겠습니다. ✅ 논문링크 : https://arxiv.org/abs/2006.16779 💚Abstract 핵심적인 내용은 전통적 open-domain 학습방식에서 일대일 맵핑 방식 뿐만 아니라 일대다 맵핑을 적용하였고, 적절한 응답을 고르는 절차를 두단계로 나누는 curriculum learning을 도입했다는 것 입니다. 첫번째 단계는 Coarse-grained generation model로 일대일 맵핑방식을 활용하여 학습을 하고, 두번째 단게에서는 fine-grained 모델로 latent variable을 활용하는 방식입니다. 본 모델은 영어와 중국어 두 가지 언어로 각각 학습하였.. 2022. 3. 25. [논문 리뷰] TOD-DA: Towards Boosting the Robustness of Task-oriented Dialogue Modeling on Spoken Conversations 제가 오늘 리뷰할 논문은 작년 DSTC 10 TRACK 2에서 두 서브 트랙에서 모두 우승했던 방식을 서술한 논문입니다. AAAI에 Accept된 논문입니다. 🦄 INTRODUCTION 기존 Task-oriented dialogue system의 문제점은 대화 데이터를 모으고, 어노테이션 하는데 힘들고, 질이 좋지 못하다는 문제가 있었으며, 많은 가상 에이전트들이 음성대화를 기반으로 작동하지만 실제 학습 데이터는 written 형식으로 되어 있어 실질적인 대화 스타일을 담지 못한다는 문제가 있었습니다. 단어 level 에서 기존의 데이터 셋을 작성하는 방식을 사용하기도 하였으나 이는 대화의 다양성이나 유연성을 보장하지 못합니다. 그래서 본 팀은 두가지 해결방안을 제시하고 있습니다. 대화 데이터셋 자체를 .. 2022. 2. 24. [논문 리뷰]심층 신경망 기반 대화 처리 기술 동향 본 글은 아래 논문을 요약한 형태로 작성하였습니다! 원문 링크는 아래를 타고가세요! ✔ 논문링크 : https://ettrends.etri.re.kr/ettrends/178/0905178006/#section_s1 1. Abstract 대화처리 기술 연구는 인간이 대화로 수행하는 다양한 기능 및 능력을 모두 처리 가능한 연구 범 위로 설정하는 데 어려움이 있어 세분화된 특정 기 능 및 능력에 집중하는 기술 연구로 발전되어 왔 다. 대표적으로, 특정 업무에서 사용자의 요구 목적을 대화로 처리하기 위한 목적지향 대화시스템 (goal-oriented dialogue system), 인간처럼 일상 대화를 하지만 재미로 다양한 대화를 수행하게 하는 chit-chat 대화시스템, 사용자의 특정 질문에 전문지식으로 .. 2022. 2. 16. [논문 리뷰] Learning knowledge bases with parameters for task-oriented dialogue system 제가 오늘 소개할 논문은 learning knowledge bases with parameters for task-oriented dialogue system으로 emnlp2020에 소개된 논문입니다. Introduction 대화 시스템을 구성하는 방식은 각 대화 모델을 모듈 처럼 결합하여 하나의 파이프라인을 형성하여 시스템을 구성하는 파이프라인 방식과 엔드 투 엔드 방식으로 인풋을 넣으면 한번에 생성까지 이어지는 종단형 방식이 있습니다. 각각의 문제점을 짚어보면 파이프라인 같은 경우는 반드시 적절한 DST를 예측하여 KB(DB)에 쿼리를 날려야 합니다. 또한 이를 기반으로 적절한 템플릿을 활용해 value를 채우는 형식으로 대화를 생성한다. 굉장히 복잡하고, multiple step이 필요합니다.(KB.. 2022. 2. 11. Convlab2 - 대화 시스템 오픈 프레임워크를 소개합니다! 오늘 소개드린 Convlab2는 ACL 2020에 소개된 논문입니다. What is Convlab2? ConvLab-2는 연구자가 최첨단 모델로 작업 지향 대화 시스템을 구축하고, end-to-end 평가를 수행하고, 시스템의 약점을 진단할 수 있는 오픈 소스 툴킷입니다. ConvLab이 처음 나오고 나서 ConvLab-2는 더 좋은 성능의 대화 모델을 통합하고 더 많은 데이터 세트를 지원하고 있습니다. 또한 대화 시스템을 진단하는 것을 돕기 위해 분석 도구와 대화형 도구도 지원하는 오픈 소스입니다. Convlab2의 대화 시스템 파이프라인 구조 ConvLAB에서 파이프 라인 방식으로 대화 시스템을 구성할 때는 네가지 방식이 있습니다. 가장 먼저 NLU와 DST, POL, NLG으 파이프라인으로 구성되어.. 2022. 2. 11. 이전 1 다음
