DST6 [논문 리뷰] Knowledge-grounded Task-oriented Dialogue Modeling on Spoken Conversations Track at DSTC10 오늘은 DSTC 10에서 좋은 성적을 보였던 방식에 대하여 summary한 논문을 살펴보도록 하겠습니다. 😎 DSTC TRACK2 OVERVIEW - Intro 주최측인 알렉사 ai에서 낸 논문 부터 시작하도록 하겠습니다. 문제를 낸 이유와 데이터셋에 대한 설명 제출된 팀들의 방식이 세부적으로 설명되어 있습니다. 첫째로 출제 이유입니다. 여기서는 보다 세부적으로 Written 데이터와 Spoken 데이터의 차이에 대해 나타내고 있습니다. 차이는 다음과 같습니다. 이러한 차이를 가지는데 많은 에이전트들은 음성데이터의 음성인식결과로 운영된다는 점, 그리고 Spoken 데이터는 어노테이션 데이터가 많이 없다는 점을 지적했습니다. 본 대회에서 Track2 의 핵심은 Spoken이었다는 것이고, 이러한 데이터에서.. 2022. 3. 10. [논문 리뷰] Learning knowledge bases with parameters for task-oriented dialogue system 제가 오늘 소개할 논문은 learning knowledge bases with parameters for task-oriented dialogue system으로 emnlp2020에 소개된 논문입니다. Introduction 대화 시스템을 구성하는 방식은 각 대화 모델을 모듈 처럼 결합하여 하나의 파이프라인을 형성하여 시스템을 구성하는 파이프라인 방식과 엔드 투 엔드 방식으로 인풋을 넣으면 한번에 생성까지 이어지는 종단형 방식이 있습니다. 각각의 문제점을 짚어보면 파이프라인 같은 경우는 반드시 적절한 DST를 예측하여 KB(DB)에 쿼리를 날려야 합니다. 또한 이를 기반으로 적절한 템플릿을 활용해 value를 채우는 형식으로 대화를 생성한다. 굉장히 복잡하고, multiple step이 필요합니다.(KB.. 2022. 2. 11. Convlab2 - 대화 시스템 오픈 프레임워크를 소개합니다! 오늘 소개드린 Convlab2는 ACL 2020에 소개된 논문입니다. What is Convlab2? ConvLab-2는 연구자가 최첨단 모델로 작업 지향 대화 시스템을 구축하고, end-to-end 평가를 수행하고, 시스템의 약점을 진단할 수 있는 오픈 소스 툴킷입니다. ConvLab이 처음 나오고 나서 ConvLab-2는 더 좋은 성능의 대화 모델을 통합하고 더 많은 데이터 세트를 지원하고 있습니다. 또한 대화 시스템을 진단하는 것을 돕기 위해 분석 도구와 대화형 도구도 지원하는 오픈 소스입니다. Convlab2의 대화 시스템 파이프라인 구조 ConvLAB에서 파이프 라인 방식으로 대화 시스템을 구성할 때는 네가지 방식이 있습니다. 가장 먼저 NLU와 DST, POL, NLG으 파이프라인으로 구성되어.. 2022. 2. 11. [논문 리뷰] Beyond Domain APIs: Task-oriented Conversational Modeling withUnstructured Knowledge Access(part1) DSTC 9, DSTC 10에 계속해서 나오고 있는 비정형 외부 데이터 (F&Q)를 활용하여 적절한 대답을 생성하는 것에 관련된 초기 논문을 소개한다. Abstract - 기존의 많은 목적 지향형 대화 시스템들은 주어진 DB나 정해진 API를 활용하여 , System의 답변을 생성하는 경우가 있었음. - 하지만 이러한 방식 외에 비정형의 외부 데이터를 사용하여 System의 답변을 생성하고자 노력함. - 본 과정을 knowledge-seeking turn detection, knowledge selection, and knowledge-grounded response generation 3가지 과정으로 나눔. - 또한 위 단계 들 각각에서 conventional 한 방식과 neural 방식의 두가지 접근.. 2022. 1. 20. [논문 리뷰] Few Shot Dialogue State Tracking using Meta-learning (PART 2 Result, additional Analysis) Result 평가는 일반적으로 dst 분야는 jga를 사용하는데 여기서는 none값으로 분류된 slot 말고 실제 값이 매칭되는 activate한 slot에 대해서만 정확도를 평가했다고 합니다. 그리고 모델은 starc 모델 구조로 두가지 알고리즘을 비교했고, 기본적으로 워드 임베딩은 로버타 라지 모델, 그리고 옵티마이저는 아담을 사용했습니다. 결과적으로 32개의 대화 셋 데이터만을 가진 로우 리소스에서 dst가 잘된다. 여기 정확도를 보시면 동일한 데이터 양으로 기존의 dst 모델을 학습시켰을 때는 다음과 같은 성능인데 본 모델은 가장 낮은 도메인에서도 32를 넘습니다. 이는 메타러닝에 의해 선택된 초기화가 그레이디언트 단계 측면에서 대상 도메인의 최적 매개 변수에 더 가깝기 때문에 데이터가 매우 적을.. 2022. 1. 17. [논문 리뷰] Few Shot Dialogue State Tracking using Meta-learning (PART 1 intro, background, method) 본 논문은 acl 2021 메타러닝 워크샵에 공개된 논문입니다. 메타러닝 방식을 dst 분야에 처음으로 적용한 연구라고 생각하시면 됩니다. 논문은 dst 분야의 메타러닝 적용의 필요성에 대한 부분부터 시작하게 됩니다. 목적지향형 대화를 실제 세계에 맞게 구축하려면 정말 다양한 도메인들에 맞춤화 될 필요가 있습니다. 새로운 타겟 도메인에서의 대화시스템이 필요할 경우 많은 양의 도메인 specific한 어노테이션 된 데이터가 필요합니다. 이러한 작업은 굉장히 힘들다는것 아마 공감하실 것 같습니다! Intro 이 문제를 해결하기 위해 이전 연구들에서는 기계독해 문제로 DST 문제를 변환하여 사용할 수 있는 외부 데이터를 통해 학습을 진행된 바 있습니다. 또한 특정 도메인 지식을 다른 도메인으로 transfer.. 2022. 1. 17. 이전 1 다음
