nlp5 [논문 리뷰] Dialog Inpainting: Turning Documents into Dialogs 안녕하세요😚 오늘의 논문리뷰는 ACL 2020에 공개된 "Dialog Inpainting: Turning Documents into Dialogs" 논문입니다. 💌 논문 링크 : https://arxiv.org/abs/2205.09073 💚Overview 본 논문에서 가장 크게 지적하는 것은 대화형 QA TASK를 구축하기는 매우 힘들다는 점입니다. 이러한 데이터를 구축하기 위해서는 전문 온라인 포럼에서 데이터를 긁어 올 수 있는데 이는 개인적인 의견이나 주관적인 의견이 많고, 전문가가 제작할 경우 질은 높지만 굉장히 노력과 비용이 많이 들어간다는 문제점이 있습니다. 하지만 전문가들이 작성한 높은 퀄의 문서들은 위키피디아 같은 곳에 있고 독자가 궁금해 하는 사항을 기반으로 내용을 잘 작성해 놨습니다. 따.. 2022. 8. 2. Conversational AI _ 챗봇이 대화를 하려면? 연구동향 Chit-chat : 일반대화를 처리하는 간단한 대화에 대한 챗봇 Info : QA task를 처리하는 챗봇 Task agent : 단순한 작업을 대신 실행해주는 task를 수행하는 챗봇 위 그림을 살펴보자면 음성으로 들어오게 되면 음성인식을 해야하기 때문에 ASR등등의 전처리 단계가 필요하다. 이렇게 들어온 input들은 사용자가 어떠한 의도를 가지고 말하는지 알기 위해 '언어를 이해'하는 단계가 필요하다. 하지만 실제로는 언어를 이해하는 것 보다 적절한 조치를 결정하는 일이 굉장히 어렵다. 따라서 대화는 'CONTEXT'를 적절하게 파악하고 이해하는 것이 중요하다. (분홍색 라인) 대화에 대한 적절한 근거를 도출하기 위해 Knowledge Base에서 검색 후 도출한다. 또한 이 과정에서 U.. 2022. 1. 18. [논문 리뷰] Few Shot Dialogue State Tracking using Meta-learning (PART 2 Result, additional Analysis) Result 평가는 일반적으로 dst 분야는 jga를 사용하는데 여기서는 none값으로 분류된 slot 말고 실제 값이 매칭되는 activate한 slot에 대해서만 정확도를 평가했다고 합니다. 그리고 모델은 starc 모델 구조로 두가지 알고리즘을 비교했고, 기본적으로 워드 임베딩은 로버타 라지 모델, 그리고 옵티마이저는 아담을 사용했습니다. 결과적으로 32개의 대화 셋 데이터만을 가진 로우 리소스에서 dst가 잘된다. 여기 정확도를 보시면 동일한 데이터 양으로 기존의 dst 모델을 학습시켰을 때는 다음과 같은 성능인데 본 모델은 가장 낮은 도메인에서도 32를 넘습니다. 이는 메타러닝에 의해 선택된 초기화가 그레이디언트 단계 측면에서 대상 도메인의 최적 매개 변수에 더 가깝기 때문에 데이터가 매우 적을.. 2022. 1. 17. [논문 리뷰] Few Shot Dialogue State Tracking using Meta-learning (PART 1 intro, background, method) 본 논문은 acl 2021 메타러닝 워크샵에 공개된 논문입니다. 메타러닝 방식을 dst 분야에 처음으로 적용한 연구라고 생각하시면 됩니다. 논문은 dst 분야의 메타러닝 적용의 필요성에 대한 부분부터 시작하게 됩니다. 목적지향형 대화를 실제 세계에 맞게 구축하려면 정말 다양한 도메인들에 맞춤화 될 필요가 있습니다. 새로운 타겟 도메인에서의 대화시스템이 필요할 경우 많은 양의 도메인 specific한 어노테이션 된 데이터가 필요합니다. 이러한 작업은 굉장히 힘들다는것 아마 공감하실 것 같습니다! Intro 이 문제를 해결하기 위해 이전 연구들에서는 기계독해 문제로 DST 문제를 변환하여 사용할 수 있는 외부 데이터를 통해 학습을 진행된 바 있습니다. 또한 특정 도메인 지식을 다른 도메인으로 transfer.. 2022. 1. 17. 자연어의 특징 1. 자연어 분석 단계 1) 화용론 : 화자의 진짜 의도 2) 의미론 : 문장의 의미 * 특정 도메인에 대한 지식 -> 의미 사전이 필요함 *같은 의미 표현에 대한 정규화 다만 대화 상황에 따라 그 의도가 달라질 수 있음! 따라서 대화 상황에 대한 지식이 필요함 3)구문론: 문장의 구조 * 형태소 : 뜻을 가지는 가장 작은 말의 단위 2. 자연어의 특징 1) 합성성 위의 예시 처럼 명사 구문이 하나의 명사부분에 들어갈 수 있다는 점에서 합성성을 가짐 2) 비합성성 관용적인 표현으로 구성이 되는 경우가 있다. 또한 '좋은 날'같은 경우는 조합으로 생각 하면 안됨. 3) 생략 의미를 내포하고 있거나 관용적으로 쓰이기 때문에 생략이 되는 경우가 많음 4) 모호성과 불확실성 아이유 노래 라고 했을 때 두가지로 .. 2022. 1. 3. 이전 1 다음
