انتخاب جملات پاسخ با استفاده از یادگیری عمیق
هدف از این پژوهش تشخیص جملاتی است که برای جواب سوال مورد نیاز است و استخراج و شناسایی این جملات با استفاده از یادگیری عمیق انجام میگیرد.
# مقدمه
سیستم های پرسش و پاسخ یکی از مهمترین سیستمهای پردازش زبان طبیعی به شمار میآید. در این مساله قرار است جملات پاسخ با استفاده از اطلاعات سوال به دست آید. انتخاب جملات یکی از مهمترین قسمتهای سیستم پرسش و پاسخ است و باید با استفاده از داده های یادگیری ابزاری را توسعه داد تا بتواند پاسخ مناسب را بیابد.حل بسیاری از مسائل پردازش زبان طبیعی مانند تحلیل احساسات[1]، تشخیص عبارت[2] و طبقه بندی اسناد[3] با استفاده از شبکه های عصبی عمیق انجام شده است و در این مقاله نیز از این روش برای یافتن پاسخ سوالات استفاده میکنیم. روشهای یافتن پاسخ مناسب برای سوالات به طور کلی به دو قسمت تقسیم میشوند : یک رویکرد بر مبنای تجزیه معنایی است که در این روش معمولا سوالات با توجه به معنای آن به پرس و جوهایی(به طور نمونه یک رابطه سه تایی که معمولا نوع رابطه مشخص نیست و پاسخ سوال نیز همان رابطه است) تبدیل میشود و سپس با استفاده از منابعی مانند پایگاه دانش پاسخ سوال بازیابی میشود.
روش دیگر که بیشتر به زمینه بازیابی اطلاعات مرتبط است استفاده از دامنه باز است که در ادامه توضیحات مربوط به آن ارائه میگردد. در این روش نیاز به تعدادی مرحله میانی داریم. به عنوان نمونه برای پاسخ به سوال "چه کسی کتاب هری پاتر را نوشت؟" ابتدا سیستم باید نوع سوال را شناسایی کند(مثلا انتخاب شخص) و سپس اسناد مرتبط با سوال را بازیابی کند. سپس با توجه به سوال جمله ای را که حاوی پاسخ است استخراج کرده و پاسخ نهایی در جمله استخراج شده به کاربر نمایش داده میشود. در این مقاله تمرکز اصلی بر انتخاب جملات پاسخ است که در آن از بین جملات پاسخ نامزد یکی به عنوان با ارزش ترین آنها برگردانده میشود. اگر چه که ممکن است جمله پاسخ علاوه بر اینکه حاوی پاسخ نهایی است اطلاعات دیگری را نیز در خود داشته باشد به عنوان نمونه میتوان به پرسش و پاسخ زیر اشاره کرد:
سوال : از چه زمانی علی کار میکند؟
پاسخ: از زمانی که شرکت آلفا را در سال 1937 تاسیس کرد سود چندانی نبرد
هماهنگونه که در مثال بالا مشاهده میکنید پاسخ سوال به صورت دقیق بیان نشده است بلکه به صورت ضمنی در جمله پاسخ به آن اشاره شده است. در این مقاله، ما نشان می دهیم که مدل مبتنی بر شبکه عصبی را می توان برای تشخیص جملات پاسخ به کار برد.در این مقاله دو مدل ساخته شده است که اولی با استفاده از سبد کلمات است ودومی یک مدل bigram بر اساس یک شبکه عصبی کانولوشن است. در این مدل شباهت معنایی بین جفتهای سوال و پاسخ محاسبه میشود. مدلها با استفاده از مجموعه ایجاد شده در TREC QA به دست آمده اند.
# کارهای مرتبط
کارهای زیادی در زمینه شناسایی پاسخ سوالات انجام شده است و در اکثر آنها هدف یافتن احتمالات بیشینه بر اساس ویژگی های سوال است که باید کاندیدهای مختلفی را برای پاسخ به دست آورد. برای یافتن پاسخ سوال نیاز به اطلاعات نحوی و معنایی است تا بتوان اطلاعات مطروحه در سوال را در پاسخ نامزد یافت. روشهای مختلف حاکی از آن است که در بیشتر آنها جملات پاسخ با استفاده از با استفاده از تطابق نحوی میان پرسش و پاسخ آن به دست میآید. wang و همکاران[4] مدل generative ای را برای تطابق درخت وابستگی زوج(پاسخ-سوال) بر اساس هم ترازی نرم گرامرهای گوسی توسعه داده اند.
اما تنها چند پژوهش مربوط به استفاده از شبکه عصبی عمیق در سیستمهای پرسش و پاسخ است. یحی و همکاران[5]با استفاده از یک پایگاه دانش سه تایی سیستم پرسش و پاسخ تک رابطه ای را ایجاد کرده اند. Bordes و همکاران. [6,7] نیز از یک نوع شبکه برای یادگیری پرسش و پاسخ استفاده کرده اند.
# معرفی دادگان
مجموعه دادگان پرسش و پاسخ مجموعه ای است از پاسخهای مرتبط به هر سوال. وانگ و همکاران [20] این مجموعه داده را از
اطلاعات مربوط به کنفرانس (TREC) استخراج کرده اند که پاسخهای کاندید به صورت خودکار از هر بخش از اسناد انتخاب شده است. شکل زیر اطلاعات آماری مجموعه دادگان را بیان میکند:
# معماری مورد استفاده
در ابتدای این بخش توضیحاتی پیرامون مدل مورد استفاده بیان میگردد. انتخاب جملات پاسخ را میتوان به عنوان یک مسئله رده بندی دو کلاسه مدل کرد. فرض کنید مجموعه ای از سوالات(Q) را داریم که هر سوال qi با فهرستی از پاسخهای {ai1,ai2,....,aim} و قضاوت درست بودن یا نبودن پاسخ با استفاده از مجموعه {yi1,yi2,......,yim} بیان میشود. اگر پاسخ j ام از سوال i ام درست باشد در آن صورت yij=1 است در غیر این صورت 0.
بنابراین در این پروژه رده بندی را آموزش میدهیم که داده های آن شامل سه تایی (qi,aij,yij) است. همچنین فرض شده است که پاسخهای صحیح مشابهت معنایی زیادی با صورت سوال دارند و پرسش و پاسخ به صورت برداری مدل میشوند. احتمال این که یک پاسخ بر اساس جفت پرسش و پاسخ صحیح باشد طبق فرمول زیر محاسبه میشود :
در این فرمول b معیار تعادل و M ماتریس تبدیل است که هردو از پارامترهای مدل به حساب می آیند. برای نمایش برداری دو روش متفاوت پیشنهاد شده است. یکی از آنها روش سبد کلمات است که در این روش پس از حذف کلمات ایست برای هر جمله برداری ایجاد میشود. بردارهای ایجاد شده طبق فرمول زیر نرمال میشوند:
بردارهای ایجاد شده در روش سبد کلمات قادر به نمایش محتوای معنایی جملات نیستند. به همین دلیل از مدل های بای گرام نیز استفاده شده است. در شکل زیر معماری مورد استفاده برای شبکه عصبی کانولوشن یک بعدی نمایش داده شده است:
در این شکل si بیانگر بردار کلمه iام از جمله و s بیاتگر بردار جمله است.
# نحوه آموزش شبکه
برای آموزش شبکه از 50 بعد (word embedding d=50) که توسط مدل زبانی عصبی کولوبرت و وستون[] انتشار یافته استفاده شده است.
# پیاده سازی
# ابزار مورد استفاده
# نتایج
# مراجع
[1]Karl Moritz Hermann and Phil Blunsom. The role of syntax in vector space models of compo-sitional semantics. In Proceedings of ACL, 2013
[2] Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. A convolutional neural network
for modelling sentences. In Proceedings of ACL, 2014.
[3]Richard Socher, Brody Huval, Christopher D. Manning, and Andrew Y. Ng. Semantic compo-sitionality through recursive matrix-vector spaces. In Proceedings of EMNLP-CoNLL, 2012.
[4]Mengqiu Wang, Noah A Smith, and Teruko Mitamura. What is the jeopardy model? a quasi-synchronous grammar for qa. In EMNLP-CoNLL, 2007
[5]Wen-tau Yih, Xiaodong He, and Christopher Meek. Semantic parsing for single-relation ques-tion answering. In Proceedings of ACL, 2014.
[6] Antoine Bordes, Sumit Chopra, and Jason Weston. Question answering with subgraph embed-dings. In Proceedings of EMNLP, 2014.
[7]Antoine Bordes, Jason Weston, and Nicolas Usunier. Open question answering with weakly supervised embedding models. In Proceedings of ECML, 2014.
[8] Ronan Collobert and Jason Weston. A unified architecture for natural language processing:
deep neural networks with multitask learning. In Proceedings of ICML, 2008