نتیجه این پروژه تشخیص کلمه حذف شده از یک جمله به زبان فارسی با توجه به ویژگی های ساختی زبان و تکمیل جملات ناقص بر اساس نکات دستوری و معنایی آن جمله می‌باشد. # مقدمه حتما برای شما هم پیش آمده است که کلمه‌ای بر نوک زبانتان باشد، اما هر چه فکر می‌کنید نمی‌توانید آن را به خاطر بیاورید. احتمالا با دست‌نوشته‌های بدخط و ناخوانایی مواجه شده‌اید و تشخیص برخی از واژه‌ها در آن برایتان دشوار بوده است. شاید شما هم جزء آن دسته از افرادید که دوست دارید یک دستیار توانا و هوشمند در نگارش جملات زیبا کمکتان کند. شخصی را در نظر بیاورید که به دلایل مختلف ،از ناتوانی رنج می‌برد و فشردن یک کلید کمتر هم، می‌تواند به تسریع نگارش او کمک بزرگی بنماید. با اندکی جست‌وجو در می‌یابید که چنین سیستم‌ها و ابزارهایی برای زبان‌های رایج دنیا ، از جمله انگلیسی، به فراوانی یافت می‌شود. اما متاسفانه کمبود چنین دستیارهای هوشمند و پرکاربردی، در زبان فارسی بیشتر به چشم می خورد. شاید یکی از دلایل عمده آن، پیچیدگی‌ها و چالش‌های پیش روی پردازش زبان مادریمان باشد. به هر حال در این مقاله قصد داریم به شرح و پیاده‌سازی سیستمی برای پیش‌بینی واژه‌ها[^word prediction] دریک جمله‌ی زبان فارسی بپردازیم. ## چالش‌های پردازش زبان فارسی [2] زبان فارسی از جمله زبان‌های پیچیده در مراحل پردازشی و پیش‌پردازشی زبان‌های طبیعی به شمار می‌آید. برخی از این موارد عبارتند از: ### فاصله و نیم‌فاصله [^Space and half space] یکی از مهم‌ترین مشکلات زبان فارسی، فاصله‌های میان واژه‌ها است. در مواردی لازم است بجای فاصله، یک نیم‌فاصله قرار گیرد و یا برعکس؛ معمولا کاربرها در هنگام تایپ این موضوع را رعایت نمی‌کنند. مثلا در واژه‌ی " ناامید " ممکن است میان " نا " و " امید " فاصله یا نیم‌فاصله قرار دهند. ### ابهام در یونیکد[^ Unicode ambiguity] چون زبان عربی و فارسی کاراکترهای یکسان با یونیکدهای متفاوت دارند، برای هر کاراکتر چندین یونیکد مختلف وجود دارد. مثلا کاراکتر " ی " 56 کد مختلف با شکل مشابه دارد. ### کاراکترهای نامتداول[^Uncommon characters] برخی از کاراکترها مانند " ء " ، " ؤ " ، " أ " و" إ " ممکن است در دست‌نوشته‌ها هم به کار برده نشوند اما وجود آنها ابهام را در پردازش زبان طبیعی زیاد می‌نماید. البته در بیشتر موارد با جایگزینی این کاراکترها با پرکاربردترین آن، معنی واژه تغییر نمی‌کند و می‌تواند راه حل مناسبی باشد. ### آواها[^Diacritical mark] در فارسی شش مصوت وجود دارد که معمولا درنگارش استفاده نمی‌شوند مگر آن که نبود آن ابهام ایجاد نماید. اما به‌هر حال در مواردی وجود این آواها در نوشتار می‌تواند مشکل‌ساز شود. ### کلمات چنداملایی در زبان فارسی برخی از کلمات دارای چندین صورت املایی مختلف می‌باشند. ## پیش‌پردازش زبان طبیعی[^ Natural Language Preprocessing] قبل از شروع پردازش‌های مورد نظر روی زبان‌های طبیعی، لازم است تا پیش‌پردازش‌هایی روی آن صورت گیرد تا اطلاعات مورد نیاز از متن زبان مقصد به‌دست آید. برای این کار روش‌های متعددی وجود دارد که هرکدام به‌دنبال استخراج اطلاعاتی خاص از زبان می‌باشند. از جمله این روش‌ها می‌توان به نرمال‌سازی[^Normalizer or Unification]، قطعه‌بندی[^Segmentation]، ریشه‌یابی[^Stemming]، لم‌یابی[^Lemmatization]، برچسب‌گذاری اجزای کلام[^POS Tagger] و... اشاره نمود که در ادامه برخی از این روش‌ها به اختصار آورده‌شده‌اند. ### نرمال‌سازی یا یکسان‌سازی وظیفه یکسان‌ساز، یکسان‌سازی برخی نویسه‌ها و حذف حرکت‌های موجود در متن می‌باشد. این کار به سبب وجود نویسه‌های متفاوت برای یک حرف در رسم‌الخط فارسی جزء ضروریات اولیه می‌باشد. نویسه‌هایی مانند "ی"، "ک"، "الف" و ... در این قسمت یکسان‌سازی شده و حرکه‌هایی مانند انواع تنوین، همزه، تشدید و ... در این قسمت حذف می‌شوند. [2]  ### قطعه‌بندی همانطور که از نام آن پیداست هدف از پیش‌پردازش قطعه‌بندی، جداسازی کاراکترهای تشکیل‌دهنده‌ی متن به دنباله‌ای از کلمات می‌باشد. ازجمله کارهایی که در این قسمت انجام می‌شود اصلاح فاصله‌های نادرست میان کلمات مرکب و پیشوندها و پسوندها است تا واژه‌ها، نوشتار و معنای درست خود را حفظ نمایند.  قطعه‌بندی و تشخیص صحیح مرز کلمات و عبارات در بسیاری از سیستم‌های پردازش زبان طبیعی مانند تشخیص گروه های نحوی و پردازش آنها در سیستم‌های ترجمه ماشینی، استخراج اطلاعات، سیستم پرسش و پاسخ، تشخیص نقش های موضوعی، موتورهای جستجو و غیره نقش کلیدی ایفا می‌کند. با توجه به این کاربردها، قطعه‌بندی صحیح کلمات می تواند موجب بهبود در بازدهی فعالیت‌های ذکرشده شود. در زبان فارسی به علت وجود فاصله و نیم‌فاصله، عدم توجه کاربران به فاصله‌گذاری‌ها و نبود قواعد دقیق در نوشتن کلمات چندقسمتی، تشخیص و قطعه‌بندی کلمات چندقسمتی و مرکب با مشکلات و پیچیدگی‌های خاص خود روبه‌رو است. [6] ### ریشه‌یابی در زبان فارسی واژه‌ها با توجه به نقش معنایی و نحوی خود در جمله به شکل‌های ظاهری متفاوتی حضور می‌یابند؛ این شکل ظاهری متفاوت از جهتی نشان‌دهنده معنای متفاوت این واژه‌هاست، اما با توجه به این که تمامی آنها از یک ریشه مشتق شده‌اند، از نظر معنا قرابت نسبتا زیادی خواهند داشت. ازهمین رو در بسیاری از کاربردهای پردازش زبان طبیعی و بازیابی اطلاعات، نیاز داریم تا همه مشتقات یک واژه را به ریشه‌ی آن، که همان شکل ساده‌ی واژه می‌باشد، تبدیل نماییم. ریشه‌یاب فارسی همانند ریشه‌یابی در الگوریتم پورتر[^Porter] است که اساس کار در هردو ریخت‌شناسی[^Morphology] زبان مقصد است و به سبب همین امر، تفاوت‌هایی نیز میانشان است. برای مثال در الگوریتم پورتر نیاز است تا آواها در ریشه‌یابی کلمات در نظر گرفته شود، در صورتی که در زبان فارسی این آواها نوشته نمی‌شوند. در تصویر زیر نمونه‌ای از یک ماشین حالت[^state machine]، برای ریشه‌یابی در زبان فارسی آورده‌شده‌است.[3]  ## پردازش زبان فارسی[^Natural Language Processing] در این مرحله باید با توجه به اطلاعات به‌دست آمده از پیش‌پردازش‌ها، به پردازش زبان فارسی برای دستیابی به هدف مورد نظر، یعنی پیش‌بینی واژه در ساخت جملات، پرداخت. شرح این موضوع و روش‌های آن در بخش بعدی بررسی خواهد شد. # کارهای مرتبط در این قسمت، ابتدا به روش‌های پردازش زبان فارسی به منظور ایجاد سیستمی برای پیش‌بینی واژه می‌پردازیم. سپس یکی از الگوریتم به‌کار برده‌شده در چنین سیستمی را شرح خواهم داد و در پایان یک ابزار مرتبط با این پروژه و پردازش زبان فارسی را معرفی می‌نمایم. ## متودولوژی[^methodology]های پیش‌بینی کلمه[1] در این قسمت به شرح سه راهبرد اصلی که تا کنون در چنین سیستم‌هایی به‌کار برده‌شده‌است می‌پردازیم. ### مدل‌سازی آماری[^Statistical Modeling] در مدل‌سازی آماری، انتخاب کلمات براساس احتمال ظاهر شدن یک رشته در یک متن می‌باشد. از این رو به چنین مدل‌سازی، مدل‌سازی احتمالی نیز می‌گویند. اطلاعات آماری و جداول توزیع آن می‌تواند برای پیش‌بینی حروف، کلمات، عبارات و حتی جملات مورد استفاده قرار گیرد. ** پیش‌بینی حروف**[^letter prediction] احتمالا با این تکنولوژی در تلفن‌های همراه برای نوشتن یک پیامک و یا یک متن آشنا هستید. این تکنولوژی می‌تواند کمک قابل توجهی در تسریع عمل نگارش در این دستگاه‌ها نماید. از سه متودی که در این تکنولوژی رایج است می‌توان به روش پیش‌بینی‌کننده‌ی مبتنی بر واژه‌ی متن ورودی، واژه‌ی معقول و حرف معقول اشاره نمود. ** پیش‌بینی کلمات** این سیستم‌ها سعی دارند کلمات مقصود کاربر را حدس بزنند و آنها را در لیستی از واژه‌ها در اختیار او قرار دهند. در این سیستم‌ها مدل‌سازی آماری زبان بیشترین کاربرد را دارد. اساس چنین سیستم‌هایی فرض مارکو[^Markov assumption] است که میگوید تنها n-1 کلمه‌ی قبلی در انتخاب کلمه‌ی بعدی تاثیر می‌گذارند. از این رو به آن مدل n-gram مارکو نیز می‌گویند. فرکانس واژه و فرکانس دنباله‌ی واژه از متودهای رایج در این سیستم‌ها هستند.  ### مدل‌سازی دانش‌محور[^Knowledge-based Modeling] سیستم‌هایی که کمتر از مدل‌های آماری بهره می‌برند، معمولا خطاهای نحوی، معنایی و گرامری در پیشنهادهای‌شان وجود دارد. بدین ترتیب سرعت تایپ کاربر را پایین می‌آورند. حذف واژه‌های نامناسب موجب افزایش سرعت و البته اعتمادبه‌نفس کاربر در نگارش متون می‌شود. بنابراین می‌توان از دانش‌های زبانی برای بهبود لیست کلمات پیشنهادی بهره برد. این دانش‌ها در سه زمینه‌ی نحوی، معنایی و گرامری مورد استفاده قرار می‌گیرد. برای مثال در پیش‌بینی نحوی، سیستم با استفاده از برچسب‌های POS[^Part-of-speech] که برای تمامی کلمات موجود است و با استفاده از قواعد نحوی زبان، کلمات نامناسب را از لیست پیشنهادی حذف می‌نماید. البته این ساده‌ترین روش آن است. در روش‌های پیچیده‌تر سیستم با استفاده از کلمات قبلی و بعدی و برچسب‌های POS آنها سعی در محاسبه‌ی احتمال کلمات کاندید می‌نماید. ### مدل‌سازی اکتشافی (انطباقی)[^heuristic Modeling(Adaptation)] برای ایجاد پیش‌بینی‌های دقیق‌تر و مناسب‌تر برای یک کاربر خاص، از روش‌های تطبیق استفاده می‌شود. در این متولوژی سیستم سعی دارد با هر کاربری به طور جداگانه انطباق پیدا کند و در واقع به نوعی سعی دارد با توجه سبک نگارش و کلمات استفاده شده توسط کاربر پیشنهادات خود را به نظر او نزدیک‌تر نماید. دو روش معمول در چنین سیستم‌هایی یادگیری کوتاه‌مدت و یادگیری بلندمدت است. در یادگیری کوتاه‌مدت سیستم تنها با توجه به نوشته‌ی جاری سعی در تطبیق خود با کاربر دارد و در این راه از متودهای مختلفی از جمله ارتقاء تاخر، هدایت موضوع و کش n-gram بهره می‌برد. در یادگیری بلند مدت در کنار نوشته‌ی جاری از نوشته‌های قبلی کاربر نیز جهت تطبیق و همگام‌سازی سیستم استفاده می‌شود. بنابراین با استفاده‌ی بیشتر از سیستم درصد انطباق آن با کاربر بیشتر و بیشتر می‌شود. از جمله متودهایی که در تطبیق اکتشافی کاربرد دارد می‌توان به اضافه نمودن واژه‌ی جدید، کپیتال نمودن خودکار و ایجاد ترکیب‌های جدید نام برد. ## بررسی یک الگوریتم[4] در این بخش الگوریتم پیشنهادی و فلوچارت آن شرح داده می شود.  این سیستم از چهار بخش اصلی تشکیل شدهاست: الف) اطلاعات آماری از قسمت training corpus برای الگوریتم پیش‌بینی استخراج می‌شود. ب) برنامه‌ی پیش‌بینی‌کننده‌ای که سعی بر پیشنهاد کلمه به کاربر دارد. این بخش خود شامل دو قسمت تکمیل واژه و پیش‌بینی واژه می‌باشد. الگوریتم پیش‌بینی ابتدا کلمه‌ی ناقص را تکمیل نموده و سپس لیستی از کلمات مناسب و محتمل را پیشنهاد می‌دهد. ج) کاربر شبیه‌سازی‌شده‌ای که نوشته را وارد می‌نماید. این کاربر واژه‌های مناسب و زیبا را انتخاب نموده و آن را از دست نمی‌دهد. د) بخشی که بروزرسانی اطلاعات آماری مربوط به تاخر کلمات مورد استفاده و اضافه نمودن واژه‌های جدید بهمراه فراوانی استفاده به عهده دارد. برای همگام‌سازی سیستم با کاربر دو فرآیند انجام خواهد شد. یکی استخراج تک‌کلمه‌ای ، دوکلمه‌ای و سه‌کلمه‌ای از متن جاری و دیگری ذخیره و بروزرسانی اطلاعات آماری در یک فایل پویا. این درحالی است که اطلاعات اخیر مربوط به فایل استاتیکی بوده که اطلاعات آماری یادگرفته شده را در خود ذخیره می‌نمود. در هنگام پیش‌بینی واژه، ابتدا به سراغ فایل پویا[^dynamic] می‌رود و وزن بیشتری به کلماتی که اخیرا مورد استفاده قرار گرفته داده می‌شود. سپس به سراغ فایل استاتیک[^static] رفته و از آن استفاده می‌نماید. به این ترتیب هرچه این سیستم بیشتر مورد استفاده قرار گیرد، بیشتر با سبک نگارش کاربر منطبق می‌شود و در نتیجه کلمات مناسب‌تری را پیشنهاد می‌دهد. ## [ابزار پارسی‌پرداز قرآن‌جوی](http://quranjooy.itrc.ac.ir/nlp.php) ابزار پارسی‌پرداز توسط اعضای پروژه سامانه پرسش و پاسخ قرآنی در پژوهشکده ملی فضای مجازی (مرکز تحقیقات مخابرات)، تولید و پیاده‌سازی شده است. زبان فارسی به دلیل کمبود منابع زبانی جزو زبان‌هایی است که از نظر ابزارهای پردازش زبان با محدودیت‌های بسیاری مواجه است. اکثر تحقیقاتی که تا کنون بر روی پردازش زبان فارسی انجام شده است، بر روی پردازش یک حوزه محدود از زبان تمرکز کرده‌اند. ابزار پارسی پرداز یک ابزار جامع پردازش زبان فارسی می‌باشد که در بسیاری از پروژه‌های مرتبط با زبان‌شناسی رایانشی قابل به کارگیری خواهد بود، به نحوی که با دریافت متن خام فارسی، پردازش‌های زبان فارسی را از پایین‌ترین لایه پردازش زبان طبیعی یعنی لایه لغوی آغاز کند و تا لایه‌های بالاتر مانند لایه دستور و معنا ادامه دهد. این نرم افزار قادر است ترکیبی از یکسان‌سازی، قطعه‌بندی، برچسب‌گذار جزء کلام، تحلیل‌گر ساختواژی شامل ریشه‌یاب و لم‌یاب ، تجزیه‌گر نحوی وابستگی و در نهایت برچسب‌گذار نقوش معنایی(SRL)، را اجرا کند. نتایج آزمایشات دقت و کارایی بالایی را برای این ابزار نشان داده‌اند.  # آزمایش‌ها # کارهای آینده # مراجع [1] Masood Ghayoomi, Saeedeh Momtazi; "An Overview on the Existing Language Models for Prediction Systems as Writing Assistant Tools" ; Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics; Saarland University [2] Zahra Sarabi, Hooman Mahyar, Mojgan Farhoodi; "ParsiPardaz: Persian Language Processing Toolkit" ; Cyber Space Research Institute, Tehran,2013 [3] Kazem Taghva, Russel Beckley, Mohammad Sadeh; "A Stemming Algorithm for the Farsi Language"; Iformation Science Research Institute; Unversity of Nevada, 2003 [4] Masood Ghayoomi, Seyyed Mostafa Assi; "Word Prediction in a Running Text: A Statistical Language Modeling for the Persian Language" ; institute for Humanities and Cultural Studies, Tehran [5] Ciprian Chelba,Tomas Mikolov, Mike Schuster, Qi Ge, Thorsten Brants, Phillipp Koehn, Tony Robinson; "One billion Word Benchmark for Measuring Progress in Statistical Language Modeling"; "GOOGLE" ; University of Edinburgh [6]محمدمهدی میردامادی، علی محمد زارع بیدکی و مهدی رضائیان؛"قطعه بندی عبارات متون فارسی با استفاده از شبکه های عصبی"؛ نشریه مهندسی برق و مهندسی کامپیوتر ایران، ب- مهندسی کامپیوتر، سال 11 ، شماره 2، زمستان 1392