<a href="http://moujez.ir" style="margin: 0 auto;text-align: center;" target="_blank">
<img src="http://upload7.ir/imgs/2014-04/31690574355549344892.png" />
</a>
** نسخه آزمایشی: ** پیاده سازی اولیه را از [این‌جا](http://moujez.ir/) مشاهده نمایید. لطفا در صورت مشاهده‌ی باگ، [گزارش دهید](https://bitbucket.org/vahidkharazi/moujez/issues?status=new&status=open).
# چکیده
در این پروژه، ابتدا به بیان و پیاده‌سازی چند روش خلاصه‌سازی متن خواهیم پرداخت و تکنیکهای خاصی را که منحصرا به خلاصه‌سازی خبر مربوط می‌شوند را توضیح می دهیم. سپس کارگزارِ[^1] خلاصه‌سازیِ خبرِ [موجز](https://bitbucket.org/vahidkharazi/moujez)، که از ترکیب چند روش خلاصه‌سازی آماری و یادگیریِ ماشین استفاده می کند را معرفی می کنیم. موجز، از تکنیکهای مربوط به پردازش زبان طبیعی و قواعد مربوط به زبان فارسی برای بهبود نتایج خود استفاده می کند. پس از پیاده سازی این سیستم با زبان برنامه نویسی پایتون، نتایج را با یک مجموعه‌ی خبر که توسط انسان خلاصه شده‌است مقایسه میکنیم و این سیستم را با روشهای ارزیابی ذاتی و بیرونی سیستمهای اتوماتیک خلاصه سازی، می‌‌‌سنجیم. نشان خواهیم داد که در بدترین حالت، در کیفیت خلاصه و معیارهایی نظیر دقت[^2]و فراخوانی[^3]، نسبت به سیستمهای مشابه بهبود نسبی حاصل شده است.
# ۱. مقدمه
در سال‌‌‌های اخیر نرخِ رشدِ اطلاعات، بسیار فزاینده است. با توجه به این افزایش حجم مستندات متنی، برای پاسخگویی به نیاز‌‌‌های اطلاعاتی کاربران، دیگر تکنیکهای بازیابی اطلاعات به تنهایی کارا نیستند. از این رو خلاصه‌سازی متن‌‌‌ها به منظور فهم کلیه اطلاعات بااهمیت متن از جایگاه ویژه‌ای برخوردار است. این کار منجر به استفاده از منابع بیشتر و با سرعت بالا‌‌تر و در نتیجه حاصل شدنِ اطلاعاتِ غنی‌‌‌تر میشود. امروزه کارگزارهای خلاصه‌ساز متن در خلاصه‌سازی اطلاعاتِ پزشکیِ بیماران[1]، سرویس‌‌‌های صوتی برای ناشنوایان، موتور‌‌های جستجو، خلاصه‌سازی نامه‌‌‌‌های الکترونیکی[2]، اخباردر آینده تکمیل می‌گردزنجیره‌های لغوی، کلماتی هستند که از نظر معنایی با یکدیگر مشابهند. به عنوان نمونه، واژگانی نظیر کوشش، سعی و تلاش در یک زنجیره قرار می‌گیرند. روشهای خلاصه‌سازی مبتنی بر زنجیره لغوی، در سه مرحله عمل می کنند[15]:
۱. تولید زنجیره‌های لغوی
۲. امتیاز دادن به زنجیره‌ها
۳. یافتن بهترین زنجیره برای ارزش‌دهی و استخراج جملات کلیدی
نیاز به توضیح بیشتر دارد.
### ۲.۴.۴روش های مبتنی بر یادگیری
در آینده تکمیل می‌گرداین روش نیاز به وجود یک مجموعه سند خبری و خلاصه آن‌ها دارد. اگر ما چنین مجموعه‌ای از داده‌ها را داشته باشیم می‌توانیم به کمک راه حل‌هایی که برای طبقه‌بندی مطرح شده‌است، مساله خلاصه‌سازی را حل میکنیم. در حین یادگیری، داده‌ها به یک الگوریتم طبقه‌بندی داده می‌شوند. جملات به چند گروه جملات خلاصه و جملات غیر خلاصه با ویژگی‌هایی که دارند تقسیم بندی می‌شوند. برای یادگیری می‌توان از روش‌هایی مانند Naive Bayes استفاده کرد[14, 23].
نیاز به توضیح بیشتر دارد.
### ۲.۴.۵. روش مبتنی بر ضریب خوشه بندی و ارزیابی ترایایی
در آینده تکمیل می‌گردد.
### ۲.۴.۶روش مبتنی بر تئوری فراکتال ها
در آینده تکمیل می‌گردد.
# ۳. روش پیشنهادی
در آینده تکمیل می‌گردد.
# ۴. ارزیابی
ارزیابی کارگزار خلاصه‌ساز متن، یک فرایند پیچیده است. زمانی که ما از ارزیابی یک سیستم خلاصه ساز، صحبت میکنیم باید حداقل دو ویژگی را اندازه گیری کنیم[8]: نسبت فشردگی [^7] (چه میزان متن خلاصه شده، کوتاه‌تر از متن اصلی است؟)
$$ CR = \frac{lengthof Summary}{length of Full Text} $$
و نسبت نگهداری[^8](چه میزان از اطلاعات نگهداری شده است؟)
$$ RR = \frac{information in Summary}{information Full Text} $$
معمولا ارزیابی‌های زیر برای یک سیستم خلاصه‌ساز تعریف میشود:
## ۴.۱. ارزیابی ذاتی [^9]
تمرکز روش های ارزیابی ذاتی بر روی پیوستگی و اطلاع‌رسانی خلاصه ها است و تنها کیفیت خروجی بدون توجه به هدف نهایی مورد سنجش قرار می گیرد.
### ۴.۱.۱. پیوستگی خلاصه
گاهی اوقات، جملاتی که در خلاصه‌هایی که به روش مستخرج تولید می شوند دچار بی ارتباطی معنایی در دنباله جملات هستند. یکی سنجه‌ی پیوستگی خلاصه، درجه بندی جمله‌ها بر حسب میزان پیوستگی‌شان است. سپس باید درجه جملات خلاصه با امتیازات خلاصه های مرجع، با امتیازا جملات منبع، با با امتیازات سایز سیستمهای خلاصه ساز، مقایسه شود.
### ۴.۱.۲ Summary Informativeness
در آینده تکمیل می‌گردد.
### ۴.۱.۳ فراخوانی و دقت
از جمله معیارهای استاندارد در بازیابی اطلاعات، فراخوانی و دقت هستند: فراخوانی برابر با نسبت تعداد جملاتی که توسط سیستم درست تشخیص داده شده بر تعداد جملاتی که توسط سیستم معیار درست تشخیص داده شده اند،
$$ Precision Rate = \frac{Number of Correctly Selected Sentences}{Totoal Number of Selected Sentences} $$
همچنین دقت برابر است با نسبت تعداد جملاتی که توسط سیستم درست تشخیص داده شده اند بر تعداد کل جملاتی که توسط سیستم برای خلاصه ایجاد شده اند،
$$ Recall Rate = \frac{Number of Correctly Selected Sentences}{Totoal Number of Correct Sentences} $$
از ترکیب این دو معیار، معیاری تحت عنوان F-Measure ایجاد میشود.
## ۴.۲. ارزیابی بیرونی [^10]
مرکز اصلی در ارزیابی بیرونی، به روی کاربر است. در این روش میزان موثر بودن و قابلیت پذیرش خلاصه‌های تولید شده، با برخی از روش ها مثل ارزیابی رابطه‌ای یا خوانایی متن خلاصه، سنجیده می شود.
چندین سناریوی بازی به روش های سطحی برای ارزیابی خلاصه، پیشنهاد داده شده که در زیر تعدادی از آن ها را معرفی می کنیم:
### ۴.۲.۱. بازی شانون
در آینده تکمیل می‌گردد.
### ۴.۲.۲. بازی سوال
در آینده تکمیل می‌گردد.
### ۴.۲.۳. بازی دسته‌بندی
در آینده تکمیل می‌گردد.
### ۴.۲.۴. کلمات کلیدی انجمنی
در آینده تکمیل می‌گردد.
# ۵. نتیجه‌گیری
در آینده تکمیل می‌گردد.
# ۶. مراجع
1. Afantenos, S., Karkaletsis, V., & Stamatopoulos, P. (2005). Summarization from medical documents: a survey. Intelligence in Medicine. Elsevier
2. Dalli, A., Xia, Y., & Wilks, Y. (2004). Fasil email summarisation system. Proceedings of the 20th International Conference. ACM
3. Bogdanovski, A. (2006). An Automatic Text Summarizer.
4. Hovy, E. H., Lin C.(1998), Automating Text Summarization in SUMMARIST, In I. Mani and M. Maybury (eds), Advances in Automated Text Summarization, MIT Press
5. Shamsfard, M., Akhavan, T., & Jourabchi, M. E. (2009). Parsumist: A Persian text summarizer. 2009 International Conference on Natural Language Processing and Knowledge Engineering, 1–7.
6. Moro, R. (2011) Personalized Text Summarization. Personalized Web - Science, Technologies and Engineering.
7. Smedt, K. De, & Liseth, A. (2004). How short is good? An evaluation of automatic summarization.
8. Hassel, M. (2004). Evaluation of automatic text summarization. Licentiate Thesis, Stockholm, Sweden.
9. Shamsfard, M. (2011). Challenges and open problems in Persian text processing. 5th Language & Technology Conference (LTC) 65–69.
10. Lee, S., & Kim, H.-J. (2008). News Keyword Extraction for Topic Tracking. 2008 Fourth International Conference on Networked Computing and Advanced Information Management
11. محسن مشکی، مرتضی آنالویی. خلاصه‌سازی چندسندی متون فارسی با استفاده از یک روش مبتی بر خوشه بندی. اولین کنفرانس مهندسی نرم‌افزار ایران. آموزشکده فنی و حرفه‌ای سما، رودهن
12. دستور خط زبان فارسی، مصوب فرهنگستان زبان و ادب فارسی (۱۳۸۹) . نشر آثار
13. Al-Hashemi, R. (2010). Text Summarization Extraction System (TSES) Using Extracted Keywords. Int. Arab J. E-Technol.164–168.
14. Chuang, W., & Yang, J. (2000). Extracting sentence segments for text summarization: a machine learning approach. Proceedings of the 23rd Annual International ACM, 152–159.
15. Barzilay, R., Elhadad, M. (1997). Using lexical chains for text summarization. Intelligent Scalable Text Summarization.
16. Das, D. (2007). A Survey on Automatic Text Summarization Single-Document Summarization, 1–31.
17. Gholamrezazadeh, S. (2009). A comprehensive survey on text summarization systems.
18. Elena Lloret, Teresa Rom, a-Ferri, Manuel Palomar. (2011). COMPENDIUM: A Text Summarization System for Generating Abstracts of Research Papers. Lecture notes in computer science. Springer
19. Jing, H. (2000). Sentence reduction for automatic text summarization. Proceedings of the Sixth Conference on Applied Natural…, 310–315.
20. Li, Y., & Cheng, K. (2011). Single document Summarization based on Clustering Coefficient and Transitivity Analysis.
21. Mani, I. (2001). Summarization evaluation: An overview.
22. Nenkova, A. (2011). Automatic Summarization. In Foundations and Trends® in Information Retrieval (Vol. 5, pp. 103–233).
23. Neto, J., Freitas, A., & Kaestner, C. (2002). Automatic text summarization using a machine learning approach. Advances in Artificial Intelligence, (i).
24. Sjöbergh, J., & Araki, K. (2006). Extraction based summarization using a shortest path algorithm. Proceedings of 12th Annual Language Processing ….
25. Steinberger, J. (2004). Using Latent Semantic Analysis in Text Summarization.
26. Thakkar, K., & Shrawankar, U. (2011). Test Model for Text Categorization and Text Summarization. International Journal on …,1539–1545.
27. Tofighy, M., Kashefi, O., & Zamanifar, A. (2011). Persian Text Summarization Using Fractal Theory. Springer, 651–662.
28. Jing, H., Barzilay, R., McKeown, K., & Elhadad, M. (1998). Summarization evaluation methods: Experiments and analysis. … on Intelligent Summarization, 51–59.
29. Wong, L. (n.d.). ANSES: Automatic News Summarization and Extraction System.
** توضیح: ** فعلا از منبع ۱۳ به بعد استفاده نشده است.## ضمایم
۱. [لیست کلمات ایست فارسی(مناسب با متون خبری)](http://blahblahblah.moujez.ir)
[^1]: Agent
[^2]: Precision
[^3]: Recall
[^4]: Extract
[^5]: Abstract
[^6]: Stop Words
[^7]: Compression Ratio
[^8]: Retension Ratio
[^9]: Intrinsic Evaluation
[^10]: Extrinsic Evaluation