یکی از خصوصیاتی که به عنوان ورودی در اکثر وظایف پردازش زبان طبیعی استفاده می‌شود، برچسب اجزای سخن است. برای این منظور یک مجموعه تگ (tagset) مانند شکل زیر انتخاب می‌شود و به هر واژه در متن یک برچسب اختصاص داده خواهد شد.

کاربرد اصلی و ریشه ای این مسئله در تعیین نقش دستوری واژه ها در متن ورودی ("پیکره") و نسبت دادن برچسب های واژگانی به واژه ها و نشانه های به کار رفته در یک متن است.

۱. مقدمه

تعیین نقش دستوری واژه ها در متن ورودی (پیکره) با نسبت دادن برچسب های واژگانی به واژه انجام میشود.
از کاربرد های برچسب گذاری میتوان به پیشبینی واژه های بعدی در جملات ناقص یا در حال کامل شدن، تشخیص گفتار، تشخیص دست خط، ارتباط تقویتی برای معلولان زبانی، کشف خطاهای املایی، ترجمه خودکار، تجزیه و تحلیل نحوی و بازیابی اطلاعات اشاره کرد.

در این موضوع، بحث تعیین احتمال رخداد دنباله ای از لغات نیز مطرح میشود که به منظور تعیین احتمال استفاده یک واژه به عنوان واژه بعدی در یک متن ناقص است. در اینجا موضوع "احتمال" بسیار حائز اهمیت است. این احتمال از "پیکره" استخراج میشود.
یعنی سیستم با آنالیز و بررسی پیکره های مختلف و معتبر این احتمال را به دست می آورد.

تعریفی که برای پیکره در [1] ارائه شده به این صورت است:
"حجم زیادی از داده های زبانی که بر اساس معیار های مشخص برای هدف معینی جمع آوری و ذخیره شده اند به صورتی که نماینده و با گویش مورد مطالعه باشند."
برچسب گذاری به عنوان یکی از مراحل میانی کاربرد های ذکر شده است. میزان دقت برچسب گذاری به دقیق بودن نتیجه نهایی کمک میکند و تاثیر گذار است.

چندین روش مختلف برای برچسب گذاری مطرح میشود:
1- روش مبتنی بر قواعد
2- روش آماری محض
3- روش مبتنی بر گذار

در برچسب گذاری رده بندی هایی برای کلمات صورت میگیرد. و برچسب های مختلف در گروه هایی دسته بندی میشوند. برای مثال انواع فعل در یک گروه قرار میگیرند. به این رده بندی برچسب گذاری ها، "مجموعه برچسب" گفته میشود.
روش های رده بندی را میتوان به دو دسته تقسیم بندی کرد:
1- روشی که ابتدا رده بندی برای کلمات در برچسب گذاری انجام شده است و بعد از آن به سراغ ابهام زدایی این رده بندی ها میرویم.
2- روشی که در حین رده بندی ابهام زدایی نیز صورت میگیرد.

ورودی سیستم های برچسب گذاری شامل مجموعه ای از برچسب های ممکن و همینطور رشته ای است که میخواهیم برچسب گذاری کنیم.
و خروجی آن نیز رشته ای است که به خوبی برچسب گذاری شده. در اینجا هر چه برچسب گذاری به حالت ایده آل نزدیک تر باشد و دقیق تر انجام شده باشد "خوب" تر است.

۲. کارهای مرتبط

سیستم های پیاده سازی شده توسط الگوریتم hidden marcov model. این سیستم در نرم افزار تبدیل نوشته به صدا "پارس گویان" مورد استفاده قرار گرفته است. 1
این مقاله نیز از دیگر مقالات در زمینه الگوریتم marcov model است. 2

یک الگوریتم ترکیبی از الگوریتم های احتمالی و قانون محور است که در مقایسه با دیگر الگوریتم های بچسب گذاری از این جهت برتری دارد که نیازی به جمع آوری اطلاعات و دانش از قبل ندارد. این الگوریتم نیازی به دامنه ندارد و مستقل از دامنه است زیرا از قوانین مورفولوژیک استفاده میکند. 3

سیستم برچسب گذاری HunPos که با دقت 96.9 درصد انجام میشود. 4

بررسی و آنالیز انواع سیستم های برچسب گذاری در زبان فارسی 5
بررسی و آنالیز انواع سیستم های برچسب گذاری در زبان فارسی 6.pdf)

۳. آزمایش‌ها

۴. کارهای آینده

۵. مراجع

۶. پیوندهای مفید

محمد عبدوس

با سلام و عرض خسته نباشید بابت فعالیتهای صورت گرفته در این فاز. در ادامه به برخی از نکات اشاره شده است که نیاز است تا این موارد بررسی و اصلاح گردد:

1- پراکندگی جملات در مقدمه زیاد است و جملات آن پیوستگی لازم را ندارند.
2- زیر نویس عکس چکیده باید تغییر پیدا کند و لینک آن نیز در مرجع ذکر گردد.
3- توضیح مختصری از روشهای مختلف برچسب زنی که در مقدمه ذکر شده است بیان گردد.
4- ورودی سیستمهای برچسب گذاری معمولا یک جمله است و خروجی آن کلمات جمله به همراه برچسب های آن است در صورتیکه در متن مقدمه ذکر شده است که ورودی علاوه بر جمله، برچسب های ممکن هم باید داده شود و این نیاز به تصحیح است.
5- خوب بود مثالی از یک جمله به همراه برچسب های آن در مقدمه ذکر گردد تا به خواننده در فهم بهتر موضوع کمک کند.
6- کارهای مرتبط به صورت خیلی مختصر توضیح داده شده است و بعضا تنها یک عبارت ذکر شده است و جمله آن نیز کامل نشده است. مثلا عبارت "بررسی و آنالیز انواع سیستم های برچسب گذاری در زبان فارسی" بیشتر به تیتر شبیه است تا اینکه بیانگر خلاصه ای از کار انجام شده برای یک مقاله باشد و نیاز است تا اصلاح گردد.

موفق باشید

برچسب‌زنی اجزای سخن (تحقیقاتی)