تشخیص حالت فرد از روی تصویر

تغییرات
ارزیابی تکمیل کارهای مرتبط و پیاده‌سازی اولیه

تشخیص حالت

۱. مقدمه

تشخیص حالت چهره از مهمترین چالش های پردازش تصویر محسوب می گردد و امروزه این موضوع کاربردهای فراوانی پیدا کرده است . از نمونه این کاربرد های ارتباط انسان با کامپیوتر است که با استفاده از روشهای تشخیص حالت میتوان یک ارتباط به اصطلاح قلبی میان انسان و کامپیوتر ایجاد کرد .به عنوان مثال ربات هایی ساخت که با خوشحالی شما خوشحال و با ناراحتی شما ناراحت شوند . از جمله کاربردهای دیگر این بحث در طراحی انیمیشن و فیلم های کارتونی است به این صورت که اگر یک شخصیت کارتونی حرکات صورت خود را برای نمایش یک حالت از چهره ی یک انسان الهام بگیرد نمایش حالت مورد نظر بسیار حقیقی تر بوده و طراحی نیز ساده تر میگردد .
تشخیص حالات مختلف از روی ویژگی های صورت به خصوص ویژگی های مربوط به چشم ُ دهان و ابرو ها انجام میگیرد و با استفاده از قوانینی که جهت تمییز حالات مختلف از یکدیگر تعریف میشود میتوان حالت چهره را با دقت خوبی مشخص کرد .
در این پروژه سعی میشود تا با پردازش تصویر متحرک و بدست آوردن الگویی از تغییرات نقاط صورت به حالت نهایی چهره دست یافت . کاملا قابل تصور است که تشخیص حالت چهره از روی تصویر متحرک که در واقع نشان دهنده ی تغییر حالت چهره از معمولی به یکی از حالات گفته شده در زیر است از دقت بالا تری نسبت به تشخیص چهره از روی تصویری صامت و ثابت خواهد بود .

۲. کار های مرتبط

شش حالت اصلی چهر ه که اغلب برای تشخیص در نظر گرفته میشوند عبارتند از : خوشحالی ‌ْ ناراحتی ْ خشم ْ تعجب ْ ترس و تنفر .
تعیین حالات چهره با توجه به تغییراتی است که در نقاط مختلف صورت رخ میدهد . این نقاط را واحد های فعال یا AU می نامند .جهت تشخیص حالت میبایست ابتدا با انجام یک سری پیش پردازش ها ناحیه مورد پردازش را روی صورت مشخص نمود سپس چند نقطه مشخصه در صورت تعین کرد و سپس با انجام پردازش های لازم روی تصویر و نرمال سازی اندازه ها این نقاط را در اولین فریم و همچنین فریم های بعدی تعیین نمود . با تعقیب نقاط مشخصه در فریم ها یک بردار ویژگی برای هر یک از نقاط مشخصه به دست می آید و با کمک این بردار ها میتوان به حالت چهره دست یافت .
در شکل زیر 21 نقطه به عنوان نقاط مشخصه در نظر گرفته شده اند .

تصویر نقاط مشخصه

‫برای حذف اثر فاصلۀ دوربین نسبت به‬‫شخص ‪ ،‬کمیتی بنام ‪ BASE‬که در واقع فاصلۀ بین انتهای‬‫ داخلی چشم ها می باشد‪ ،‬در نظر گرفته شده و تمام مقادیر‬
‫اندازه گیری شده نسبت به این کمیت نرمالیزه می شوند‪.
‬‬

BASE=\sqrt{(x_5-x_{10})^2+(y_5-y_{10})^2}

‫‪θ‬‬ نیز زاویه‫‪ BASE‬‬ نسبت به افق است که جهت حذف دوران صورت در نظر گرفته میشود .

\theta = \arctan{\frac{y_5-y_{10}}{x_5-x_{10}}}

‫برای اینکه مختصات‪ FCP‬ها در تصـاویر مختلـف نسـبت بـه‬ ‫یک مرجع ثابتی اندازه گیری شوند ، نقطه مرجع نقطه مرجع تقریبا نوک بینی میتواند فرض شود به عنوان مبدا مقایسه ی مختصات FCP‬ها در تصاویر مختلف در نظر گرفته میشود .
مختصات مبدا برابر خواهد بود با :

x_0 = \frac{x_5+x_{10}}{2}
y_0 = \frac{y_5+y_{10}}{2}
x_org = x_0 – BASE \times \sin \theta
y_org = y_0 – BASE \times \cos \theta

۳. تشخیص حالت های چهره با کمک شبکه عصبی RBF

شبکه عصبی RBF در واقع یک سیستم پردازش اطلاعات است که عملکردی شبیه شبکه عصبی بیولوژیکی دارد و می­توان آن را مدل ریاضی توسعه داده شده قسمت مادی شناخت انسان یا بیولوژی عصبی قلمداد نمود . در این مسئله پس از بدست آوردن بردار های ویژگی ، شبکه ای شامل 21 گره ورودی خواهیم داشت که هر یک از ورودی ها مختص به یکی از مولفه های بردار ویژگی میباشند . این شبکه همچنین شامل یک لایه مخفی و 5 گره خروجی است که هر یک نمایانگر یکی از حالات چهره هستند . لایه ی مخفی از واحد هایی ترکیب یافته که بر اساس تحریکات توابع radial basis عمل میکنند. این واحد ها فیلد نامیده میشوند . لایه خروجی شامل گره هایی است که به بردار خروجی متصل هستند .
گره های ورودی به طور کامل با اتصلات با وزن واحد به فیلد های پذیرنده در لایه مخفی متصل اند و فیلد های پذیرنده به طور کامل با اتصالات وزن دار به واحد های خروجی متصلند .
بدین ترتیب در آزمایش هر یک از حالات ، شبکه عصبی با تصاویر موجود در پایگاه داده ی مورد استفاده آموزش دیده و میتواند توسط تعدادی تصویر دیگر از پایگاه داده مورد آزمایش قرار بگیرد . چهره های مورد آزمایش در هر مرحله در آموزش شبکه دخالت داده نمیشوند .

۴. مراجع

  • خانمحمدی، سهراب، علی آقاگلزاده، و میرهادی سیدعربی، 1381، تشخیص حالتهای چهره براساس نقاط مشخصه صورت با استفاده از شبکه عصبی RBF و منطق فازی، دومین کنفرانس ماشین بینایی و پردازش تصویر، تهران، دانشگاه خواجه نصیرالدین طوسی

  • M. Rosenblum , Y. Yacoob and L. Davis ,"Human Expression Recognition from Motion using a Radial Basis Function Network Architecture," IEEE Trans. on Neural Networks ,vol.7,No.5,september 1996.

  • Claude C. Chibelushi, Fabrice Bourel Facial Expression Recognition :A Brief Tutorial Overview

  • Facial Expression Recognition : Neeta Sarode et. al. / (IJCSE) International Journal on Computer Science and Engineering Vol. 02, No. 05, 2010, 1552-1557

۵. پیوند های مفید

رد شده

از نظر من توضیحاتی که داده شده بسیار جامع و کامل بود و بسیار عالی کارهای مرتبط توضیح داده است.
من برای ارزیابی فقط قسمت کارهای مرتبط را مطالعه کردم.

رد شده

بیشتر در مورد مقدمه صحبت شده بود.بهتر بود در مورد کد و نتیجه پروژه هم اطلاعاتی داده میشد.

تایید شده

با سلام، موضوع بسیار جالبی است. قبلا سایت face.com کاری مشابه‌ را بر روی تصاویر انجام می‌داد(نتایج احمقانه‌ای داشت!:دی) که ظاهرا اواسط ۲۰۱۲ توسط فیس‌بوک خریداری شده. نکات و پیشنهادات زیر به ذهن بنده می‌رسد:

  • متاسفانه لینک کد در صفحه‌ی این ویرایش قرار داده نشده‌ است.

  • می‌توانستید از منابع جدید‌تر و بیش‌تری استفاده کنید.

  • آیا می‌توان، فقط با داشتن تصویری از چشم یک فرد‌ در زمان‌های مختلف(بدون داشتن سایر جزییات صورت)، حالت فرد را تشخیص داد؟! به نظر من می‌رسد که این موضوع، ممکن است ولی نمی‌دانم که روی آن قبلا کاری شده است یا خیر! فکر می‌‌کنم اگر چیزی یک راه‌حل ابتدایی به ذهن برسد به عنوان یک موضوع جدید جای کار داشته‌باشد.(!؟)

  • در مورد تشخیص حالت های چهره با کمک شبکه عصبی RBF توضیحات بیش‌تری بدهید. آیا پیاده‌سازی شما مبتنی بر این روش است؟ از چه داده‌هایی به عنوان داده‌ی آموزش استفاده می‌شود؟ لطفا چند روش دیگر را، حتی منحصر به بیان نام، در پژوهش‌نامه خود بیاورید.

محمد غضنفری

نکته اول اینکه فعلا هیچ پیاده سازی در کار شما وجود ندارد که امیدوارم هرچه زودتر وارد این قسمت شوید.
در مورد شبکه های RBF توضیح خوبی ارائه نشده است و ضمنا خیلی معلوم نیست شما می خواهید چه کنید.
حجم متنتان کم است و جا دارد توضیحات بیشتری در هر بخش ارائه شود.