شبکه عصبی کانولوشن عمیق

شبکه عصبی کانولوشن[1] (CNN) یکی از مهم­ترین روش­های یادگیری عمیق است که لایه­های متعدد در آن به شیوه­ای جدید آموزش می­بینند. این شبکه­ها نوعی از شبکه عصبی چند لایه بوده که برای داده­های دو­بعدی مانند تصویر طراحی شده است. بخش‌های مختلف تصویر به عنوان ورودی به لایه­های شبکه عصبی که به صورت سلسله مراتبی می­باشد، اعمال می­شود و در هر لایه با اعمال فیلتر­های دیجیتال ویژگی‌های مناسبی از تصویر استخراج می‌شود (10). لایه­های کانولوشن با استفاده از کرنل­های مختلف ویژگی‌های مختلف تصویر را کانوالو می­کنند. عملیات کانوالو سه ویژگی مهم دارد که شامل 1.مکانیزم اشتراک گذاری وزن­ها در همان ­ویژگی که تعداد پارامترها را کاهش می­دهد. 2.اتصال یادگیری محلی 3. تغییر ناپذیری با توجه به موقعیت جسم می­باشد. با توجه به مزایای معرفی شده توسط عملیات کانوالو، برخی از مقالات پژوهشی شناخته شده آن را به عنوان جایگزینی برای لایه‌های کاملا متصل به منظور سرعت بخشیدن به فرایند یادگیری استفاده می­کنند.

به طور کلی شبکه عصبی کانولوشن از سه لایه کانولوشن، ادغام و لایه تماما متصل تشکیل می­شود (1). معماری شبکه عصبی کانولوشن از چندین لایه کانولوشن برخوردار است که این لایه­ها تصویر ورودی را با فیلترهایی که ضرایب آن قابل آموزش است، کانوالو میکند، این فیلترها روی تصویر حرکت داده می­شوند در این حالت عمق فیلتر با عمق عکس برابر است. هر فیلتر مجزا یک صفحه از ویژگی را ایجاد می­کند که متعاقب آن استفاده از n فیلتر n صفحه ویژگی را در اختیار ما قرار می­دهد. هر فیلتر وزن­هایی دارد که آنها را w می­نامیم که همانند ضرایب فیلتر­ها قابل آموزش می­باشد و در طول آموزش، شبکه پی در پی بروز می­شود و خروجی که از عمل کانوالو حاصل گردیده با یک عدد که به عنوان عدد بایاس در نظر می­گیریم جمع می­شود و در صفحه ویژگی ذخیره می­گردد.

لایه ادغام معمولا به­دنبال لایه کانوالو مورد استفاده قرار می‌گیرد که می­تواند برای کاهش ابعاد ویژگی­ها و پارامتر‌های شبکه مورد استفاده قرار گیرد. همانند لایه کانوالو لایه­­های ادغام نیز از پیکسل­های مجاور برای محاسبه استفاده می­کنند. استراتژی متفاوتی برای ادغام کردن وجود دارد ولی متداول­ترین روش استفاده از ادغام ماکزیمم است. در روش ادغام ماکزیمم بلوک­هایی با اندازه 2×2در نظر گرفته می­شود و با حرکت دادن این بلوک­ها بر روی تصویر از بین 4 پیکسل مقدار ماکزیمم آن­ها انتخاب شده و به لایه بعدی انتقال می­یابد با این کار تعداد صفحات ویژگی که در دسترس است ثابت مانده اما اندازه صفحات ویژگی کاهش پیدا می­کند. بنابراین در مرحله آخر از لایه­های تماما متصل استفاده می‌کنیم که این لایه­ها عملا صفحه ویژگی دو­بعدی را به یک بردار یک بعدی تبدیل می­کند. این لایه 90 درصد از پارامترهای شبکه عصبی کانولوشن را شامل می­شود. در شکل (2) ساختار شبکه عصبی عمیق نشان داده شده است.

یادگیری عمیق

یادگیری عمیق، تشخیص الگو و یادگیری ماشین را متحول ساخته که این عمل مربوط به تخصیص اعتبار در سیستم­های وفقی با زنجیر­های طولانی می­باشد. اصطلاح یادگیری عمیق اولین بار به ماشین یادگیری دکارت و شبکه­های عصبی مصنوعی اطلاق شد. پس از آن بیشتر یادگیرنده­های عمیق در زمینه شبکه­های عصبی مصنوعی در بین مردم از محبوبیت ویژه­ای برخوردار شدند (12). در یادگیری، ویژگی­های غیر خطی چندین لایه استخراج می‌شود و به یک دسته­بندی کننده اعمال شده و آن هم این ویژگی­ها را با هم ترکیب می­کند تا بتواند یک پیش‌بینی انجام دهد. یکی از مواردی که ما را به استفاده از تعداد لایه­های بیشتر در یادگیری عمیق ترغیب می­کند استفاده از تعداد لایه­های بیشتر بمنظور استخراج ویژگی‌های بیشتر می­باشد.

روش کار در یادگیری عمیق عملا از مغز انسان و نحوه کار قسمت پردازش­گر بینایی مغز است که نورون­های مربوط به سلسله مراتب اولیه که اطلاعات دریافت می­کنند حساس می­باشد و در ادامه خروجی­ها در یک سلسله مراتب دیگر به ساختار­های پیچیده‌تری حساس می­باشند. به طور کلی یادگیری عمیق در این نوع شبکه­ها وابستگی زمانی را هم با خود در­بر دارد، همانطور که در شبکه­های عصبی، ورودی شبکه از ورودی قبلی تاثیر می­پذیرد و تقریبا یک حافظه در یک شبکه عصبی ایجاد می­شود. بنابراین یادگیری عمیق در یادگیری ویژگی­های سلسله مراتبی غیر خطی عمیق خلاصه نمی­شود بلکه می­توان از آن در یادگیری وابستگی‌های زمانی غیر خطی طولانی در داده‌های ترتیبی هم استفاده کرد. طبقه­بندی روش­های یادگیری عمیق به چهار دسته تقسیم می­شود که عبارتند از:

1. روش­های بر پایه شبکه عصبی عمیق

2. روش­های بر پایه RBM [1]

3. روش­های بر پایه اتوانکدرها

4. روش­های بر پایه کدینگ تُنُک

روش کار

در این پژوهش مطالعات بر روی تصاویر پاتولوژی پروستات و تصاویر ماموگرافی سرطان سینه انجام شده است. برای تشخیص درجه بدخیمی سرطان پروستات و خوش­خیم یا بد­خیم بودن سرطان سینه از طبقه­بندی کننده شبکه عصبی عمیق به کمک فریمورک تنسورفلو و بهره‌گیری از کتابخانه کراس استفاده شده است.

در این مقاله استفاده از معماری خاصی از شبکه­های عصبی عمیق پیشنهاد شده است. به­طوریکه از دو لایه کانولوشن و یک لایه تماما متصل استفاده می­کنیم. یکی از مشکلات استفاده از الگوریتم­های عمیق، وجود تعداد زیادی پارامتر قابل آموزش است که مستلزم پایگاه داده­ی زیاد می­باشد. به دلیل اینکه در زمینه پزشکی، تصاویر در دسترس، محدود است در این مقاله سعی شده است با تعداد تصاویر محدود و طراحی معماری سازگار با این محدودیت و افزایش سرعت در روند آموزش و تست به پاسخی مناسب در این زمینه دست یافته شود. مراحل روش پیشنهادی در این مقاله شامل 1) پیش­پردازش 2) کلاس‌بندی 3) آموزش 4) تست می­باشد که بلوک دیاگرام آن در شکل (3)  نمایش داده شده است.

برای ایجاد یک مدل ارزیابی بهتر، پیش از شروع مطالعه اطلاعات مربوط به سرطان، دقیقا از گزارش­های بالینی استخراج می­شود که فرایند فشرده و پر هزینه است. در این معماری تصاویری با ابعاد ثابت در ورودی مورد نیاز می‌باشد، به همین دلیل پیش از آموزش تصاویر به ابعاد ثابت 250×250 تغییر اندازه داده می­شود و با تغییر فرمت تصاویر سرطان سینه از PGM به JPG تصاویر برای کلاس بندی آماده می­شود.

در مرحله کلاس­بندی، چهار کلاس برای تصاویر پایگاه‌داده مربوط به سرطان پروستات در نظر گرفته می‌شود که مربوط به پنج درجه از درجه­بندی سرطان پروستات می­باشد. و سه کلاس برای تصاویر سرطان سینه(خوش­خیم، بدخیم و نرمال) در نظر گرفته می‌شود.

در مرحله آموزش، تصاویر آموزشی به همراه کلاس خروجی آن برای شبکه در نظر گرفته می­شود. حین آموزش وزن­های فیلتر در هر تکرار به­روز می­شوند. به­نحویکه بعد از چندین تکرار وزن‌های بهینه به­روز می­شوند و شبکه آموزش می­بیند تا بهترین ویژگی را از تصاویر استخراج کند. پس از آموزش وزن­های بهینه برای مرحله طبقه­بندی و تست مورد استفاده قرار می­گیرد.

در این پژوهش از دو لایه کانولوشن که یک عملیات ریاضی برای پردازش سیگنال می­باشد استفاده شده است که از این طریق توسط نورون­ها، عملیات کانولوشن به ورودی­ها اعمال می­گردد. مهمترین پارامتر در نورون­های کانولوشن اندازه فیلتر می­باشد. بعد از لایه کانولوشن برای کاهش اندازه فضایی

(فقط عرض و ارتفاع نه عمق) از لایه ادغام استفاده شده و تعداد پارامتر­ها  کاهش یافته است که منجر به کاهش محاسبات و افزایش سرعت می­گردد. مدل پیشنهادی بر پایه شبکه عصبی عمیق در شکل (4) نمایش داده   شده است.

 در این مقاله برای استفاده از لایه ادغام از یکی از متداول‌ترین لایه­های ادغام به نام Max pooling استفاده شده است که یک فیلتر با ابعاد 2×2 درنظر گرفته­ شده است که بیشتر عملیات در آن انجام می­شود. و با در نظر گرفتن یک لایه Flatten خروجی­ لایه­های کانولوشن که یک تنسور چند بعدی است به یک تنسور یک بعدی تبدیل می‌شود. شبکه عصبی عمیق از چند لایه برای درک بخش‌هایی از داده­ها استفاده می­کند، اما برای طبقه­بندی داده­ها باید مجموعه­ای از احتمالات را برای تصمیم­گیری نهایی داشته باشیم. Softmax یک تابع شناخته شده است که مقادیر احتمالات را در یک محدوده استاندار (0 تا 1) نرمالیزه می‌کند.

از تکنیک dropout به منظور جلوگیری از overfitting استفاده می­شود. بدین صورت که در هر مرحله از آموزش هر نورون یا، با احتمال p-1 از شبکه بیرون انداخته می‌شود و یا با احتمال p نگه داشته می­شود بطوریکه در نهایت یک شبکه کاهش داده شده باقی بماند. یال­های ورودی و خروجی به یک نود بیرون انداخته نیز حذف می­شود تا بدین صورت تنها شبکه کاهش­یافته بر روی داده­ها در آن مرحله قابل آموزش باشد. سپس نود­های حذف شده به همراه وزن­های سابق آن­ها (قبل از

حذف) دوباره به درون شبکه وارد می‌شوند. و در نهایت با استفاده از optimizer adam که برای محاسبه بسیاری از توابع بهینه­ساز در تنسورفلو است بهینه سازی وزن­ها  انجام می‎شود.

نتایج

یافته­های غیر معمول در تصاویر پاتولوژی و ماموگرافی مانند توده و تراکم نامتقارن می­تواند منجر به تشخیص سرطان شود. ریسک طبقه‌بندی بیماران سرطانی باعث شده است بسیاری از تیم­های تحقیقاتیبر استفاده از روش­های یادگیری عمیق تمرکز کنند.  این تکنیک­ها همچنین برای مدل سازی خطر ابتلا به سرطان، پیشرفت و درمان بیماری مورد استفاده قرار گرفته­اند.  ایزار یادگیری عمیق برای شناسایی ویژگی­های کلیدی از مجموعه داده‌های پیچیده نشان دهنده­ی اهمیت آن­ها در این دوره مدرن پزشکی است.

مدل پیشنهادی از دقت بالاتری نسبت به سایر روش‌ها برخوردار است. زیرا شبکه کانولوشنی عمیق با یادگیری سلسله مراتبی و استخراج ویژگی­های سطح بالا می­تواند به عملکرد بهتری نسبت به سایر روش‌هایی که از ویژگی‌های سطح پایین تصاویر استفاده می‌کنند دست یابد. ضمن اینکه در این روش بردار ویژگی استخراج شده از هر تصویر کاهش یافته و این خود باعث بالا رفتن سرعت طبقه­بندی و تشخیص می­گردد.

جدول 1 و 2 نتایج اجرای طبقه­بندی سرطان پروستات و سرطان سینه را با روش­های مختلف نشان می­دهد که وابسته به انتخاب ویژگی از تصاویر می­باشد. مشاهده می‌شود که روش پیشنهادی نسبت به روش مولتی ویولت در تصاویر پاتولوژی پروستات و روش ماشین بردار پشتیبان در تصاویر ماموگرافی سرطان سینه دقت تشخیص بالاتری دارد که مربوط یه استخراج ویژگی‌های سطح بالا از تصاویر می‌باشد.

در  نمودار 1 و 2 روند همگرایی دقت طبقه­بندی سرطان سینه و روده با روش­های مختلف مورد بررسی قرار گرفته است. مدل پیشنهادی دارای دقت بالاتری در شروع آموزش و تست در سیر همگرایی خود دارد که این ویژگی تا انتهای آموزش و تست باقی می­ماند. مزیت دیگر روش پیشنهادی رسیدن به دقت بالاتر با تعداد گام­های کمتر در مراحل آموزش و تست می­باشد که نشان­دهنده سرعت بالای شبکه­ عصبی عمیق پیشنهادی در طبقه­بندی پایگاه­داده­های مورد استفاده در این پژوهش می­باشد.

پایگاه داده

مجموعه داده مورد استفاده برای تحقیق یکی از اصلی­ترین لازمه­های تحقیق به­شمار می­رود. پایگاه داده مورد استفاده برای سرطان پروستات شامل 100 تصویر پاتولوژی می‌باشد که تمام تصاویر در شدت نور برابر مورد تصویر‌برداری قرار گرفته­اند. مجموعه تصاویر ما شامل 21، 20، 32 و 27 تصویر از درجه­های 2، 3، 4 و 5 می­باشد که نمونه ای از آن در شکل (5) نمایش داده شده است. لازم به ذکر است که از آنجایی که درجه­ی یک در سرطان پروستات نادر است در پژوهش­ها الگوریتم­های طبقه‌بندی معمولا بر روی تصاویر از درجه­ی 2 تا 5 آزمایش می‌شوند (13).

انجمن تجزیه و تحلیل ماموگرافی[1] (MIAS) یک سازمان از گروه تحقیقاتی انگلستان است که علاقه­مند به درک ماموگرافی هستند و پایگاه داده­ای از تصاویر دیجیتال ماموگرافی را ایجاد کرده­اند. این پایگاه‌داده شامل تصاویر سینه چپ و راست برای 161 بیمار است. این پایگاه داده شامل 322 تصویر است که به سه نوع از جمله عادی، خوش‌خیم و بدخیم متعلق هستند که شامل 208 تصویر کلاس عادی، 63 تصویر کلاس خوش­خیم و 51 تصویر کلاس بد‌خیم می­باشد که اندازه تمامی تصاویر 1024×1024 با فرمت PGM می­باشد (14). نمونه ای از این تصاویر در شکل (6) نمایش داده شده است.

بحث

بر اساس مطالعه حاضر استفاده از شبکه­های عصبی عمیق در تشخیص و طبقه­بندی تصاویر پزشکی دقت بالایی را برای محققان در این زمینه فراهم می­کند.

تحقیقات قابل توجهی در مورد مسئله تشخیص خودکار سرطان بر روی تصویر­برداری بافت هیستوپاتولوژی دیجیتال و تصاویر ماموگرافی صورت گرفته است؛ این تلاش­های تحقیقاتی، بینش ارزشمندی را در خصوص ماهیت این مسئله به ارمغان آورده است.

در (13) با استفاده از استخراج ویژگی­های انرژی و آنتروپی ضرایب مولتی ویولت تصاویر، سیستمی جهت درجه­بندی اتوماتیک ارائه دادند. در این روش، تبدیل مولتی ویولت دو سطحی از هر تصویر گرفته می­شود. که با استفاده از آن تصاویر درجه­بندی می‌شود که در این حالت دقت %90 گزارش شده است. در (15) نویسندگان با استفاده از دو مرحله طبقه­بندی AdaBoost: 1.نشانه‌گذاری در یک پیکر­بندی تصویر سوپر پیکسل 2. استفاده از جز به جز بافت برای ارائه یک طبقه‌بندی از تصاویر سرطان پروستات به مقادیر دقت 90 و 85 درصدی دست یافتند. در (3) نویسندگان با استفاده از آموزش ساختار محلی در مرحله آموزش از تصاویر دارای بر­چسب، زیر‌گراف­هایی استخراج شده و در کتاب کد ذخیره می‌شود. سپس در مرحله تست زیر­گراف استخراج شده از هر تصویر با کتاب کد مقایسه شده و درجه­بندی انجام می­شود. در این روش در بهترین حالت دقت 25/91 درصد برای تصاویر مربوط به سرطان پروستات درجه 3 مشاهده شده است.

در حوزه روش­های ترکیبی آزمایش کردن با ویژگی‌های مختلف با خواص مانند بافت که شامل تبدیل موجک چندگانه هارلیک و ویژگی‌های شکل برای شناسایی توده‌های خوش­خیم و بد­خیم در سرطان سینه مورد استفاده قرار گرفته است. و الگوریتم‌های ژنتیک برای استخراج ویژگی­های بیشتر در نظر گرفته شده است که این امر باعث بالا رفتن دقت تشخیص سرطان می­شود (16). در حوزه ماشین بردار پشتیبان با افزایش ماکزیمم سطح آستانه برای تصویر، تفاوت­های اعمال شده بهبود می­یابد سپس بافت و ویژگی­های طیفی دامنه را انتخاب می­کند و از یک طبقه­بندی کننده ماشین بردار پشتیبان برای طبقه‌بندی سرطان سینه خوش­خیم و بد­خیم استفاده می‌کنند(16). در زمینه شبکه­های عصبی عمیق نیز الگوریتم گوگل­نت با معماری مخصوص به خود که یکی از پر کاربردترین الگوریتم­های یادگیری عمیق است بر روی پایگاه داده ماموگرافی دیجیتال مربوط به سرطان سینه مورد استفاده قرار گرفته است و نتایج آن در دقت تشخیص تومور 85 درصد گزارش شده است (1).

معیار ارزیابی

معیار ارزیابی در این مقاله معیار دقت می­باشد که این معیار میزان دقت طبقه­بندی را محاسبه می­کند یا در واقع مشخص می­کند که الگوریتم استفاده شده در این مقاله تا چه میزان طبقه­بندی و تشخیص را درست انجام داده است.

معیار فراخوانی، میزان جواب­های درست پیش­بینی شده مثبت توسط سیستم را محاسبه می­کند. بدین معنا که از مجموع نمونه­های سرطانی در پایگاه­داده مورد آزمایش چند درصد به درستی توسط سیستم به­عنوان سرطانی شناسایی شده­اند (1).

TP : شامل تعداد نمونه­های سرطانی که سیستم آن­ها را درست تشخیص داده است.

FP : شامل تعداد نمونه­های سالمی است که سیستم آن­ها را سرطانی تشخیص داده است.

FN : شامل تعداد نمونه­های سرطانی است که سیستم آن­ها را سالم تشخیص داده است.

= accuracy

= recall

هدف ما از ارائه الگوریتم عمیق و ارائه روش­های مفید، افزایش دقت و سرعت طبقه­بندی و تشخیص می­باشد. در این پژوهش با توجه به پایگاه داده مورد استفاده دقت 83/95 درصد در تشخیص سرطان سینه و دقت 5/99 درصد در تشخیص درجه بد­خیمی سرطان پروستات حاصل شده است.

در یادگیری عمیق بهینه سازی ریاضی توابع loss برای طبقه‌بندی قابل محاسبه می­باشد. در این پژوهش با استفاده از لایه softmax به محاسبه loss تصاویر آموزش و تست پرداخته شده است. در نمودار 3 و 4 روند کاهش این تابع نشان داده شده است که مقدار ناچیز loss در هر دو شبیه سازی نشان از روند عالی آموزش و تست تصاویر پایگاه­داده دارد که منجر به تشخیص با دقت بالا و همچنین کاهش زمان و افزایش سرعت در رسیدن به دقت نهایی می­گردد.

نتیجه­گیری

سرطان یکی از شایع­ترین بیماری­های پیش­رونده در جهان است. سرطان در سلول­ها آغاز می­شود که پایه­های ساختمانی اولیه هستند که بافت را تشکیل می­دهند. یکی از چالش­های موجود در تکنیک­های تشخیص تصاویر پزشکی مشکل در تجزیه و تحلیل بافت­های متراکم است. با توجه به اینکه تشخیص توسط انسان زمان‌بر و دارای احتمال خطای بیشتری است، محققان در تلاش بوده­اند تا با الگوریتم­های مختلف تشخیص را به صورت اتوماتیک انجام دهند. اما اغلب روش­ها از استخراج ویژگی­ سطح پایین استفاده می­کنند. به همین دلیل در این پژوهش روش مبتنی بر شبکه­های عصبی کانولوشن عمیق به کار گرفته شده است تا با استخراج ویژگی­های عمیق­تر، به دقت بهتری دست یابیم.