رفتن به نوشته‌ها

منابع خوب برای یادگیری عمیق

معمولا اگر از کسی بپرسید برای یادگیری عمیق چی بخونم  احتمال خیلی زیاد شما رو به کورس Andrew Ng ارجاع میدهد. با اینکه کورس آقای Ng جالب و بسیار روان هست ولی به نظرم منابع دیگری هم وجود دارند که کمتر به آنها توجه شده است. در ادامه به برخی از این کورس‌ها اشاره میکنم.

۰) کتاب آقای Goldberg به نام روش‌های شبکه عصبی برای پردازش زبان طبیعی

این کتاب برای انتشارات مورگان است و به نظرم بهترین منبعی است که میشه برای یادگیری عمیق و پردازش زبان طبیعی ازش استفاده کرد. این کتاب حدود ۳۰۰ صفحه است و بیشتر به توضیح مفاهیم پرداخته است تا اپلیکشن‌های پردازش زبان طبیعی. کتاب با مباحث و شبکه‌های ساده شروع میشه و رفته رفته هرچه جلوتر میره سطح مطالب بالاتر میرود. این کتاب به طور رایگان در دسترس نیست ولی میتونید تو وبسایت scihub پیداش کنید.

این کتاب بیشتر بر اساس مطالب این مقاله نوشته شده است.

۱) تنسورفلو و یادگیری عمیق بدون PhD

به قول آقای Andrej Karpathy خواندن مقالات بیشتر جنبه تفریح دارند و شما موقعی دیپ‌لرنینگ یا ماشین لرنینگ رو یاد میگیرید که اون مدل رو از پایه پیاده‌سازی کنید. یکی از کورس‌هایی که من از دیدنش خیلی لذت بردم و پیشنهاد میکنم، ویدئوهای آقای Martin Gorner است. در این ویدئوها به صورت پایه‌ای و با انتزاع نسبتا معقولی به پیاده‌سازی مدل‌‌های یادگیری عمیق میپردازد. بهترین مزیت این کورس این هست که مدلی که با اون آموزش میدهد همزمان کد‌های تنسورفلو‌ اش هم براتون میزنه و همین مساله خیلی به فهم موضوع کمک خواهد کرد. لینک کل ویدئو‌ها رو میتونید از زیر مشاهد کنید:

https://cloud.google.com/blog/products/gcp/learn-tensorflow-and-deep-learning-without-a-phd

۲) کورس cs20si دانشگاه استنفورد

یکی از کورس‌های جالبی که در دانشگاه استنفورد ارائه میشه همین کورس تنسورفلو است. این کورس صرفا به مباحث مربوط به تنسورفلو میپردازد. اینکه متغیرها چی هستن، گراف محاسباتی چی هست و پیاده‌سازی برخی مدل‌ها. مدرس اصلی خانم Chip Huyen است. خود دانشگاه استنفورد این کورس رو به صورت آنلاین قرار نداده است ولی در یوتیوب یه آقای هندی میاد توضیحات رو تا حدی میدهد که بنظرم تا همونجاش هم خوب هست و دیدی خوبی بهتون خواهد داد. از طرفی تو سایت دانشگاه استنفورد اسلاید‌هاش و تمرینات کورس هست که بنظرم تا حد قابل قبولی شمارو راه خواهد انداخت.

http://web.stanford.edu/class/cs20si/syllabus.html

 

 

۳) کورس آقای Graham Neubig از دانشگاه کارنگی ملون:

من قبلا یکی از ویدئوهای اقای گراهام رو دیدم و خیلی خوشم آمد. نحوه بیان و توضیح مساله اشون بسیار شیواست. در کورس زیر که مرتبط هست با ترم ۲۰۱۷ دانشگاه کارنگی ملون مسائل جدیدی رو پوشش دادن مثل مولتی‌هد اتنشن (Multihead Attention)، خواندن ماشینی (Machine Reading) و … که در اغلب کورس‌ها نمیتونید راجع آنها پیدا کنید.

https://www.youtube.com/user/neubig/videos

۴) کورس دیپ‌لرنینگ Fast ai

سایت Fast.ai یه سری کورس مرتبط با یادگیری عمیق ارائه کرده است که بیشتر هدفش درگیر شدن با کد و پیاده‌سازی است ولی مفاهیم هم تا حدود بسیار زیادی خوب گفته میشود. این کورس در دو قسمت (part1 و part2) ارائه شده است. و قسمت دومش بسیار مطالب جالبی رو پوشش داده است. مثلا Multitask-learning و GAN از جمله این موارد هستند.

http://course.fast.ai/lessons/lessons.html

http://course.fast.ai/part2.html

 

 

۵) دیپ‌لرنینگ و تنسورفلو (cognitiveclass.ai)

یکی از کورس‌های بسیار خوب دیگری که وجود دارد و همزمان با آموزش شبکه عصبی به توضیح تنسورفلو میپردازد کورس‌های cogniveclass است. این کورس مباحث مهمی چون شبکه‌های پیچشی (کانولوشن) ، شبکه‌های بازگشتی عصبی، یادگیری بدون نظارت و اتوانکدرها رو پوشش میدهد. در نهایت هم میتونید مدرک اشو (certificate) بگیرید و به رزومه‌اتون اضافه کنید.

۶) کورس‌های تعاملی گوگل کد لب:

گوگل اخیرا یادگیری ماشین هم به عنوان اسناد آموزشی استفاده کرده است. در این آموزش‌ها تقریبا تمام مباحث مربوط به یادگیری ماشین و یادگیری عمیق پوشش داده شده است. اگر به https://codelabs.developers.google.com/?cat=TensorFlow برید ویدئوهای مربوط به آموزش تنسورفلو رو مشاهده خواهید کرد. همچنین یک بخش crash course قرار داده است که از مفاهیم ابتدایی یادگیری عمیق به توضیح میپردازد: https://developers.google.com/machine-learning/crash-course/ml-intro

چیزی که من بیشتر از همه از این وبسایت دیدم و لذت بردم قسمت تعاملی است که مرحله مرحله به شما یاد میدهد که چگونه یک مدل را ایجاد کنید. مثلا در https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/index.html#0 به شما یاد میدهد که چگونه یک مدل رو از دوباره آموزش بدید.

 

۷) کورس یادگیری عمیق در پردازش زبان طبیعی دانشگاه استنفورد (CS224d یا CS224n):

کورس یادگیری عمیق دانشگاه استنفورد از نظر مطالب گفته شده عالی است و تمریناتی که داده میشود بسیار به درد بخور هستند. مدرس کورس آقای ساچر (socher) هستند که از افراد برجسته در پردازش زبان طبیعی محسوب می‌شوند. تنها موردی که من راستش خودم زیاد دوس نداشتم این بود که در جلسات اول (فکر کنم جلسه دو یا سه) خیلی روی بحث گرادیان و قاعده زنجیره‌ای و … وقت میگذارد و عملا یک جلسه صرفا به توضیح گرادیان و غیره میپردازد و خب واسه من، کد زدن لذت بخش‌تره!!!. ولی هرچه میره جلو مباحث جذاب‌تر و بهتر میشوند. در کورس CS224n که برای پاییز ۲۰۱۷ است مباحث بسیار جذابی بحث شده است و تقریبا تمام موارد به روز در حوزه پردازش زبان طبیعی بحث شده است (به خصوص بعد از میان ترم).

 

http://cs224d.stanford.edu/

http://web.stanford.edu/class/cs224n/syllabus.html

 

سعی میکنم لیست بالا رو کم‌کم به روزرسانی کنم و مورادی که جذاب هستند به آنها اضافه کنم. شما هم اگر چیزی رو میدونید که در لیست بالا نیست بهم معرفی کنید.

منتشر شده در آموزشپردازش زبان طبیعی آمارییادگیری عمیق

اولین باشید که نظر می دهید

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *