رفتن به نوشته‌ها

برچسب: پردازش زبان طبیعی

استفاده از واحد‌های زبانی کوچکتر

هنگامی که از داده‌های زبانی استفاده می‌کنیم معمولا با یک توالی از کاراکترها، لغات، جملات، یا پاراگراف‌ها سروکار داریم. گاهی اوقات می‌توان از واحدهای زبانی دیگری استفاده کرد. مثلا در…

مدل زبانی و nتایی‌ها (Language model & N-grams)

در این پست به توضیح مدل زبانی یا اصلاحا Language model می‌پردازیم. مدل زبانی در ساده‌ترین میشه اینجوری تعریفش کرد: که چگونه محتمل بودن یک کلمه (گاهی اوقات کاراکتر یا…

شبکه‌های عصبی بازگشتی – قسمت اول

وقتی با داده‌های زبانی (مثلا متون) کار می‌کنیم اغلب با توالی از حروف، کلمات یا جملات سروکار داریم. در بیشتر موارد ترتیب این توالی‌ برای ما اهمیت دارد. شبکه‌های بازگشتی…

به ماشین‌ها یاد بدهیم بخوانند و بفهمند

یکی از چالش برانگیزترین کارهای پردازش زبان طبیعی (NLP) خواندن و فهماندن یک متن به ماشین (کامپیوتر)‌ است. خواندن (Read) و فهمیدن (Compreahend) میتواند تعابیر مختلفی داشته باشد ولی منظور…

همه چیز در یادگیری عمیق هایپر-پارامتر است

یک چیز خوب درباره شبکه‌های عصبی یا به طور خاص یادگیری عمیق (دیپ لرنینگ) این است که این مدل‌ها بسیار قوی هستند و نتایج بسیار خوبی میدهند و یک نکته بدی که…

مرتب‌سازی و باکت‌بندی Batchها در یادگیری ماشین

چند وقتیه که دارم روی چالش kaggle تشخیص سوالات تکراری در کوئرا کار میکنم مطالب مختلفی بهش برخوردم  و یکی از این مسائل این است که طول جملات در دیتاست‌ها…