رفتن به نوشته‌ها

برچسب: ngram

استفاده از واحد‌های زبانی کوچکتر

هنگامی که از داده‌های زبانی استفاده می‌کنیم معمولا با یک توالی از کاراکترها، لغات، جملات، یا پاراگراف‌ها سروکار داریم. گاهی اوقات می‌توان از واحدهای زبانی دیگری استفاده کرد. مثلا در…

مدل زبانی و nتایی‌ها (Language model & N-grams)

در این پست به توضیح مدل زبانی یا اصلاحا Language model می‌پردازیم. مدل زبانی در ساده‌ترین میشه اینجوری تعریفش کرد: که چگونه محتمل بودن یک کلمه (گاهی اوقات کاراکتر یا…