A survey on the application of recurrent neural networks to statistical language modeling

در این مقاله، ما یک بررسی در مورد استفاده از شبکه های عصبی مجدد را به وظیفه مدل سازی زبان آماری ارائه می دهیم. اگر چه نشان داده شده است که این مدل ها عملکرد خوبی را در این کار به دست می آورند، اغلب از سایر تکنیک های پیشرفته تر برترند، از برخی از مشکلات مهم رنج می برند، از جمله زمان آموزش بسیار طولانی و محدودیت های تعداد کلمات متنی که می تواند در عمل مورد توجه قرار گیرد. پسوند اخیر برای مدل های عصبی مجدد در تلاش برای حل این نقص ها توسعه یافته است. این مقاله خلاصه ای از مهم ترین پسوند ها را ارائه می دهد. هر تکنیک توصیف شده و عملکرد آن در مدلسازی آماری زبان، همانطور که در ادبیات موجود توضیح داده شده، مورد بحث است. مرور کلی ساختاری ما امکان شناسایی تکنیک های امیدوار کننده در زمینه شبکه های عصبی مجدد، اعمال شده به مدل سازی زبان را می دهد، اما همچنین تکنیک هایی را که برای تحقیقات بیشتر مورد نیاز است، مشخص می کند.