LSTM with sentence representations for document-level sentiment classification

چکیده

کلمات کلیدی

1- مقدمه

2- مرتبط با تحقیق

1.2 دسته بندی احساسات در سطح سند

2.2 روش هایی برای مدل سازی نمایش های توزیع شده

3.2 شبکه های عصبی برای دسته بندی احساسات در سطح سند

3- روش مطروحه

1.3 شبکه های حافظه ی طولانی کوتاه مدت

شکل 1- ساختار واحد LSTM استاندارد

3.2 برخی انواع متغیر LSTM

3.3 LSTM با نمایش جمله (SR-LSTM)

4.3 ابزاری برای قطبش هیجانی جمله

شکل 3- ساختار داده های فرهنگ لغات احساسات کلی 

شکل 4- ساختار SSR-LSTM

5.3 LSTM با نمایش های جمله ی ذخیره شده (SSR-LSTM) 

4- آزمایش

جدول 1- اطلاعات آماری مجموعه داده های  IMDB و Yelp 2014/2015. اندازه ی آموزش، اندازه ی روایی و اندازه ی تست تعداد مجموعه ی آموزش، مجموعه روایی و مجموعه ی تست را نشان می دهند. Ws/Doc و Sens/Doc میانگین تعداد لغات و جملات وارده در هر سند.

جدول 2- پیکربندی ابرپارامتر بهینه برای سه مجموعه داده

1.4 برپایی آزمایش

2.4 مدل های پایه

جدول 3- نتایج مدل ما درمقابل مدل های پایه روی Yelp 2014، Yelp 2015 و IMDB. Acc و MSE متریک های ارزیابی هستند. Acc به معنی دقت (بالاتر بهتر است) و MSE به معنی میانگین خطای مربع (کمتر بهتر است). بهترین نتایج در هر گروه بصورت پررنگ مشخص شده است.

3.4 نتایج

4.4 تاثیر تعبیه سازی کلمات

جدول 4- دقت دسته بندی LSTM، SR-LSTM و SSR-LSTM با تعبیه سازی کلمات با بعدهای مختلف. بین Glove.twitter.50d، Glove.twitter.100d، Glove.twitter.200d و Glove.twitter.300d مقایسه می کنیم.

جدول 5- هزینه ی زمان هر مدل با بردارهای Gloveی 50، 100، 200 و 300 بعدی. هر مقدار بدان معنی است که چند دقیقه پس از آموزش مدل صرف می شود.

جدول 6- دقت دسته بندی LSTM، SR-LSTM و SSR-LSTM با انواع تعبیه سازی کلمات. بردارهای تصادفا مقداردهی شده، بردارهای CBOW، اسکیپ گرام و Glove را مقایسه می کنیم.

شکل 5- دقت دسته بندی و هزینه ی زمان SSR-LSTM روی مجموعه داده های IMDB.

4.5 اثربخشی روی Maxn

5- نتیجه گیری