The impact of preprocessing on text classification

پیش پردازش یکی از اجزای کلیدی در چارچوب طبقه بندی متداول متن است. این مقاله با هدف بررسی تاثیر پیش پردازش بر طبقه بندی متن از لحاظ جنبه های مختلف مانند دقت طبقه بندی، دامنه متن، زبان متن و کاهش ابعاد، مورد بررسی قرار می گیرد. برای این منظور تمامی ترکیبات احتمالی وظایف پیش پردازش به طور گسترده مورد استفاده در دو حوزه مختلف یعنی ایمیل و اخبار و دو زبان مختلف، یعنی ترکی و انگلیسی، مقایسه می شوند. به این ترتیب، سهم وظایف پیش پردازش در موفقیت طبقه بندی در ابعاد مختلف ابعاد، درگیری های احتمالی میان این وظایف، و نیز وابستگی این وظایف به زبان ها و حوزه های مربوطه، به طور جامع ارزیابی می شود. تجزیه و تحلیل تجربی بر روی مجموعه داده های معیار نشان می دهد که انتخاب ترکیب مناسب از وظایف قبل از پردازش، به جای فعال کردن یا غیرفعال کردن همه آنها، می تواند بهبود قابل توجهی در دقت طبقه بندی بسته به دامنه و زبان مورد مطالعه قرار گیرد.