کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
6925922 1448886 2018 16 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Automated estimation of item difficulty for multiple-choice tests: An application of word embedding techniques
ترجمه فارسی عنوان
برآورد اتوماتیک سخت افزار مورد نظر برای آزمون های چند گزینه ای: استفاده از تکنیک های جاسازی کلمه
کلمات کلیدی
مورد انتخاب چند گزینه ای برآورد دشواری مورد، مدل پردازش شناختی شباهت معنایی، تعبیه کلمه فراگیری ماشین،
ترجمه چکیده
پیشآمده روش معمولی برای تخمین مشکل سخت افزاری مورد استفاده است زیرا نتایج بسیار دقیقی را ارائه می دهد که می تواند به فعالیت های توسعه ارزیابی اعمال شود. با این حال، پیش آزمون ناکارآمد است و می تواند منجر به قرار گرفتن در معرض آیتم شود. از این رو، تعداد روزافزون مطالعات تلاش زیادی در تحقیق برآورد اتوماتیک سخت افزار انجام داده اند. آزمونهای مهارت زبان، اکثریت مباحث تست تحقیق را تشکیل می دهند، در حالی که تحقیقات نسبتا کمتر در موضوعات محتوا تمرکز دارند. این مقاله روش جدیدی را برای برآورد خودکار از دشواری موضوع برای مطالعات مطالعات اجتماعی معرفی می کند. در این مطالعه، مسئله گزینه های چند گزینی را بررسی می کنیم که شامل موارد زیر می شوند: یک سوال و گزینه های جایگزین. ما از مواد یادگیری برای ساخت یک فضای معنایی با استفاده از تکنیک های جاسازی کلمه استفاده می کنیم و متن متنی را در فضای معنایی به منظور دریافت بردارهای متناظر مورد استفاده قرار می دهیم. ویژگی های معنایی با محاسبه شباهت کوزینویی بین برداران عناصر مورد بدست می آید. بعدها، این ویژگی های معنایی به یک طبقه بندی برای آموزش و آزمایش فرستاده می شود. بر اساس خروجی طبقه بندی، یک مدل برآورد ایجاد شده و برآورد سختی مورد بررسی قرار می گیرد. یافته های ما نشان می دهد که شباهت معنایی بین یک ساقه و گزینه ها بیشترین تأثیر را بر مشکل مورد دارد. علاوه بر این، نتایج نشان می دهد که روش تخمین پیشنهادی پیش از آزمون پیشروی می کند و بنابراین ما انتظار داریم که رویکرد پیشنهادی تکمیل شده و تا حدی جایگزین پیش آزمون در آینده شود.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر نرم افزارهای علوم کامپیوتر
پیش نمایش مقاله
برآورد اتوماتیک سخت افزار مورد نظر برای آزمون های چند گزینه ای: استفاده از تکنیک های جاسازی کلمه
چکیده انگلیسی
Pretesting is the most commonly used method for estimating test item difficulty because it provides highly accurate results that can be applied to assessment development activities. However, pretesting is inefficient, and it can lead to item exposure. Hence, an increasing number of studies have invested considerable effort in researching the automated estimation of item difficulty. Language proficiency tests constitute the majority of researched test topics, while comparatively less research has focused on content subjects. This paper introduces a novel method for the automated estimation of item difficulty for social studies tests. In this study, we explore the difficulty of multiple-choice items, which consist of the following item elements: a question and alternative options. We use learning materials to construct a semantic space using word embedding techniques and project an item's texts into the semantic space to obtain corresponding vectors. Semantic features are obtained by calculating the cosine similarity between the vectors of item elements. Subsequently, these semantic features are sent to a classifier for training and testing. Based on the output of the classifier, an estimation model is created and item difficulty is estimated. Our findings suggest that the semantic similarity between a stem and the options has the strongest impact on item difficulty. Furthermore, the results indicate that the proposed estimation method outperforms pretesting, and therefore, we expect that the proposed approach will complement and partially replace pretesting in future.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Information Processing & Management - Volume 54, Issue 6, November 2018, Pages 969-984
نویسندگان
, , , ,