A system for scalable and reliable technical-skill testing in online labor markets

در این مقاله ما یک پلت فرم ارائه می کنیم که به طور مداوم سوالات آزمون را تولید می کند و کیفیت آنها را به عنوان پیش بینی کننده سطح مهارت کاربر ارزیابی می کند. پلاتفرم ما محتویاتی را که در حال حاضر در سؤالات پاسخ دادن به سایتها مانند سرریز پشته وجود دارد و محتوای این سؤالات را برای تولید تستها دوباره در اختیار دارد. این رویکرد دارای مزایای عمده است: ما به طور مداوم سوالات جدیدی را ایجاد می کنیم، تاثیرات تقلب را کاهش می دهیم، و ما همچنین سوالاتی را مطرح می کنیم که نزدیک به مشکلات واقعی است که انتظار می رود دارنده مهارت در زندگی واقعی حل شود. پلت فرم ما استفاده از تئوری پاسخ مورد برای ارزیابی کیفیت سوالات را ارزیابی می کند. ما همچنین از سیگنال های خارجی در مورد کیفیت کارگران برای بررسی اعتبار خارجی سوالات آزمون تولید استفاده می کنیم: سوالات دارای اعتبار بیرونی نیز دارای قابلیت پیش بینی قوی برای شناسایی زودهنگام کارگران است که توانایی موفقیت در بازار کار آنلاین را دارند. ارزیابی تجربی ما نشان می دهد که سیستم ما پرسش هایی را با کیفیت قابل مقایسه یا بالاتر نسبت به آزمایش های موجود تولید می کند و هزینه آن تقریبا $ 3- $ 5 دلار برای هر سوال است، که کمتر از هزینه هزینه های صدور مجوز از بانک های آزمون های موجود است، کمتر از هزینه تولید چنین سوالاتی از ابتدا با استفاده از متخصصان.