How to evaluate rankings of academic entities using test data

با استفاده از دو پایگاه داده انتشار و چهار مجموعه داده های آزمایشی، عملکرد چارچوب را نشان می دهد و ثبات و قدرت تبعیض آمیز رایج ترین ارزیابی های بازیابی اطلاعات را تحلیل می کند. ما دریافتیم که هیچ برنده ای روشن نیست و عملکرد ارزیابی ها بسیار وابسته به داده های اساسی است. نتایج ما نشان می دهد که رتبه متوسط ​​در واقع یک معیار کافی و پایدار است. با این حال، ما همچنین نشان می دهیم که تفاوت های نسبتا زیادی در عملکرد لازم است تا اطمینان حاصل شود که آیا یک الگوریتم رتبه بندی به طور قابل توجهی برتر از دیگری است. در نهایت، ما روش های جایگزین دیگری را ارائه می کنیم که نتایج ثابتی نیز ارائه می دهند و اقدامات برجسته ای را که در این زمینه نباید استفاده شود، نشان می دهد.