The influence of time and discipline on the magnitude of correlations between citation counts and quality scores

اگر چه شاخص های مبتنی بر ارجاع معمولا برای کمک به ارزیابی های پژوهشی مورد استفاده قرار می گیرند، در مورد ارزش آنها بحث برانگیز است. در پاسخ آنها اغلب با ارزیابی کیفیت یا سایر شاخص های کمی ارتباط دارند تا بدین ترتیب اعتبار آنها ارزیابی شود. اگر همبستگی برای مجموعه ای از نشریات از رشته ها یا سال های مختلف محاسبه شود، اما مقدار ضریب همبستگی ممکن است کاهش یابد و قدرت همبستگی پایه را پنهان کند. این مقاله از شبیه سازی ها استفاده می کند تا به طور سیستماتیک بررسی میزان هماهنگی سال ها یا رشته ها را کاهش دهد. نتایج نشان می دهد که مخلوط کردن دو مجموعه مقالات با نقاط قوت همبستگی، می تواند همبستگی را برای مجموع ترکیب به طور قابل توجهی کمتر از میانگین آنها کاهش دهد. علاوه بر این، حتی مخلوط کردن دو مجموعه ای از مقالات با همان قدرت همبستگی، اما تعداد متوسط ​​شمارش استناد می تواند به طور قابل توجهی کاهش همبستگی برای مجموعه ترکیبی. میزان کاهش همبستگی نیز بستگی دارد که آیا مقالات ارزیابی شده برای انتخاب با کیفیت بالا انتخاب شده یا اینکه رابطه بین رتبه بندی کیفیت و شمارش استنادی خطی یا نمایشی است. نتایج به اهمیت استفاده از مجموعه داده های همگن اشاره می کند، اما همچنین برای تفسیر ضریب همبستگی، زمانی که این غیرممکن است، کمک می کند.