Small values in big data: The continuing need for appropriate metadata

جمع آوری داده ها از منابع متنوع برای رسیدگی به مسائل مربوط به محیط زیست به طور فزاینده ای رایج است. بسیاری از داده های زیست محیطی حاوی داده های دست راست سانسور شده - مشاهدات زیر محدودیت تشخیص تحلیلی است. مطالعات از مجموعه داده های تک و به طور کلی کوچک نشان می دهد که رویکردهای رایج برای اداره داده های سانسور شده - مثلا حذف یا جایگزینی مقادیر ثابت - منجر به تعصبات سیستماتیک می شود. با این وجود، هیچ مطالعهای نمیتواند مورد بررسی قرار بگیرد که مدارک و حضور دادههای سانسور شده از نتایج حاصل از مجموعه دادههای بزرگ و چندگانه تأثیر بگذارد. ما داده های چپ سانسور شده را در یک پایگاه اطلاعات کیفیت دریاچه جمع آوری شده از 74 منبع توصیف می کنیم و چالش های مقابله با ارزش های کوچک را در داده های بزرگ، از جمله محدودیت های تشخیص که در آن وجود ندارد، به طور گسترده ای در بر می گیریم و روند در طول زمان را نشان می دهد. ما نشان می دهیم که جایگزینی داده های سانسور شده نیز می تواند تحلیل های تعصبی را با استفاده از داده های مجموعه داده های بزرگ انجام دهد، که داده های سانسور شده را می توان با رویکردهای مدرن مدرن مورد استفاده قرار داد، اما چنین رویکردهایی به متادیت های دقیق وابسته است که توصیف رفتار داده های سانسور شده از هر منبع است.