کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
4956462 1444520 2017 12 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Self-adaptive processing graph with operator fission for elastic stream processing
ترجمه فارسی عنوان
گراف پردازش خود سازگار با تقسیم اپراتور برای پردازش جریان الاستیک
ترجمه چکیده
امروزه اطلاعات تولید شده توسط تعاملات اینترنتی به طور نمادین در حال رشد است، و موجب جریان گسترده و مداوم وقایع از منابع متنوع می شود. این تعاملات حاوی اطلاعات ارزشمندی برای دامنه هایی مانند دولت، تجارت، و بانک ها، از جمله دیگران است. استخراج اطلاعات در نزدیکی زمان واقعی از چنین اطلاعاتی نیاز به ابزارهای پردازش قدرتمند برای مقابله با سرعت بالا و جریان حجم بالا رویدادها دارد. موتورهای پردازش توزیع شده ویژه طراحی یک توپولوژی مبتنی بر گراف از تعداد زیادی از اپراتورهای پردازش را ایجاد تنگناها و مشکلات تعادل بار هنگام پردازش جریان های پویا از وقایع. در این کار ما یک گراف پردازش خود سازگار را ارائه می دهیم که الاستیسیته و مقیاس پذیری را بوسیله افزایش یا کاهش تعداد اپراتورهای پردازش برای بهبود عملکرد و بهره برداری از منابع سیستم ارائه می دهد. راه حل ما با استفاده از یک مدل است که نظارت، تجزیه و تحلیل و تغییر توپولوژی گراف با یک الگوریتم کنترل است که هر دو واکنشی و پیشگیرانه به جریان رویدادها است. ما راه حل ما را با سه برنامه پردازش جریان ارزیابی کرده ایم و نتایج نشان می دهد که مدل ما می تواند توپولوژی گراف را در هنگام دریافت وقایع با نرخ بالا با سرعت های ناگهانی، تولید هزینه های بسیار کم حافظه و استفاده از پردازنده را تطبیق دهد.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر شبکه های کامپیوتری و ارتباطات
چکیده انگلیسی
Nowadays, information generated by the Internet interactions is growing exponentially, creating massive and continuous flows of events from the most diverse sources. These interactions contain valuable information for domains such as government, commerce, and banks, among others. Extracting information in near real-time from such data requires powerful processing tools to cope with the high-velocity and the high-volume stream of events. Specially designed distributed processing engines build a graph-based topology of a static number of processing operators creating bottlenecks and load balance problems when processing dynamic flows of events. In this work we propose a self-adaptive processing graph that provides elasticity and scalability by automatically increasing or decreasing the number of processing operators to improve performance and resource utilization of the system. Our solution uses a model that monitors, analyzes and changes the graph topology with a control algorithm that is both reactive and proactive to the flow of events. We have evaluated our solution with three stream processing applications and results show that our model can adapt the graph topology when receiving events at high rate with sudden peaks, producing very low costs of memory and CPU usage.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Journal of Systems and Software - Volume 127, May 2017, Pages 205-216
نویسندگان
, , ,