کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
4951735 1441598 2017 39 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Empirically evaluating Greedy-based test suite reduction methods at different levels of test suite complexity
ترجمه فارسی عنوان
به طور تجربی ارزیابی روش های کاهش مجموعه آزمون بر اساس حریص در سطوح مختلف پیچیدگی مجموعه آزمون
کلمات کلیدی
تست نرم افزار، تست رگرسیون، کاهش تست مجموعه، پیچیدگی مجموعه تست،
ترجمه چکیده
کاهش مجموعه تست یک رویکرد مهم است که هزینه تست رگرسیون را کاهش می دهد. یک روش کاهش مجموعه ای آزمون بر اساس رابطه بین موارد آزمون در مجموعه آزمون آزمون رگرسیون و الزامات آزمون در برنامه تحت آزمون عمل می کند. بنابراین، اثربخشی آن باید به شدت مربوط به پیچیدگی یک مجموعه تست رگرسیون - محصول تعداد موارد آزمون و تعداد الزامات آزمون باشد. کار قبلی ما نشان داده است که تکنیک های هزینه شناسایی (به عنوان مثال، تکنیک های کاهش تست مجموعه ای که هدف کاهش هزینه اجرای اجرایی آزمون رگرسیون را نشان می دهد) عموما از نظر کاهش هزینه های اجرای مجموعه تست رگرسیون، دیگران را بهتر می کند. با این حال، مطالعات تجربی قبلی که تکنیک های هزینه شناسایی را ارزیابی کردند، پیچیدگی مجموعه آزمون را در نظر نگرفتند. به این معنا، آزمایش های قبلی نشان می دهد که آیا تکنیک های هزینه شناسایی مقیاس و کارآمد در سوئیت های آزمون با موارد آزمون بیشتر و بیشتر مورد نیاز آزمون است. این بدان معنی است که آزمایش های قبلی به درستی نشان نمی دهد که چگونه روش های تطبیق مجموعه ای با برنامه های بزرگ یا سوئیت های آزمون کار می کنند. بنابراین، این مقاله بر روی تکنیک های حریص تمرکز می کند و تجربیات اضافی حریص و دو تکنیک حریص هزینه ای را ارزیابی می کند - در سطوح مختلف پیچیدگی مجموعه آزمون - از دیدگاه های مختلف از جمله هزینه های انجام شده برای اجرای مجموعه آزمون رگرسیون، زمان گرفته شده برای کاهش مجموعه سوالات آزمون، هزینه های تست رگرسیون کل، قابلیت تشخیص خطا، بازده تشخیص خطا و نرخ های معمول مجموعه های نماینده. به همین علت، هیچ یک از مطالعات تجربی گذشته، تعداد قابل توجهی از سوئیت های آزمون را با توجه به پیچیدگی آنها دسته بندی نمی کنند. همچنین هیچ یک از آزمایشهای قبلی، از نظر معیارهای فوق، در سطوح مختلف پیچیدگی پیچیده تست، روشهای کاهش تست را بررسی نمیکند. این مقاله اولین تلاش برای انجام این کار مهم را نشان می دهد. بر اساس نتایج تجربی، نقاط قوت و ضعف تکنیک های هزینه ای را تایید می کنیم و بینش هایی را در مورد چگونگی افزایش اثربخشی تکنیک های هزینه های شناخته شده به عنوان پیچیدگی مجموعه تست ها به وجود می آوریم.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر نظریه محاسباتی و ریاضیات
پیش نمایش مقاله
به طور تجربی ارزیابی روش های کاهش مجموعه آزمون بر اساس حریص در سطوح مختلف پیچیدگی مجموعه آزمون
چکیده انگلیسی
Test suite reduction is an important approach that decreases the cost of regression testing. A test suite reduction technique operates based on the relationship between the test cases in the regression test suite and the test requirements in the program under test. Thus, its effectiveness should be closely related to the complexity of a regression test suite - the product of the number of test cases and the number of test requirements. Our previous work has shown that cost-aware techniques (i.e., the test suite reduction techniques that aim to decrease the regression test suite's execution cost) generally outperform the others in terms of decreasing the cost of running the regression test suite. However, the previous empirical studies that evaluated cost-aware techniques did not take into account test suite complexity. That is, prior experiments do not reveal if the cost-aware techniques scale and work effectively on test suites with more test cases and more test requirements. This means that prior experiments do not appropriately shed light on how well test suite reduction methods work with large programs or test suites. Therefore, this paper focuses on the Greedy-based techniques and empirically evaluates the additional Greedy and two cost-aware Greedy techniques - at different levels of test suite complexity - from various standpoints including the cost taken to run the regression test suite, the time taken to reduce the test suites, the total regression testing costs, the fault detection capability, the fault detection efficiency, and the common rates of the representative sets. To the best of our knowledge, none of the previous empirical studies classify a considerable number of test suites according to their complexity. Nor do any prior experiments evaluate the test suite reduction techniques, in terms of the aforementioned criteria, at different levels of test suite complexity. This paper represents the first such attempt to carry out this important task. Based on the empirical results, we confirm the strengths and weaknesses of the cost-aware techniques and develop insights into how the cost-aware techniques' effectiveness varies as the test suite complexity increases.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Science of Computer Programming - Volume 150, 15 December 2017, Pages 1-25
نویسندگان
, , , ,