The average cost of Markov chains subject to total variation distance uncertainty

در این مقاله مسئله کنترل یک زنجیره مارکوف به طوری که به حداقل رساندن هزینه میانگین در نظر گرفته شده در مدت زمان واحد در زمان زمانی که توزیع نامحدود ناشناخته است، اما ما می دانیم آن متعلق به یک مجموعه نامشخص داده می شود. مدل ریاضی مورد استفاده برای توصیف این مجموعه، عدم قطعیت فاصله کل تغییرات است. ما نشان می دهیم که سیاست کنترل تعادلی، که احتمال بیشتری را به ایالات با هزینه پایین و احتمال کمتر به ایالات با هزینه های بالا ارائه می دهد، یک سیاست کنترل بهینه است که هزینه متوسط ​​را به حداقل می رساند. شناخت چنین سیاستی ممکن است در شرایط عملی با محدودیت هایی که در اینجا مورد مطالعه قرار می گیرد، ارزشمند باشد، در حالی که توزیع غیرمستقیم نامعلوم است و به طور آنلاین نیازمند یک سیاست کنترل مطلوب است.