Benchmarking model-free and model-based optimal control

یادگیری تقویت نشده مدل و کنترل پیش بینی کننده مدل غیر خطی دو روش متفاوت برای کنترل یک سیستم پویا به روش مطلوب با توجه به یک تابع هزینه پیشنهادی است. یادگیری تقویت می کند یک سیاست کنترل را از طریق تعامل اکتشافی با سیستم به دست می آورد، در حالی که کنترل پیش بینی شده مدل غیر خطی از یک مدل ریاضی صریح داده شده از سیستم استفاده می کند. در این مقاله، ما یک مقایسه جامع از عملکرد یادگیری تقویت و کنترل پیش بینی کننده مدل غیر خطی برای یک سیستم ایده آل و همچنین برای یک سیستم با عدم قطعیت پارامتری و ساختاری ارائه می کنیم. مقایسه بر اساس دو معیار متفاوت، یعنی شباهت تراپها و پاداشهای حاصل شده است. ارزیابی هر دو روش بر روی یک معیار معیار استاندارد انجام می شود: یک چرخش پاندول و یک کار تعادل. ابتدا فرمول بندی های مناسب ریاضی را پیدا می کنیم و در مورد تاثیر تفاوت در فرمولاسیون مشکالت بحث خواهیم کرد. سپس، استحکام یادگیری تقویت کننده و کنترل پیش بینی کننده مدل غیر خطی بر روی عدم قطعیت را مورد بررسی قرار می دهیم. نتایج نشان می دهد که کنترل پیش بینی شده مدل غیر خطی دارای مزایایی نسبت به یادگیری تقویتی است، اگر عدم اطمینان را می توان از طریق شناسایی پارامترهای سیستم حذف کرد. در غیر این صورت، یک نقطه شکستن وجود دارد پس از آن، یادگیری تقویت بدون مدل، بهتر از مدل پیش بینی نشده مدل غیر خطی با مدل نادرست انجام می شود. این یافته ها نشان می دهد که مزایا را می توان با ترکیب این روش ها برای سیستم های واقعی که چنین نااطمینانی را تحت پوشش قرار می دهند، بدست آورد. در آینده ما قصد داریم یک کنترل کننده هیبریدی را توسعه دهیم و عملکرد آن را در یک ربات واقعی هفت درجه آزادانه رانندگی ارزیابی کنیم.