فلش‌کارت‌های آموزشی کنترل بهینه سیستم‌های خطی با یادگیری تقویتی: رهیافت‌های فرم بسته با ترکیب LQR و MDP خطی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کنترل بهینه سیستم‌های خطی با یادگیری تقویتی: رهیافت‌های فرم بسته با ترکیب LQR و MDP خطی

موضوع کلی: سیستم‌های کنترل هوشمند

موضوع میانی: یادگیری تقویتی برای سیستم‌های کنترل

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر سیستم‌های کنترل هوشمند
• 2. تاریخچه و تکامل تئوری کنترل
• 3. مبانی سیستم‌های دینامیکی خطی
• 4. نمایش فضای حالت (State-Space Representation)
• 5. مفهوم پایداری در سیستم‌های کنترل
• 6. پایداری به مفهوم لیاپونوف
• 7. کنترل‌پذیری (Controllability) و رویت‌پذیری (Observability)
• 8. مروری بر جبر خطی: فضا‌های برداری و ماتریس‌ها
• 9. مقادیر ویژه، بردار‌های ویژه و تاثیر آن‌ها بر دینامیک سیستم
• 10. ماتریس‌های معین مثبت و کاربرد آن‌ها در کنترل
• 11. مقدمه‌ای بر بهینه‌سازی و توابع هزینه
• 12. کنترل بهینه چیست؟
• 13. تنظیم‌کننده خطی درجه دوم (LQR): معرفی مساله
• 14. تابع هزینه درجه دوم در سیستم‌های کنترل
• 15. اصل بهینگی بلمن (Bellman's Principle of Optimality)
• 16. برنامه‌ریزی پویا (Dynamic Programming) برای مسائل کنترل
• 17. معادله ریکاتی جبری (Algebraic Riccati Equation - ARE)
• 18. حل معادله ریکاتی و یافتن بهره کنترل بهینه
• 19. کنترل‌کننده فیدبک حالت خطی (Linear State-Feedback)
• 20. ویژگی‌های حلقه بسته سیستم تحت کنترل LQR
• 21. مقدمه‌ای بر یادگیری تقویتی (Reinforcement Learning)
• 22. عامل، محیط، حالت، عمل و پاداش
• 23. فرآیندهای تصمیم‌گیری مارکوف (MDPs)
• 24. ویژگی مارکوف و دینامیک انتقال حالت
• 25. سیاست (Policy): قطعی و تصادفی
• 26. تابع ارزش حالت (V-function)
• 27. تابع ارزش عمل (Q-function)
• 28. معادلات بلمن برای توابع ارزش
• 29. معادلات بهینگی بلمن
• 30. الگوریتم‌های برنامه‌ریزی پویا در یادگیری تقویتی
• 31. الگوریتم تکرار سیاست (Policy Iteration)
• 32. الگوریتم تکرار ارزش (Value Iteration)
• 33. یادگیری بدون مدل (Model-Free Learning)
• 34. یادگیری مونت کارلو (Monte Carlo Methods)
• 35. یادگیری با تفاوت زمانی (Temporal-Difference Learning)
• 36. الگوریتم Q-Learning
• 37. الگوریتم SARSA
• 38. تقریب توابع در یادگیری تقویتی
• 39. چالش‌های یادگیری تقویتی در فضاهای پیوسته
• 40. پیوند میان کنترل بهینه و یادگیری تقویتی
• 41. فرموله‌بندی مساله LQR به عنوان یک فرآیند تصمیم‌گیری مارکوف
• 42. تعریف حالت، عمل و پاداش برای مساله LQR
• 43. MDP های خطی (Linear MDPs): تعریف و ویژگی‌ها
• 44. تابع پاداش درجه دوم در چارچوب MDP
• 45. تابع ارزش درجه دوم در سیستم‌های خطی
• 46. نمایش پارامتریک تابع Q برای سیستم‌های خطی-درجه دوم
• 47. معادله بلمن برای مساله LQR
• 48. تکرار سیاست برای حل مساله LQR (با مدل مشخص)
• 49. تکرار ارزش برای حل مساله LQR (با مدل مشخص)
• 50. چالش اصلی: یادگیری کنترل بهینه بدون اطلاع از دینامیک سیستم
• 51. یادگیری تقویتی مبتنی بر مدل (Model-Based RL) برای کنترل
• 52. یادگیری تقویتی بدون مدل (Model-Free RL) برای کنترل
• 53. مفهوم یادگیری خارج از سیاست (Off-Policy) و درون سیاست (On-Policy)
• 54. جمع‌آوری داده از سیستم: اکتشاف در فضای عمل پیوسته
• 55. الگوریتم‌های گرادیان سیاست (Policy Gradient Methods)
• 56. الگوریتم‌های بازیگر-منتقد (Actor-Critic Methods)
• 57. یادگیری Q با استفاده از روش حداقل مربعات تفاوت زمانی (LSTD-Q)
• 58. فرموله‌بندی مساله یادگیری Q به عنوان یک مساله رگرسیون
• 59. ساختار ماتریسی الگوریتم LSTD-Q
• 60. نمایش تابع Q به صورت پارامتریک: Q(x,u) = [x', u']' H [x; u]
• 61. استخراج پارامترهای ماتریس H از داده‌ها
• 62. راه حل فرم بسته برای تخمین پارامترهای تابع Q
• 63. ارتباط میان ماتریس H و راه حل معادله ریکاتی
• 64. از تابع Q به سیاست بهینه: استخراج بهره کنترل K
• 65. استخراج فرم بسته سیاست بهینه از تابع Q تخمین‌زده شده
• 66. تحلیل ریاضی استخراج سیاست بهینه
• 67. اثبات همگرایی سیاست یادگرفته‌شده به سیاست LQR بهینه
• 68. الگوریتم یادگیری تقویتی دسته‌ای (Batch RL) برای LQR
• 69. گام اول: جمع‌آوری داده‌های حالت، عمل و پاداش
• 70. گام دوم: حل مساله حداقل مربعات برای یافتن پارامترهای Q
• 71. گام سوم: محاسبه بهره کنترل بهینه به صورت فرم بسته
• 72. تحلیل پایداری کنترل‌کننده یادگرفته‌شده
• 73. شرایط لازم برای داده‌های اکتشافی (Persistency of Excitation)
• 74. نقش نویز در تحریک سیستم و بهبود یادگیری
• 75. مقایسه روش فرم بسته با روش‌های تکراری
• 76. پیاده‌سازی عملی: شبیه‌سازی یک سیستم خطی ساده
• 77. کنترل پاندول معکوس با استفاده از RL فرم بسته
• 78. تحلیل حساسیت الگوریتم به نویز اندازه‌گیری
• 79. تحلیل پیچیدگی محاسباتی و نیاز به داده (Sample Complexity)
• 80. یادگیری آنلاین در مقابل یادگیری دسته‌ای برای سیستم‌های کنترل
• 81. تطبیق‌پذیری الگوریتم با تغییرات دینامیک سیستم
• 82. تعمیم به سیستم‌های خطی متغیر با زمان (LTV)
• 83. کنترل مقاوم با استفاده از یادگیری تقویتی
• 84. یادگیری توابع هزینه نامشخص (Inverse Reinforcement Learning)
• 85. ترکیب شناسایی سیستم (System Identification) با یادگیری تقویتی
• 86. مقایسه رویکرد شناسایی-سپس-کنترل با رویکرد RL مستقیم
• 87. یادگیری تقویتی برای سیستم‌های با دینامیک تصادفی (Stochastic Linear Systems)
• 88. گسترش به مسائل ردیابی (Tracking) در کنترل
• 89. مدل‌سازی عدم قطعیت در یادگیری تقویتی
• 90. یادگیری تقویتی امن (Safe Reinforcement Learning)
• 91. کاربرد در رباتیک: کنترل حرکت بازوی ربات
• 92. کاربرد در وسایل نقلیه خودران: کنترل مسیر
• 93. کاربرد در مدیریت انرژی و شبکه‌های هوشمند
• 94. محدودیت‌های رویکرد MDP خطی
• 95. چالش‌های پیاده‌سازی روی سخت‌افزار واقعی
• 96. مروری بر مقالات و تحقیقات مرتبط جدید
• 97. زمینه‌های تحقیقاتی باز در تلاقی کنترل و یادگیری تقویتی
• 98. جمع‌بندی نهایی دوره و مرور مفاهیم کلیدی
• 99. پروژه نهایی: طراحی و شبیه‌سازی یک کنترل‌کننده هوشمند برای یک سیستم خطی