فلش‌کارت‌های آموزشی Google Cloud Platform: Batch Application Deployment and Management with Dask (Advanced Distributed Computing)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Google Cloud Platform: Batch Application Deployment and Management with Dask (Advanced Distributed Computing)

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات توزیع شده
• 2. چرا محاسبات توزیع شده؟
• 3. معرفی Dask
• 4. Dask در مقابل MapReduce و Apache Spark
• 5. معماری Dask
• 6. اجزای اصلی Dask (Tasks, Schedulers, Workers)
• 7. نصب Dask
• 8. راه اندازی اولیه Dask Local Cluster
• 9. تست Dask Local Cluster
• 10. مفهوم Task Graph در Dask
• 11. ایجاد Task Graphs دستی
• 12. نمایش Task Graphs
• 13. بهینه سازی Task Graphs
• 14. مقدمه‌ای بر Dask Array
• 15. عملیات پایه Dask Array
• 16. پشتیبانی Dask Array از NumPy
• 17. کار با آرایه‌های بزرگ با Dask Array
• 18. توزیع محاسبات آرایه
• 19. ذخیره سازی Dask Array
• 20. مقدمه‌ای بر Dask DataFrame
• 21. ساختار Dask DataFrame
• 22. عملیات پایه Dask DataFrame
• 23. تبدیل Pandas DataFrame به Dask DataFrame
• 24. کار با فایل‌های بزرگ CSV و Parquet با Dask DataFrame
• 25. پیاده سازی join و merge در Dask DataFrame
• 26. توابع group by در Dask DataFrame
• 27. کار با داده‌های سری زمانی با Dask DataFrame
• 28. پشتیبانی Dask DataFrame از انواع داده‌های مختلف
• 29. مقدمه‌ای بر Dask Bag
• 30. عملیات پایه Dask Bag
• 31. کار با فایل‌های متنی بزرگ با Dask Bag
• 32. پردازش داده‌های نیمه ساختاریافته با Dask Bag
• 33. تکنیک‌های map و filter در Dask Bag
• 34. تکنیک‌های reduction در Dask Bag
• 35. کار با داده‌های JSON با Dask Bag
• 36. مقدمه‌ای بر Dask Delayed
• 37. استفاده از Dask Delayed برای بهینه‌سازی محاسبات
• 38. مثال‌های پیشرفته Dask Delayed
• 39. کار با توابع دلخواه با Dask Delayed
• 40. مقایسه Dask Delayed با Lazy Evaluation
• 41. مقدمه‌ای بر Google Cloud Platform (GCP)
• 42. مفاهیم کلیدی GCP (Projects, Regions, Zones)
• 43. شبکه GCP (VPC, Subnets, Firewall Rules)
• 44. مدیریت هویت و دسترسی در GCP (IAM)
• 45. ذخیره سازی در GCP (Cloud Storage)
• 46. مقدمه‌ای بر Compute Engine
• 47. ایجاد و مدیریت ماشین‌های مجازی (VMs) در Compute Engine
• 48. شبکه بندی در Compute Engine
• 49. مدیریت دیسک‌ها در Compute Engine
• 50. توسعه برنامه در GCP: اولین گام‌ها
• 51. استقرار برنامه Batch ساده
• 52. تنظیمات اولیه برای استقرار Dask بر روی GCP
• 53. استفاده از Compute Engine برای Worker Nodes
• 54. استفاده از Google Kubernetes Engine (GKE)
• 55. مقدمه‌ای بر GKE
• 56. ایجاد GKE Cluster
• 57. مفاهیم Kubernetes (Pods, Deployments, Services)
• 58. استقرار Dask Worker با استفاده از Kubernetes
• 59. استفاده از Dask-Kubernetes
• 60. ساخت Dask Cluster در GKE
• 61. مدیریت Worker Nodes با Dask-Kubernetes
• 62. مقیاس بندی Dask Cluster در GKE
• 63. پایش Dask Cluster در GKE
• 64. ذخیره سازی Persistent برای Dask Worker در GKE
• 65. استقرار برنامه Dask Batch بر روی GKE
• 66. استفاده از Cloud Storage برای داده‌ها
• 67. دسترسی به Cloud Storage از Dask Cluster
• 68. مدیریت داده‌ها در Cloud Storage
• 69. روش‌های مختلف دسترسی به داده‌ها (SDK, gsutil)
• 70. استقرار برنامه Batch پیشرفته در GCP
• 71. بهینه سازی Dask Cluster برای عملکرد
• 72. تنظیمات حافظه و CPU برای Workers
• 73. تنظیمات شبکه برای Workers
• 74. استفاده از GPU در Dask Cluster
• 75. پایش عملکرد Dask Cluster
• 76. ابزارهای پایش GCP (Cloud Monitoring)
• 77. تنظیمات Logging در GCP
• 78. تحلیل لاگ‌ها برای عیب یابی
• 79. مدیریت خطا در برنامه Batch
• 80. استراتژی‌های باز تلاش (Retry Mechanisms)
• 81. مدیریت وضعیت (State Management)
• 82. استقرار برنامه‌های Batch پیچیده
• 83. استفاده از Cloud Build برای CI/CD
• 84. اتوماسیون استقرار Dask Cluster
• 85. استفاده از Cloud Functions یا Cloud Run برای Triggering Batch Jobs
• 86. یکپارچه سازی Dask با سرویس‌های دیگر GCP
• 87. استفاده از BigQuery برای داده‌های تحلیل شده
• 88. استفاده از Pub/Sub برای ارتباطات
• 89. استفاده از Dataflow برای پردازش‌های Streaming (اشاره)
• 90. امنیت در استقرار Dask Batch
• 91. مدیریت Secret ها در GCP
• 92. تنظیمات امنیتی IAM برای Dask
• 93. انعطاف پذیری و قابلیت اطمینان
• 94. مقیاس پذیری خودکار (Auto-scaling)
• 95. قابلیت تحمل خطا (Fault Tolerance)
• 96. بازگردانی پس از فاجعه (Disaster Recovery)
• 97. بهترین شیوه‌ها (Best Practices) برای استقرار Dask Batch
• 98. ملاحظات هزینه در GCP
• 99. بهینه سازی مصرف منابع
• 100. انتخاب نوع ماشین و منطقه مناسب