اپلیکیشن اندرویدی فلش‌کارت آموزشی Google Cloud Platform: Batch Application Deployment and Management with Dask (Advanced Distributed Computing)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Google Cloud Platform: Batch Application Deployment and Management with Dask (Advanced Distributed Computing)

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر برنامه نویسی توزیع شده
• 2. مقدمه‌ای بر Google Cloud Platform (GCP)
• 3. معرفی Dask برای محاسبات توزیع شده
• 4. مزایای Dask در برنامه نویسی توزیع شده
• 5. مفاهیم کلیدی Dask: Task Graphs
• 6. مفاهیم کلیدی Dask: Schedulers
• 7. مفاهیم کلیدی Dask: Workers
• 8. نصب Dask و Dask-ML
• 9. راه‌اندازی محیط توسعه Dask
• 10. مقدمه‌ای بر Compute Clusters در Dask
• 11. انواع Schedulers در Dask (threaded, multiprocessing, distributed)
• 12. انتخاب Scheduler مناسب برای هر سناریو
• 13. مقدمه‌ای بر Dask DataFrames
• 14. عملیات پایه Dask DataFrame (select, filter, group by)
• 15. عملیات پیشرفته Dask DataFrame (joins, merges)
• 16. کار با داده‌های حجیم با Dask DataFrames
• 17. انواع Dask Arrays
• 18. عملیات پایه Dask Array
• 19. کار با آرایه‌های حجیم با Dask Arrays
• 20. مقدمه‌ای بر Dask Bags
• 21. استفاده از Dask Bags برای پردازش داده‌های بدون ساختار
• 22. پردازش موازی فایل‌ها با Dask Bags
• 23. مقدمه‌ای بر Dask-ML
• 24. کار با مدل‌های یادگیری ماشین توزیع شده با Dask-ML
• 25. آموزش مدل‌های خطی با Dask-ML
• 26. آموزش مدل‌های درختی با Dask-ML
• 27. استفاده از Cross-validation با Dask-ML
• 28. Hyperparameter Tuning با Dask-ML
• 29. مقدمه‌ای بر استقرار برنامه (Deployment)
• 30. مفاهیم استقرار برنامه (Deployment Concepts)
• 31. مقدمه‌ای بر Google Cloud Platform (GCP) برای استقرار
• 32. معرفی Compute Engine (VMs) در GCP
• 33. راه‌اندازی Virtual Machines در Compute Engine
• 34. پیکربندی شبکه‌ها و فایروال‌ها در GCP
• 35. مدیریت دسترسی و احراز هویت در GCP (IAM)
• 36. مقدمه‌ای بر Google Kubernetes Engine (GKE)
• 37. مفاهیم کلیدی Kubernetes (Pods, Deployments, Services)
• 38. راه‌اندازی یک GKE Cluster
• 39. استقرار Dask Workers بر روی GKE
• 40. استقرار Dask Scheduler بر روی GKE
• 41. مدیریت Dask Clusters در GKE
• 42. استقرار برنامه Batch بر روی GKE
• 43. استفاده از Docker برای کانتینرسازی برنامه Dask
• 44. ساخت Docker Images برای برنامه Dask
• 45. استقرار Docker Images در GCP Container Registry
• 46. استفاده از Cloud Run برای استقرار Batch Applications
• 47. مزایای Cloud Run برای Batch Processing
• 48. استقرار Dask Jobs به صورت Serverless با Cloud Run
• 49. مقدمه‌ای بر Cloud Functions برای اجرای کد Serverless
• 50. استفاده از Cloud Functions برای Trigger کردن Dask Jobs
• 51. مقدمه‌ای بر Cloud Build برای CI/CD Pipeline
• 52. ساخت CI/CD Pipeline برای Dask Applications در GCP
• 53. خودکارسازی Build و Deployment با Cloud Build
• 54. استفاده از Cloud Scheduler برای زمان‌بندی Dask Jobs
• 55. زمان‌بندی Batch Jobs با Cloud Scheduler
• 56. یکپارچه‌سازی Cloud Scheduler با GKE و Cloud Run
• 57. مدیریت داده‌ها در GCP برای Batch Applications
• 58. استفاده از Cloud Storage برای ذخیره‌سازی داده‌ها
• 59. دسترسی به داده‌ها از Dask Jobs در Cloud Storage
• 60. استفاده از BigQuery برای پردازش داده‌های حجیم
• 61. اتصال Dask به BigQuery
• 62. امنیت داده‌ها در GCP
• 63. رمزگذاری داده‌ها در Cloud Storage و BigQuery
• 64. مدیریت کلیدها در GCP (KMS)
• 65. مانیتورینگ Dask Applications در GCP
• 66. استفاده از Cloud Monitoring برای رصد Dask Clusters
• 67. ایجاد Dashboards سفارشی برای Dask
• 68. لاگ‌برداری (Logging) از Dask Workers و Schedulers
• 69. تحلیل لاگ‌ها برای عیب‌یابی (Troubleshooting)
• 70. مدیریت خطا (Error Handling) در Dask Jobs
• 71. استراتژی‌های بازگشت (Retry Strategies) برای Batch Jobs
• 72. Logging پیشرفته برای Dask Applications
• 73. Tracing Dask Tasks برای شناسایی Bottlenecks
• 74. استفاده از Dask-specific Monitoring Tools
• 75. معرفی Distributed Tracing
• 76. استفاده از OpenTelemetry در Dask
• 77. یکپارچه‌سازی Dask با سیستم‌های Tracing
• 78. بهینه‌سازی عملکرد (Performance Optimization) Dask Applications
• 79. تنظیم پارامترهای Dask Scheduler
• 80. تنظیم تعداد Workers و Threads
• 81. بهینه‌سازی Task Graph
• 82. کار با Dask Collections به صورت موثر
• 83. استفاده از Dask Delayed برای ساخت Task Graphs سفارشی
• 84. ملاحظات مربوط به حافظه (Memory Management) در Dask
• 85. مدیریت Spill و Cache در Dask
• 86. بهینه‌سازی I/O Operations
• 87. استفاده از فرمت‌های داده بهینه (Parquet, ORC)
• 88. بهینه‌سازی Dask DataFrames و Arrays
• 89. استفاده از Vectorized Operations
• 90. استراتژی‌های Partitioning در Dask
• 91. مقدمه‌ای بر Cost Management در GCP
• 92. ردیابی هزینه‌های Dask Applications
• 93. استراتژی‌های کاهش هزینه در GCP
• 94. استفاده از Spot VMs برای کاهش هزینه‌ها
• 95. مدیریت منابع (Resource Management) در GKE
• 96. Auto-scaling برای Dask Workers
• 97. Auto-scaling برای Dask Scheduler
• 98. بهینه‌سازی استفاده از منابع CPU و Memory
• 99. ملاحظات امنیتی برای Batch Application Deployment
• 100. نکات امنیتی در استقرار Dask Clusters