دوره Google Cloud Platform: استقرار و مدیریت برنامه های Batch با Dataflow همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Google Cloud Platform: استقرار و مدیریت برنامه های Batch با Dataflow

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های دوره

• 1. مقدمه ای بر Google Cloud Platform (GCP) و Dataflow
• 2. معرفی سرویس های محاسباتی GCP (Compute Engine, GKE, Cloud Functions)
• 3. آشنایی با سرویس های ذخیره سازی GCP (Cloud Storage, Cloud SQL, Cloud Spanner)
• 4. مفهوم پردازش Batch و کاربردهای آن
• 5. Dataflow چیست و چگونه کار می کند؟
• 6. مزایای استفاده از Dataflow برای پردازش Batch
• 7. معماری Dataflow: Pipeline, PCollection, PTransform
• 8. انتخاب زبان برنامه نویسی مناسب برای Dataflow (Java, Python, Go)
• 9. نصب و پیکربندی SDK های Dataflow
• 10. ایجاد یک پروژه GCP و فعال سازی Dataflow API
• 11. آشنایی با کنسول Google Cloud و ابزارهای خط فرمان (gcloud)
• 12. مدیریت هویت و دسترسی (IAM) در GCP
• 13. مفاهیم Containerization و Docker
• 14. ساخت Docker Image برای برنامه Dataflow
• 15. بارگذاری Docker Image در Container Registry
• 16. آشنایی با Apache Beam و نقش آن در Dataflow
• 17. نوشتن اولین Pipeline Dataflow با Apache Beam
• 18. استفاده از PCollection برای مدیریت داده ها
• 19. استفاده از PTransform برای عملیات پردازشی
• 20. خواندن داده ها از منابع مختلف (Cloud Storage, BigQuery)
• 21. نوشتن داده ها به منابع مختلف (Cloud Storage, BigQuery)
• 22. تبدیل داده ها با استفاده از Map و Filter
• 23. تجمیع داده ها با استفاده از Reduce و GroupByKey
• 24. استفاده از Windowing برای پردازش داده های جریانی (Streaming Data)
• 25. انواع Windowing در Dataflow (Fixed, Sliding, Session)
• 26. ایجاد Windowing سفارشی
• 27. مدیریت Watermark در Dataflow
• 28. مفهوم Triggers در Dataflow
• 29. استفاده از Triggers برای کنترل خروجی Windowing
• 30. بهینه سازی عملکرد Pipeline Dataflow
• 31. مفهوم Shuffle و راهکارهای بهینه سازی آن
• 32. استفاده از Combiner برای کاهش Shuffle
• 33. استفاده از Caching برای بهبود عملکرد
• 34. Monitoring و Logging Pipeline Dataflow
• 35. استفاده از Cloud Monitoring برای نظارت بر Dataflow
• 36. استفاده از Cloud Logging برای ثبت وقایع Dataflow
• 37. عیب یابی Pipeline Dataflow
• 38. خطاهای رایج در Dataflow و راه حل های آنها
• 39. استفاده از Debugger در Dataflow
• 40. Dataflow Templates: ایجاد و استفاده
• 41. استفاده از Dataflow Templates برای استقرار سریع Pipeline ها
• 42. Custom Templates: ساخت Templates سفارشی
• 43. Dataflow SQL: پردازش داده ها با SQL
• 44. اجرای کوئری های SQL بر روی داده های Dataflow
• 45. استفاده از UDF (User-Defined Functions) در Dataflow SQL
• 46. ادغام Dataflow با سایر سرویس های GCP (BigQuery, Pub/Sub)
• 47. استفاده از Dataflow برای ETL (Extract, Transform, Load)
• 48. استفاده از Dataflow برای پردازش داده های IoT
• 49. Dataflow Runner: اجرای Pipeline بر روی محیط های مختلف
• 50. اجرای Pipeline بر روی Cloud Dataflow
• 51. اجرای Pipeline به صورت Local
• 52. اجرای Pipeline بر روی Apache Spark و Flink
• 53. مقیاس پذیری Dataflow
• 54. تنظیم Autoscaling در Dataflow
• 55. مدیریت Resource های Dataflow
• 56. Dataflow Security: امنیت در Dataflow
• 57. رمزنگاری داده ها در Dataflow
• 58. کنترل دسترسی به داده های Dataflow
• 59. Dataflow Pricing: مدل قیمت گذاری Dataflow
• 60. درک هزینه های Dataflow و راهکارهای کاهش آن
• 61. استفاده از Committed Use Discount (CUD)
• 62. Dataflow Best Practices: بهترین روش ها برای استفاده از Dataflow
• 63. طراحی Pipeline Dataflow کارآمد و مقیاس پذیر
• 64. مدیریت وابستگی ها در Dataflow
• 65. استفاده از Version Control برای مدیریت کد Dataflow
• 66. CI/CD برای Dataflow: استقرار خودکار Pipeline ها
• 67. استفاده از Cloud Build برای CI/CD Dataflow
• 68. استفاده از Terraform برای مدیریت زیرساخت Dataflow
• 69. Dataflow Monitoring and Alerting: ایجاد هشدار برای رویدادهای Dataflow
• 70. استفاده از Cloud Monitoring Alerts
• 71. ساخت Dashboard سفارشی برای Dataflow
• 72. Advanced Dataflow Concepts: مفاهیم پیشرفته Dataflow
• 73. Custom Sources and Sinks: ایجاد منابع و مقاصد داده سفارشی
• 74. Stateful Processing in Dataflow: پردازش با حفظ وضعیت
• 75. Side Inputs in Dataflow: استفاده از ورودی های جانبی
• 76. استفاده از Dataflow برای Machine Learning
• 77. آماده سازی داده ها برای Machine Learning با Dataflow
• 78. Dataflow Pipelines for Anomaly Detection: تشخیص ناهنجاری با Dataflow
• 79. Dataflow Pipelines for Data Validation: اعتبارسنجی داده با Dataflow
• 80. استفاده از Dataflow برای Data Masking: پنهان سازی داده با Dataflow
• 81. Dataflow Pipelines for Data Enrichment: غنی سازی داده با Dataflow
• 82. Dataflow Pipelines for Time Series Analysis: تحلیل سری زمانی با Dataflow
• 83. Dataflow Pipelines for Graph Processing: پردازش گراف با Dataflow
• 84. Dataflow Pipelines for Real-Time Analytics: تحلیل Real-Time با Dataflow
• 85. استفاده از Apache Kafka با Dataflow
• 86. استفاده از Apache Avro با Dataflow
• 87. استفاده از Apache Parquet با Dataflow
• 88. استفاده از Apache ORC با Dataflow
• 89. Dataflow Patterns: الگوهای رایج در Dataflow
• 90. Pipeline Templating Patterns: الگوهای ایجاد Templates
• 91. Dataflow Performance Tuning Patterns: الگوهای بهینه سازی عملکرد
• 92. Dataflow Error Handling Patterns: الگوهای مدیریت خطا
• 93. Dataflow Security Patterns: الگوهای امنیتی
• 94. Dataflow Cost Optimization Patterns: الگوهای بهینه سازی هزینه
• 95. Integration Testing for Dataflow: تست یکپارچگی Dataflow
• 96. Unit Testing for Dataflow: تست واحد Dataflow
• 97. Stress Testing for Dataflow: تست استرس Dataflow
• 98. Performance Testing for Dataflow: تست عملکرد Dataflow
• 99. Dataflow Certification: آماده شدن برای آزمون Dataflow
• 100. Dataflow Case Studies: بررسی موارد واقعی استفاده از Dataflow