فلش‌کارت‌های آموزشی راهنمای جامع طراحی و اجرای خط‌لوله‌های داده با استفاده از خدمات Azure (پروژه محور)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای جامع طراحی و اجرای خط‌لوله‌های داده با استفاده از خدمات Azure (پروژه محور)

موضوع کلی: مهندسی داده و تحلیل کلان‌داده (Big Data)

موضوع میانی: پیاده‌سازی زیرساخت‌های پردازش داده در پلتفرم‌های ابری

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم مهندسی داده و معماری ابری
• 2. بررسی سرویس‌های تحلیل داده در پلتفرم Azure
• 3. آماده‌سازی محیط کاری و اشتراک در Azure
• 4. طراحی معماری کلان‌داده با رویکرد مقیاس‌پذیر
• 5. مبانی ذخیره‌سازی داده در Azure Data Lake Storage Gen2
• 6. امنیت داده‌ها و مدیریت دسترسی‌ها بر اساس نقش (RBAC)
• 7. اصول طراحی پایگاه‌داده در Azure SQL Database
• 8. آشنایی با Azure Data Factory و مفهوم خط‌لوله داده
• 9. ایجاد سرویس‌های Integration Runtime برای اتصال به منابع داده
• 10. استخراج داده از منابع محلی به فضای ابری
• 11. طراحی و پیاده‌سازی فعالیت‌های کپی داده (Copy Activity)
• 12. مدیریت تغییرات و فرمت‌بندی داده‌ها در حین انتقال
• 13. کار با Azure Databricks برای پردازش داده‌های حجیم
• 14. مقدمه‌ای بر زبان PySpark در محیط پردازش توزیع‌شده
• 15. پاک‌سازی و پیش‌پردازش داده‌ها با استفاده از Notebooks
• 16. تبدیل داده‌های خام به فرمت‌های بهینه مانند Delta Lake
• 17. پیاده‌سازی استراتژی‌های بارگذاری داده (Incremental Load)
• 18. استفاده از Azure Synapse Analytics برای انبارش داده
• 19. طراحی جداول توزیع‌شده در محیط Synapse
• 20. مدیریت بارهای کاری در انبار داده‌های ابری
• 21. تلفیق داده‌ها از منابع ناهمگون
• 22. مانیتورینگ و عیب‌یابی خط‌لوله‌های داده در Azure Data Factory
• 23. بهینه‌سازی عملکرد در پردازش‌های سنگین داده‌ای
• 24. استفاده از Azure Key Vault برای مدیریت ایمن کلیدها و رمزها
• 25. یکپارچه‌سازی با Azure Monitor و لاگ‌های سیستم
• 26. طراحی داشبوردهای مدیریتی با Power BI و اتصال به Synapse
• 27. مدل‌سازی داده برای تحلیل‌های هوش تجاری
• 28. استقرار خودکار زیرساخت با استفاده از ابزارهای CI/CD
• 29. مدیریت نسخه‌بندی کدها با Azure DevOps
• 30. پیاده‌سازی تست‌های واحد (Unit Testing) برای خط‌لوله‌های داده
• 31. بررسی هزینه‌های زیرساخت ابری و بهینه‌سازی مصرف منابع
• 32. استراتژی‌های بازیابی فاجعه و پشتیبان‌گیری در Azure
• 33. امنیت شبکه در انتقال داده‌ها با استفاده از Private Link
• 34. پیاده‌سازی مدیریت کیفیت داده (Data Quality) در مسیر پردازش
• 35. مستندسازی پروژه‌های مهندسی داده
• 36. ارائه نهایی پروژه و بررسی سناریوهای عملیاتی