دوره آموزش Spark SQL برای تحلیل داده‌های ساختاریافته همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش Spark SQL برای تحلیل داده‌های ساختاریافته

موضوع کلی: هوش مصنوعی بومی و کاربردی

موضوع میانی: Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Spark SQL و معماری آن
• 2. آشنایی با Spark و اجزای اصلی آن
• 3. نصب و پیکربندی Spark SQL
• 4. خواندن داده‌ها از منابع مختلف (CSV، JSON، Parquet)
• 5. ایجاد DataFrame و Dataset در Spark SQL
• 6. انتخاب و فیلتر کردن داده‌ها با Spark SQL
• 7. مرتب‌سازی و گروه‌بندی داده‌ها در Spark SQL
• 8. توابع تجمیعی در Spark SQL
• 9. JOIN کردن جداول در Spark SQL
• 10. پیوستن (Union) جداول در Spark SQL
• 11. استفاده از عبارات CTE (Common Table Expressions)
• 12. توابع رشته‌ای در Spark SQL
• 13. توابع تاریخ و زمان در Spark SQL
• 14. توابع ریاضی در Spark SQL
• 15. کار با مقادیر Null در Spark SQL
• 16. تبدیل انواع داده در Spark SQL
• 17. ایجاد جداول موقت و دائمی در Spark SQL
• 18. بهینه‌سازی کوئری‌های Spark SQL
• 19. استفاده از Partitioning و Bucketing برای بهبود کارایی
• 20. استفاده از Broadcast Join
• 21. درک مفهوم Spark SQL Optimizer
• 22. خواندن و نوشتن داده‌ها در Hive
• 23. یکپارچه‌سازی Spark SQL با Kafka
• 24. استفاده از Spark SQL برای تحلیل داده‌های لاگ
• 25. تحلیل داده‌های مالی با Spark SQL
• 26. تحلیل داده‌های فروش با Spark SQL
• 27. تحلیل داده‌های شبکه‌های اجتماعی با Spark SQL
• 28. کار با UDF (User Defined Functions) در Spark SQL
• 29. نوشتن UDF های سفارشی در Python و Scala
• 30. استفاده از Window Functions در Spark SQL
• 31. تحلیل سری‌های زمانی با Spark SQL
• 32. پیش‌بینی داده‌ها با استفاده از Spark MLlib و Spark SQL
• 33. مصورسازی داده‌ها با استفاده از Spark SQL و ابزارهای BI
• 34. مقدمه‌ای بر Spark Streaming و SQL
• 35. تحلیل داده‌های جریانی با Spark SQL
• 36. آشنایی با Delta Lake و مزایای آن
• 37. استفاده از Delta Lake با Spark SQL
• 38. بهینه‌سازی عملکرد Delta Lake
• 39. استفاده از Iceberg با Spark SQL
• 40. مقایسه Delta Lake و Iceberg
• 41. آشنایی با Hudi با Spark SQL
• 42. مقایسه Hudi با Delta Lake و Iceberg
• 43. امنیت داده‌ها در Spark SQL
• 44. مدیریت دسترسی به داده‌ها در Spark SQL
• 45. مانیتورینگ و عیب‌یابی Spark SQL
• 46. استفاده از Spark History Server
• 47. بهترین روش‌ها برای نوشتن کوئری‌های Spark SQL
• 48. استفاده از Explain Plan برای تحلیل کوئری‌ها
• 49. آشنایی با Spark SQL CLI
• 50. استفاده از Spark SQL API در زبان‌های مختلف (Java، Python، Scala، R)
• 51. ادغام Spark SQL با سایر ابزارهای Big Data (Hadoop، HBase)
• 52. استفاده از Spark SQL برای ETL (Extract, Transform, Load)
• 53. مقدمه‌ای بر Spark GraphX و SQL
• 54. تحلیل شبکه‌ها با Spark SQL
• 55. کار با داده‌های مکانی در Spark SQL
• 56. آشنایی با PostGIS و Spark SQL
• 57. استفاده از Spark SQL برای تحلیل داده‌های حسگرها (IoT)
• 58. کار با داده‌های نامنظم با Spark SQL
• 59. استفاده از Spark SQL برای اعتبارسنجی داده‌ها
• 60. پاکسازی و تبدیل داده‌ها با Spark SQL
• 61. مقدمه‌ای بر Data Governance و Spark SQL
• 62. استفاده از Spark SQL برای پیاده‌سازی Data Catalog
• 63. آشنایی با Apache Atlas و Spark SQL
• 64. استفاده از Spark SQL برای Data Lineage
• 65. استفاده از Spark SQL در محیط Cloud (AWS، Azure، Google Cloud)
• 66. مقایسه Spark SQL در محیط‌های مختلف Cloud
• 67. بهینه‌سازی هزینه‌ها در Spark SQL Cloud
• 68. استفاده از Spark SQL برای Machine Learning Pipeline
• 69. استفاده از MLflow با Spark SQL
• 70. آشنایی با Feature Store و Spark SQL
• 71. استفاده از Spark SQL برای Real-time Analytics
• 72. آشنایی با Flink SQL و مقایسه با Spark SQL
• 73. آشنایی با Trino (PrestoSQL) و مقایسه با Spark SQL
• 74. استفاده از Spark SQL برای Data Warehousing
• 75. مقدمه‌ای بر Data Mesh و Spark SQL
• 76. استفاده از Spark SQL برای پیاده‌سازی Data Products
• 77. آشنایی با Lakehouse Architecture و Spark SQL
• 78. استفاده از Spark SQL برای Data Observability
• 79. آشنایی با Datadog و Spark SQL
• 80. استفاده از Spark SQL برای Data Quality Management
• 81. آشنایی با Great Expectations و Spark SQL
• 82. مقدمه‌ای بر DataOps و Spark SQL
• 83. استفاده از CI/CD Pipeline برای Spark SQL
• 84. آشنایی با Dbt (Data Build Tool) و Spark SQL
• 85. استفاده از Spark SQL برای Data Science Projects
• 86. آشنایی با Jupyter Notebook و Spark SQL
• 87. استفاده از Spark SQL برای Data Storytelling
• 88. آشنایی با Tableau و Spark SQL
• 89. استفاده از Spark SQL برای داشبوردهای تعاملی
• 90. مقدمه‌ای بر Data Ethics و Spark SQL
• 91. استفاده از Spark SQL برای Data Privacy
• 92. آشنایی با GDPR و Spark SQL
• 93. استفاده از Spark SQL برای Data Security
• 94. آشنایی با Data Masking و Spark SQL
• 95. بهترین روش‌ها برای مستندسازی Spark SQL Projects
• 96. آشنایی با Sphinx و Spark SQL
• 97. استفاده از Git برای Version Control در Spark SQL
• 98. مقدمه‌ای بر تست کردن Spark SQL کد
• 99. آشنایی با Pytest و Spark SQL
• 100. استفاده از Mocking Frameworks برای تست Spark SQL