فلش‌کارت‌های آموزشی پردازش بیگ دیتا با Apache Spark و PySpark در پایتون

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش بیگ دیتا با Apache Spark و PySpark در پایتون

موضوع کلی: برنامه نویسی

موضوع میانی: پایتون (Python)

📋 سرفصل‌های دوره

• 1. پردازش بیگ دیتا با Apache Spark و PySpark در پایتون
• 2. مفاهیم بنیادی بیگ دیتا و چالش‌های پردازش آن
• 3. معرفی Apache Spark و مزایای آن نسبت به Hadoop MapReduce
• 4. نصب و راه‌اندازی Spark در محیط محلی و ابری
• 5. معماری Spark: درایور، اجراکننده و خوشه
• 6. آشنایی با RDD و عملیات‌های Transformation و Action
• 7. کار با SparkSession و SparkContext
• 8. ایجاد و دستکاری RDD از منابع مختلف
• 9. عملیات‌های Transformation پایه: map, filter, flatMap
• 10. عملیات‌های Transformation پیشرفته: groupByKey, reduceByKey, sortBy
• 11. عملگرهای Action: collect, count, take, reduce, saveAsTextFile
• 12. مدیریت پارتیشن‌بندی و بهینه‌سازی RDD
• 13. معرفی دیتافریم (DataFrame) در Spark
• 14. ایجاد دیتافریم از فایل‌ها و آرایه‌ها
• 15. انتخاب، فیلتر و تغییر ستون‌ها در دیتافریم
• 16. انجام عملیات GroupBy و Aggregation روی دیتافریم
• 17. پیوستن (Join) دیتافریم‌ها به روش‌های مختلف
• 18. کار با توابع پنجره (Window Functions) در Spark
• 19. مدیریت داده‌های گمشده و تکراری در دیتافریم
• 20. معرفی دیتاست (Dataset) و تفاوت آن با دیتافریم
• 21. برنامه‌نویسی با PySpark و استفاده از توابع UDF
• 22. کار با توابع تاریخ، رشته و اعداد در Spark SQL
• 23. پرس‌وجوی داده‌ها با Spark SQL و جداول مجازی
• 24. بهینه‌سازی پرس‌وجوها و مدیریت پلن اجرایی
• 25. خواندن و نوشتن داده از فایل‌های CSV, JSON, Parquet
• 26. اتصال به پایگاه‌های داده و خواندن داده با JDBC
• 27. مدیریت فرمت‌های فشرده و سریال‌سازی در Spark
• 28. معرفی جریان‌های داده (Streaming) با Spark Structured Streaming
• 29. خواندن جریان داده از سوکت و فایل
• 30. پردازش پنجره‌ای و حالت‌دار در جریان‌های داده
• 31. خروجی‌گیری از جریان داده به کنسول و فایل
• 32. معرفی MLlib و یادگیری ماشین توزیع‌شده
• 33. آماده‌سازی ویژگی‌ها با Pipeline و VectorAssembler
• 34. پیاده‌سازی رگرسیون خطی و لجستیک با MLlib
• 35. خوشه‌بندی با K-Means و مدل‌های مبتنی بر درخت
• 36. ارزیابی مدل و تنظیم فراپارامترها با CrossValidator
• 37. مدیریت حافظه و تنظیم پارامترهای اجرایی Spark
• 38. مدیریت خطا و اشکال‌زدایی در Spark
• 39. بهبود کارایی با کش کردن (Cache) و پایدارسازی (Persist)
• 40. استفاده از Broadcast Variables و Accumulators
• 41. اشکال‌زدایی با Spark UI و لاگ‌ها
• 42. هماهنگی با YARN و Mesos برای مدیریت خوشه
• 43. پردازش داده‌های حجیم با پارتیشن‌بندی تطبیقی
• 44. مقایسه Spark با ابزارهای دیگر مانند Flink و Dask
• 45. بهینه‌سازی کد پایتون برای اجرا روی Spark
• 46. مدیریت توابع سنگین و سریال‌سازی در PySpark
• 47. استفاده از کتابخانه‌های پایتون (NumPy, Pandas) در Spark
• 48. پردازش داده‌های گراف با GraphX (مفاهیم پایه)
• 49. پروژه عملی: تحلیل لاگ سرور با Spark
• 50. پروژه عملی: پردازش داده‌های مالی با Spark SQL
• 51. پروژه عملی: تحلیل احساسات با MLlib
• 52. پروژه عملی: پردازش جریان داده از API
• 53. پروژه عملی: بهینه‌سازی یک Pipeline بزرگ
• 54. مدیریت نسخه‌ها و هماهنگی تیمی با Spark