اپلیکیشن اندرویدی فلش‌کارت آموزشی تحلیل داده‌های بزرگ با Apache Spark و Hadoop

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تحلیل داده‌های بزرگ با Apache Spark و Hadoop

موضوع کلی: برنامه نویسی

موضوع میانی: حوزه‌های تخصصی**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر کلان داده (Big Data) و چالش‌های آن
• 2. ویژگی‌های کلان داده: حجم، سرعت، تنوع (3V's) و فراتر از آن
• 3. تاریخچه و معرفی اکوسیستم Hadoop
• 4. معرفی Apache Spark: قدرت پردازش در حافظه
• 5. مقایسه Hadoop MapReduce و Apache Spark
• 6. معماری اکوسیستم کلان داده: ذخیره‌سازی، پردازش، تحلیل
• 7. راه‌اندازی محیط توسعه: ماشین مجازی، Docker و ابزارهای محلی
• 8. آشنایی با سیستم فایل توزیع‌شده Hadoop (HDFS)
• 9. معماری HDFS: NameNode، DataNode و Block
• 10. خواندن و نوشتن فایل‌ها در HDFS
• 11. دستورات اصلی HDFS Shell
• 12. مفهوم Fault Tolerance و Replication در HDFS
• 13. معرفی YARN: مدیر منابع Hadoop
• 14. معماری YARN: ResourceManager، NodeManager و ApplicationMaster
• 15. آشنایی با پارادایم MapReduce
• 16. مقدمه‌ای بر Apache Hive و انبار داده (Data Warehousing)
• 17. مقدمه‌ای بر Apache HBase: پایگاه داده NoSQL روی HDFS
• 18. مقدمه‌ای بر Apache Sqoop: انتقال داده از پایگاه‌های داده رابطه‌ای
• 19. مقدمه‌ای بر Apache Flume: جمع‌آوری داده‌های جریانی (Streaming)
• 20. مقدمه‌ای بر Apache Zookeeper: سرویس هماهنگ‌سازی توزیع‌شده
• 21. معماری Apache Spark: Driver، Executor و Cluster Manager
• 22. حالت‌های اجرای Spark: Local، Standalone، YARN و Kubernetes
• 23. آشنایی با Spark Shell (Scala و PySpark)
• 24. ارسال اولین برنامه Spark با spark-submit
• 25. مفهوم اصلی Spark: مجموعه داده‌های توزیع‌شده انعطاف‌پذیر (RDD)
• 26. ایجاد RDD از مجموعه‌ها و فایل‌های محلی
• 27. ایجاد RDD از HDFS و سایر منابع داده
• 28. عملیات روی RDDها: Transformation و Action
• 29. مفهوم ارزیابی کند (Lazy Evaluation) و گراف غیرمدور جهت‌دار (DAG)
• 30. Transformationهای پایه روی RDD: map، filter، flatMap
• 31. RDDهای کلید-مقدار (Pair RDDs)
• 32. Transformationهای روی Pair RDD: reduceByKey، groupByKey، sortByKey
• 33. تفاوت عملکردی groupByKey و reduceByKey
• 34. Actionهای رایج روی RDD: collect، count، take، reduce، saveAsTextFile
• 35. توابع ناشناس (Anonymous Functions) و عبارات Lambda در Spark
• 36. مفهوم ماندگاری (Persistence) و کش کردن (Caching) در RDDها
• 37. سطوح مختلف ذخیره‌سازی (Storage Levels) در Spark
• 38. متغیرهای مشترک: متغیرهای پخشی (Broadcast Variables)
• 39. متغیرهای مشترک: انباره‌ها (Accumulators)
• 40. آشنایی با پارتیشن‌ها (Partitions) و اهمیت آن در عملکرد
• 41. کنترل پارتیشن‌بندی با repartition و coalesce
• 42. مقدمه‌ای بر Spark SQL و DataFrames
• 43. نقطه ورود یکپارچه: SparkSession
• 44. ایجاد DataFrame از RDDها
• 45. ایجاد DataFrame از منابع داده مختلف: JSON، CSV، Parquet
• 46. خواندن داده از پایگاه‌های داده رابطه‌ای با JDBC
• 47. مفهوم Schema در DataFrame و استنتاج خودکار آن
• 48. عملیات پایه روی DataFrame: select، filter، where
• 49. افزودن، حذف و تغییر نام ستون‌ها
• 50. کار با داده‌های گمشده (Missing Data)
• 51. عملیات تجمعی و گروه‌بندی (Grouping and Aggregation)
• 52. توابع تجمعی رایج: count، sum، avg، min، max
• 53. انواع Join در DataFrame: Inner، Outer، Left، Right
• 54. استراتژی‌های Join در Spark و بهینه‌سازی آن
• 55. توابع پنجره‌ای (Window Functions)
• 56. توابع تعریف‌شده توسط کاربر (User-Defined Functions - UDFs)
• 57. UDFهای برداری شده (Pandas UDFs) برای عملکرد بهتر در PySpark
• 58. ذخیره DataFrame در فرمت‌های مختلف: Parquet، ORC، CSV
• 59. آشنایی با بهینه‌ساز Catalyst
• 60. نمایش و تحلیل طرح اجرایی (Execution Plan)
• 61. یکپارچه‌سازی Spark SQL با Hive
• 62. مقدمه‌ای بر Dataset API: رابط برنامه‌نویسی نوع‌دار (Typed API)
• 63. مقایسه RDD، DataFrame و Dataset
• 64. کار با انواع داده‌های پیچیده: Struct، Array، Map
• 65. مقدمه‌ای بر پردازش جریانی (Stream Processing)
• 66. معماری Spark Streaming (مبتنی بر DStream)
• 67. ایجاد DStream از منابع مختلف مانند Kafka، Flume و سوکت‌ها
• 68. Transformationهای روی DStream: map، filter، window
• 69. Transformationهای حالتمند (Stateful): updateStateByKey
• 70. عملیات خروجی در DStream
• 71. معرفی پردازش جریانی ساختاریافته (Structured Streaming)
• 72. مدل مفهومی Structured Streaming: DataFrame به عنوان جریان بی‌پایان
• 73. پردازش مبتنی بر زمان رویداد (Event Time) و Watermarking
• 74. عملیات پنجره‌ای در Structured Streaming
• 75. منابع ورودی (Sources) و خروجی (Sinks) در Structured Streaming
• 76. مقدمه‌ای بر یادگیری ماشین با Spark MLlib
• 77. انواع داده در MLlib: Vector، LabeledPoint
• 78. مفاهیم اصلی ML Pipeline: Transformer، Estimator، Pipeline
• 79. مهندسی ویژگی‌ها: استخراج، تبدیل و انتخاب ویژگی
• 80. الگوریتم‌های طبقه‌بندی (Classification): رگرسیون لجستیک و درخت تصمیم
• 81. الگوریتم‌های رگرسیون (Regression): رگرسیون خطی
• 82. الگوریتم‌های خوشه‌بندی (Clustering): K-Means
• 83. ارزیابی مدل و معیارهای سنجش عملکرد
• 84. تنظیم فراپارامترها (Hyperparameter Tuning) با Cross-Validation
• 85. ذخیره و بارگذاری مدل‌های یادگیری ماشین
• 86. سیستم‌های توصیه‌گر (Recommendation Systems) با ALS
• 87. مقدمه‌ای بر پردازش گراف با GraphX
• 88. مفاهیم اصلی GraphX: Vertex، Edge و Graph
• 89. الگوریتم‌های رایج گراف: PageRank و Connected Components
• 90. استقرار برنامه‌های Spark روی کلاستر YARN
• 91. آشنایی با رابط کاربری وب Spark (Spark UI)
• 92. تحلیل Jobs، Stages و Tasks در Spark UI
• 93. تفسیر گراف DAG در رابط کاربری
• 94. شناسایی گلوگاه‌های عملکردی: Data Skew و Shuffle
• 95. مدیریت حافظه در Spark: On-heap و Off-heap
• 96. تنظیمات مهم پیکربندی Spark برای بهینه‌سازی عملکرد
• 97. بهترین شیوه‌ها (Best Practices) در توسعه برنامه‌های Spark
• 98. مطالعه موردی اول: تحلیل لاگ‌های وب‌سرور
• 99. مطالعه موردی دوم: ساخت یک خط لوله ETL
• 100. مطالعه موردی سوم: پیش‌بینی تقلب در تراکنش‌ها