دوره تحلیل دادههای بزرگ با Apache Spark و Hadoop همراه با فلشکارت آموزشی — ارائه روی فلش مموری
🎓 دوره آموزشی جامع
📚 اطلاعات دوره
عنوان دوره: دوره تحلیل دادههای بزرگ با Apache Spark و Hadoop
موضوع کلی: برنامه نویسی
موضوع میانی: حوزههای تخصصی**
📋 سرفصلهای دوره
- 1. مقدمهای بر کلان داده (Big Data) و چالشهای آن
- 2. ویژگیهای کلان داده: حجم، سرعت، تنوع (3V's) و فراتر از آن
- 3. تاریخچه و معرفی اکوسیستم Hadoop
- 4. معرفی Apache Spark: قدرت پردازش در حافظه
- 5. مقایسه Hadoop MapReduce و Apache Spark
- 6. معماری اکوسیستم کلان داده: ذخیرهسازی، پردازش، تحلیل
- 7. راهاندازی محیط توسعه: ماشین مجازی، Docker و ابزارهای محلی
- 8. آشنایی با سیستم فایل توزیعشده Hadoop (HDFS)
- 9. معماری HDFS: NameNode، DataNode و Block
- 10. خواندن و نوشتن فایلها در HDFS
- 11. دستورات اصلی HDFS Shell
- 12. مفهوم Fault Tolerance و Replication در HDFS
- 13. معرفی YARN: مدیر منابع Hadoop
- 14. معماری YARN: ResourceManager، NodeManager و ApplicationMaster
- 15. آشنایی با پارادایم MapReduce
- 16. مقدمهای بر Apache Hive و انبار داده (Data Warehousing)
- 17. مقدمهای بر Apache HBase: پایگاه داده NoSQL روی HDFS
- 18. مقدمهای بر Apache Sqoop: انتقال داده از پایگاههای داده رابطهای
- 19. مقدمهای بر Apache Flume: جمعآوری دادههای جریانی (Streaming)
- 20. مقدمهای بر Apache Zookeeper: سرویس هماهنگسازی توزیعشده
- 21. معماری Apache Spark: Driver، Executor و Cluster Manager
- 22. حالتهای اجرای Spark: Local، Standalone، YARN و Kubernetes
- 23. آشنایی با Spark Shell (Scala و PySpark)
- 24. ارسال اولین برنامه Spark با spark-submit
- 25. مفهوم اصلی Spark: مجموعه دادههای توزیعشده انعطافپذیر (RDD)
- 26. ایجاد RDD از مجموعهها و فایلهای محلی
- 27. ایجاد RDD از HDFS و سایر منابع داده
- 28. عملیات روی RDDها: Transformation و Action
- 29. مفهوم ارزیابی کند (Lazy Evaluation) و گراف غیرمدور جهتدار (DAG)
- 30. Transformationهای پایه روی RDD: map، filter، flatMap
- 31. RDDهای کلید-مقدار (Pair RDDs)
- 32. Transformationهای روی Pair RDD: reduceByKey، groupByKey، sortByKey
- 33. تفاوت عملکردی groupByKey و reduceByKey
- 34. Actionهای رایج روی RDD: collect، count، take، reduce، saveAsTextFile
- 35. توابع ناشناس (Anonymous Functions) و عبارات Lambda در Spark
- 36. مفهوم ماندگاری (Persistence) و کش کردن (Caching) در RDDها
- 37. سطوح مختلف ذخیرهسازی (Storage Levels) در Spark
- 38. متغیرهای مشترک: متغیرهای پخشی (Broadcast Variables)
- 39. متغیرهای مشترک: انبارهها (Accumulators)
- 40. آشنایی با پارتیشنها (Partitions) و اهمیت آن در عملکرد
- 41. کنترل پارتیشنبندی با repartition و coalesce
- 42. مقدمهای بر Spark SQL و DataFrames
- 43. نقطه ورود یکپارچه: SparkSession
- 44. ایجاد DataFrame از RDDها
- 45. ایجاد DataFrame از منابع داده مختلف: JSON، CSV، Parquet
- 46. خواندن داده از پایگاههای داده رابطهای با JDBC
- 47. مفهوم Schema در DataFrame و استنتاج خودکار آن
- 48. عملیات پایه روی DataFrame: select، filter، where
- 49. افزودن، حذف و تغییر نام ستونها
- 50. کار با دادههای گمشده (Missing Data)
- 51. عملیات تجمعی و گروهبندی (Grouping and Aggregation)
- 52. توابع تجمعی رایج: count، sum، avg، min، max
- 53. انواع Join در DataFrame: Inner، Outer، Left، Right
- 54. استراتژیهای Join در Spark و بهینهسازی آن
- 55. توابع پنجرهای (Window Functions)
- 56. توابع تعریفشده توسط کاربر (User-Defined Functions - UDFs)
- 57. UDFهای برداری شده (Pandas UDFs) برای عملکرد بهتر در PySpark
- 58. ذخیره DataFrame در فرمتهای مختلف: Parquet، ORC، CSV
- 59. آشنایی با بهینهساز Catalyst
- 60. نمایش و تحلیل طرح اجرایی (Execution Plan)
- 61. یکپارچهسازی Spark SQL با Hive
- 62. مقدمهای بر Dataset API: رابط برنامهنویسی نوعدار (Typed API)
- 63. مقایسه RDD، DataFrame و Dataset
- 64. کار با انواع دادههای پیچیده: Struct، Array، Map
- 65. مقدمهای بر پردازش جریانی (Stream Processing)
- 66. معماری Spark Streaming (مبتنی بر DStream)
- 67. ایجاد DStream از منابع مختلف مانند Kafka، Flume و سوکتها
- 68. Transformationهای روی DStream: map، filter، window
- 69. Transformationهای حالتمند (Stateful): updateStateByKey
- 70. عملیات خروجی در DStream
- 71. معرفی پردازش جریانی ساختاریافته (Structured Streaming)
- 72. مدل مفهومی Structured Streaming: DataFrame به عنوان جریان بیپایان
- 73. پردازش مبتنی بر زمان رویداد (Event Time) و Watermarking
- 74. عملیات پنجرهای در Structured Streaming
- 75. منابع ورودی (Sources) و خروجی (Sinks) در Structured Streaming
- 76. مقدمهای بر یادگیری ماشین با Spark MLlib
- 77. انواع داده در MLlib: Vector، LabeledPoint
- 78. مفاهیم اصلی ML Pipeline: Transformer، Estimator، Pipeline
- 79. مهندسی ویژگیها: استخراج، تبدیل و انتخاب ویژگی
- 80. الگوریتمهای طبقهبندی (Classification): رگرسیون لجستیک و درخت تصمیم
- 81. الگوریتمهای رگرسیون (Regression): رگرسیون خطی
- 82. الگوریتمهای خوشهبندی (Clustering): K-Means
- 83. ارزیابی مدل و معیارهای سنجش عملکرد
- 84. تنظیم فراپارامترها (Hyperparameter Tuning) با Cross-Validation
- 85. ذخیره و بارگذاری مدلهای یادگیری ماشین
- 86. سیستمهای توصیهگر (Recommendation Systems) با ALS
- 87. مقدمهای بر پردازش گراف با GraphX
- 88. مفاهیم اصلی GraphX: Vertex، Edge و Graph
- 89. الگوریتمهای رایج گراف: PageRank و Connected Components
- 90. استقرار برنامههای Spark روی کلاستر YARN
- 91. آشنایی با رابط کاربری وب Spark (Spark UI)
- 92. تحلیل Jobs، Stages و Tasks در Spark UI
- 93. تفسیر گراف DAG در رابط کاربری
- 94. شناسایی گلوگاههای عملکردی: Data Skew و Shuffle
- 95. مدیریت حافظه در Spark: On-heap و Off-heap
- 96. تنظیمات مهم پیکربندی Spark برای بهینهسازی عملکرد
- 97. بهترین شیوهها (Best Practices) در توسعه برنامههای Spark
- 98. مطالعه موردی اول: تحلیل لاگهای وبسرور
- 99. مطالعه موردی دوم: ساخت یک خط لوله ETL
- 100. مطالعه موردی سوم: پیشبینی تقلب در تراکنشها
محتویات بسته آموزشی
🌐 سامانه آنلاین فلشکارت؛ مرور هدفمند و هوشمند
اکانت ارائهشده، دسترسی به نسخه تحت وب سامانه فلشکارت ویژه این دوره را فراهم میکند. این سامانه از الگوریتم زمانبندی مرور SM-2 استفاده میکند و بر اساس ارزیابی شما از میزان یادآوری هر کارت، زمان مرورهای بعدی را تنظیم میکند.
به این ترتیب، کارتهای دشوارتر میتوانند زودتر مرور شوند و برای تثبیت مطالب در حافظه، برنامه مرور متناسبتری داشته باشید.
مدتزمان معادل آموزشی بر اساس برآورد این دوره در گواهی درج میشود.
گواهی دوزبانه با استعلام آنلاین
پس از تکمیل فعالیتهای لازم و تأیید درخواست، گواهی پایان دوره به زبان فارسی و انگلیسی صادر میشود. گواهی دارای لینک اختصاصی و QR Code برای بررسی و استعلام آنلاین است.
این گواهی صرفاً بهعنوان گواهی اتمام دوره آموزشی صادر میشود و معادل مدرک دانشگاهی، آکادمیک یا مدرک رسمی مورد تأیید نهادهای دولتی نیست. صدور آن منوط به تکمیل شرایط دوره و تأیید نهایی درخواست است.
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.