دوره تحلیل داده‌های بزرگ با Apache Spark و Hadoop همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

2,490,000 تومان
دوره جامع تحلیل داده‌های بزرگ با Apache Spark و Hadoop | ورود به دنیای Big Data دوره جامع تحلیل داده‌های بزرگ با Apache Spark و Hadoop: از صفر تا استخدام! در دنیای امروز، داده‌ها پادشاهی می‌کنند! حجم ...
پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 622,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تحلیل داده‌های بزرگ با Apache Spark و Hadoop

موضوع کلی: برنامه نویسی

موضوع میانی: حوزه‌های تخصصی**

📋 سرفصل‌های دوره

  • 1. مقدمه‌ای بر کلان داده (Big Data) و چالش‌های آن
  • 2. ویژگی‌های کلان داده: حجم، سرعت، تنوع (3V's) و فراتر از آن
  • 3. تاریخچه و معرفی اکوسیستم Hadoop
  • 4. معرفی Apache Spark: قدرت پردازش در حافظه
  • 5. مقایسه Hadoop MapReduce و Apache Spark
  • 6. معماری اکوسیستم کلان داده: ذخیره‌سازی، پردازش، تحلیل
  • 7. راه‌اندازی محیط توسعه: ماشین مجازی، Docker و ابزارهای محلی
  • 8. آشنایی با سیستم فایل توزیع‌شده Hadoop (HDFS)
  • 9. معماری HDFS: NameNode، DataNode و Block
  • 10. خواندن و نوشتن فایل‌ها در HDFS
  • 11. دستورات اصلی HDFS Shell
  • 12. مفهوم Fault Tolerance و Replication در HDFS
  • 13. معرفی YARN: مدیر منابع Hadoop
  • 14. معماری YARN: ResourceManager، NodeManager و ApplicationMaster
  • 15. آشنایی با پارادایم MapReduce
  • 16. مقدمه‌ای بر Apache Hive و انبار داده (Data Warehousing)
  • 17. مقدمه‌ای بر Apache HBase: پایگاه داده NoSQL روی HDFS
  • 18. مقدمه‌ای بر Apache Sqoop: انتقال داده از پایگاه‌های داده رابطه‌ای
  • 19. مقدمه‌ای بر Apache Flume: جمع‌آوری داده‌های جریانی (Streaming)
  • 20. مقدمه‌ای بر Apache Zookeeper: سرویس هماهنگ‌سازی توزیع‌شده
  • 21. معماری Apache Spark: Driver، Executor و Cluster Manager
  • 22. حالت‌های اجرای Spark: Local، Standalone، YARN و Kubernetes
  • 23. آشنایی با Spark Shell (Scala و PySpark)
  • 24. ارسال اولین برنامه Spark با spark-submit
  • 25. مفهوم اصلی Spark: مجموعه داده‌های توزیع‌شده انعطاف‌پذیر (RDD)
  • 26. ایجاد RDD از مجموعه‌ها و فایل‌های محلی
  • 27. ایجاد RDD از HDFS و سایر منابع داده
  • 28. عملیات روی RDDها: Transformation و Action
  • 29. مفهوم ارزیابی کند (Lazy Evaluation) و گراف غیرمدور جهت‌دار (DAG)
  • 30. Transformationهای پایه روی RDD: map، filter، flatMap
  • 31. RDDهای کلید-مقدار (Pair RDDs)
  • 32. Transformationهای روی Pair RDD: reduceByKey، groupByKey، sortByKey
  • 33. تفاوت عملکردی groupByKey و reduceByKey
  • 34. Actionهای رایج روی RDD: collect، count، take، reduce، saveAsTextFile
  • 35. توابع ناشناس (Anonymous Functions) و عبارات Lambda در Spark
  • 36. مفهوم ماندگاری (Persistence) و کش کردن (Caching) در RDDها
  • 37. سطوح مختلف ذخیره‌سازی (Storage Levels) در Spark
  • 38. متغیرهای مشترک: متغیرهای پخشی (Broadcast Variables)
  • 39. متغیرهای مشترک: انباره‌ها (Accumulators)
  • 40. آشنایی با پارتیشن‌ها (Partitions) و اهمیت آن در عملکرد
  • 41. کنترل پارتیشن‌بندی با repartition و coalesce
  • 42. مقدمه‌ای بر Spark SQL و DataFrames
  • 43. نقطه ورود یکپارچه: SparkSession
  • 44. ایجاد DataFrame از RDDها
  • 45. ایجاد DataFrame از منابع داده مختلف: JSON، CSV، Parquet
  • 46. خواندن داده از پایگاه‌های داده رابطه‌ای با JDBC
  • 47. مفهوم Schema در DataFrame و استنتاج خودکار آن
  • 48. عملیات پایه روی DataFrame: select، filter، where
  • 49. افزودن، حذف و تغییر نام ستون‌ها
  • 50. کار با داده‌های گمشده (Missing Data)
  • 51. عملیات تجمعی و گروه‌بندی (Grouping and Aggregation)
  • 52. توابع تجمعی رایج: count، sum، avg، min، max
  • 53. انواع Join در DataFrame: Inner، Outer، Left، Right
  • 54. استراتژی‌های Join در Spark و بهینه‌سازی آن
  • 55. توابع پنجره‌ای (Window Functions)
  • 56. توابع تعریف‌شده توسط کاربر (User-Defined Functions - UDFs)
  • 57. UDFهای برداری شده (Pandas UDFs) برای عملکرد بهتر در PySpark
  • 58. ذخیره DataFrame در فرمت‌های مختلف: Parquet، ORC، CSV
  • 59. آشنایی با بهینه‌ساز Catalyst
  • 60. نمایش و تحلیل طرح اجرایی (Execution Plan)
  • 61. یکپارچه‌سازی Spark SQL با Hive
  • 62. مقدمه‌ای بر Dataset API: رابط برنامه‌نویسی نوع‌دار (Typed API)
  • 63. مقایسه RDD، DataFrame و Dataset
  • 64. کار با انواع داده‌های پیچیده: Struct، Array، Map
  • 65. مقدمه‌ای بر پردازش جریانی (Stream Processing)
  • 66. معماری Spark Streaming (مبتنی بر DStream)
  • 67. ایجاد DStream از منابع مختلف مانند Kafka، Flume و سوکت‌ها
  • 68. Transformationهای روی DStream: map، filter، window
  • 69. Transformationهای حالتمند (Stateful): updateStateByKey
  • 70. عملیات خروجی در DStream
  • 71. معرفی پردازش جریانی ساختاریافته (Structured Streaming)
  • 72. مدل مفهومی Structured Streaming: DataFrame به عنوان جریان بی‌پایان
  • 73. پردازش مبتنی بر زمان رویداد (Event Time) و Watermarking
  • 74. عملیات پنجره‌ای در Structured Streaming
  • 75. منابع ورودی (Sources) و خروجی (Sinks) در Structured Streaming
  • 76. مقدمه‌ای بر یادگیری ماشین با Spark MLlib
  • 77. انواع داده در MLlib: Vector، LabeledPoint
  • 78. مفاهیم اصلی ML Pipeline: Transformer، Estimator، Pipeline
  • 79. مهندسی ویژگی‌ها: استخراج، تبدیل و انتخاب ویژگی
  • 80. الگوریتم‌های طبقه‌بندی (Classification): رگرسیون لجستیک و درخت تصمیم
  • 81. الگوریتم‌های رگرسیون (Regression): رگرسیون خطی
  • 82. الگوریتم‌های خوشه‌بندی (Clustering): K-Means
  • 83. ارزیابی مدل و معیارهای سنجش عملکرد
  • 84. تنظیم فراپارامترها (Hyperparameter Tuning) با Cross-Validation
  • 85. ذخیره و بارگذاری مدل‌های یادگیری ماشین
  • 86. سیستم‌های توصیه‌گر (Recommendation Systems) با ALS
  • 87. مقدمه‌ای بر پردازش گراف با GraphX
  • 88. مفاهیم اصلی GraphX: Vertex، Edge و Graph
  • 89. الگوریتم‌های رایج گراف: PageRank و Connected Components
  • 90. استقرار برنامه‌های Spark روی کلاستر YARN
  • 91. آشنایی با رابط کاربری وب Spark (Spark UI)
  • 92. تحلیل Jobs، Stages و Tasks در Spark UI
  • 93. تفسیر گراف DAG در رابط کاربری
  • 94. شناسایی گلوگاه‌های عملکردی: Data Skew و Shuffle
  • 95. مدیریت حافظه در Spark: On-heap و Off-heap
  • 96. تنظیمات مهم پیکربندی Spark برای بهینه‌سازی عملکرد
  • 97. بهترین شیوه‌ها (Best Practices) در توسعه برنامه‌های Spark
  • 98. مطالعه موردی اول: تحلیل لاگ‌های وب‌سرور
  • 99. مطالعه موردی دوم: ساخت یک خط لوله ETL
  • 100. مطالعه موردی سوم: پیش‌بینی تقلب در تراکنش‌ها
✦ مجموعه ویژه یادگیری

یک دوره، چند مسیر برای یادگیری بهتر

کتاب‌های آموزشی، محتوای صوتی و تصویری و دسترسی به سامانه آنلاین فلش‌کارت؛ مجموعه‌ای برای مطالعه، تمرین و تثبیت آموخته‌ها.

📚 محتوای متنی 🎧 صوت و ویدیو 🧠 مرور هوشمند

محتویات بسته آموزشی

مجموعه‌ای از منابع برای شیوه‌های مختلف یادگیری
📚
کتاب نکته‌های خودمانی
نسخه PDF با زبان ساده، روان و کاربردی برای یادگیری راحت‌تر مفاهیم.
PDF · بیان ساده
📘
کتاب نکته‌های رسمی فارسی
نسخه PDF با نگارش استاندارد، بیان دقیق و رویکرد علمی.
PDF · نگارش رسمی
❓
کتاب پرسش و پاسخ تشریحی
نسخه PDF برای مرور مفاهیم و آشنایی با پاسخ‌های توضیحی.
PDF · یادگیری مفهومی
✅
کتاب پرسش‌های چهارگزینه‌ای
نسخه PDF برای تمرین، سنجش آموخته‌ها و آمادگی بیشتر.
PDF · تمرین و سنجش
🎧
پادکست‌های صوتی فارسی
محتوای صوتی برای یادگیری و مرور مطالب در زمان‌های مختلف.
محتوای صوتی
🎬
ویدیوهای آموزشی فارسی
محتوای ویدیویی برای تکمیل تجربه یادگیری و درک بهتر مطالب.
محتوای ویدیویی
💻
اکانت سامانه آنلاین فلش‌کارت
دسترسی به نرم‌افزار آنلاین فلش‌کارت ویژه این دوره برای تمرین و مرور مطالب.
دسترسی آنلاین
🎓
گواهی پایان دوره
امکان دریافت گواهی پس از تکمیل فعالیت‌های لازم در سامانه و طی مراحل تأیید.
پس از تکمیل شرایط
💾
بسته فیزیکی روی فلش مموری
این محصول به‌صورت فلش مموری حاوی فایل‌های آموزشی، محتوای صوتی و ویدیویی ارائه می‌شود.
تحویل فیزیکی
نکته: استفاده از سامانه آنلاین فلش‌کارت به اتصال اینترنت نیاز دارد؛ محتوای قابل استفاده آفلاین به نوع فایل‌های موجود در بسته بستگی دارد.
SMART LEARNING

🌐 سامانه آنلاین فلش‌کارت؛ مرور هدفمند و هوشمند

اکانت ارائه‌شده، دسترسی به نسخه تحت وب سامانه فلش‌کارت ویژه این دوره را فراهم می‌کند. این سامانه از الگوریتم زمان‌بندی مرور SM-2 استفاده می‌کند و بر اساس ارزیابی شما از میزان یادآوری هر کارت، زمان مرورهای بعدی را تنظیم می‌کند.

به این ترتیب، کارت‌های دشوارتر می‌توانند زودتر مرور شوند و برای تثبیت مطالب در حافظه، برنامه مرور متناسب‌تری داشته باشید.

🧠
مرور زمان‌بندی‌شده
📈
پیگیری پیشرفت
🔄
تمرین و تکرار هدفمند
📚 حجم آموزشی دوره
هزاران
فلش‌کارت آموزشی، به‌صورت تقریبی
۶۰ ساعت
مدت‌زمان معادل برآوردشده آموزشی

مدت‌زمان معادل آموزشی بر اساس برآورد این دوره در گواهی درج می‌شود.

🏅

گواهی دوزبانه با استعلام آنلاین

گواهی فارسی و انگلیسی · لینک اختصاصی · QR Code

پس از تکمیل فعالیت‌های لازم و تأیید درخواست، گواهی پایان دوره به زبان فارسی و انگلیسی صادر می‌شود. گواهی دارای لینک اختصاصی و QR Code برای بررسی و استعلام آنلاین است.

⚖️ توضیح مهم درباره گواهی پایان دوره

این گواهی صرفاً به‌عنوان گواهی اتمام دوره آموزشی صادر می‌شود و معادل مدرک دانشگاهی، آکادمیک یا مدرک رسمی مورد تأیید نهادهای دولتی نیست. صدور آن منوط به تکمیل شرایط دوره و تأیید نهایی درخواست است.

تجربه‌ای کامل‌تر برای مطالعه، تمرین و یادگیری
express24.ir
تگ‌ها: AI Apache Spark Big Data Data Science Distributed computing Hadoop Machine Learning Python Scala برنامه نویسی پردازش توزیع شده تحلیل داده داده‌های بزرگ هوش مصنوعی یادگیری ماشین

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.