در این دوره جامع و عملی، شما با آخرین تکنیک‌ها و ابزارهای مهندسی داده مبتنی بر Apache Kafka و Spark Structured Streaming آشنا خواهید شد. این دوره مخصوص مهندسین داده، توسعه‌دهندگان بک‌اند و افراد علاقه‌مند به پردازش داده‌های جریان‌محور طراحی شده تا بتوانند سیستم‌های توزیع‌شده و بلادرنگ را از صفر تا صد پیاده‌سازی کنند.

در تاریخ ۱۰/۲۰۲۲ منتشر شده و شامل بیش از ۱۰ ساعت ویدیو، کد نمونه و پروژه‌های عملی است. مدرس دوره، مهندس ارشد داده با سال‌ها تجربه در شرکت‌های بزرگ فناوری، شما را قدم‌به‌قدم با معماری داده‌های بلادرنگ آشنا می‌کند.

• معرفی مفاهیم پایه‌ای Kafka و اجزای آن
• آماده‌سازی محیط توسعه و استقرار کلاستر Kafka و Spark
• پیاده‌سازی جریان‌های داده با Spark Structured Streaming
• یکپارچه‌سازی با منابع داده متنوع (رابط‌های REST، پایگاه‌های داده، فایل و پیام‌دهی)

• مبانی Apache Kafka: معماری Producer، Consumer، Topics، Partitions و Replication.
• Spark Structured Streaming: API سطح بالا، Triggerها، Windowing و State Management.
• طراحی معماری بلادرنگ: انتخاب الگوهای مناسب برای مقیاس‌پذیری و تحمل خطا.
• پردازش حالت‌دار: نگهداری و بازیابی وضعیت جریان‌ها با استفاده از Checkpoint و Write-Ahead Logs.
• بهینه‌سازی عملکرد: تنظیم منابع، کشینگ موقت و کاهش تاخیر پردازش.
• نظارت و لاگینگ: یکپارچگی با ابزارهایی مانند Prometheus و Grafana برای پایش سلامت کلاستر.
• پروژه عملی نهایی: ساخت یک سامانه تحلیل جریان تراکنش‌های بانکی بلادرنگ با قابلیت گزارش‌دهی آنی.

با اتمام این دوره، شما قادر خواهید بود:

• سامانه‌های بلادرنگ و توزیع‌شده را از ابتدا طراحی و استقرار دهید.
• جریان‌های داده بزرگ را با Spark و Kafka پردازش و تحلیل کنید.
• به‌طور موثری مصرف منابع را مدیریت و هزینه‌های زیرساختی را بهینه کنید.
• برای پروژه‌های تولیدی، قابلیت Fault Tolerance و High Availability را تضمین نمایید.
• در مصاحبه‌های شغلی مهندس داده و توسعه‌دهنده کلان‌داده بدرخشید.

برای بهره‌مندی کامل از محتوا، بهتر است با موارد زیر آشنایی داشته باشید:

• زبان‌های برنامه‌نویسی Java یا Python
• مفاهیم پایگاه داده و SQL
• کار با سیستم‌عامل Linux
• درک اولیه مفاهیم توزیع‌شده و طراحی API

• معرفی دوره و چشم‌انداز مهندسی داده بلادرنگ
• نصب و راه‌اندازی Apache Kafka کلاستر
• آشنایی با Producer و Consumer
• Spark Structured Streaming: مبانی و مثال ساده
• Windowing، Aggregations و State Management
• یکپارچه‌سازی با منابع خارجی (JDBC، REST، فایل‌ها)
• پروژه عملی: تحلیل لاگ‌های وب‌سایت بلادرنگ
• بهینه‌سازی و Tuning
• نظارت، هشداردهی و Logging
• استقرار در محیط Production با Docker و Kubernetes

در طول دوره شما دو پروژه عملی اجرا خواهید کرد:

• تراکنش‌های بانکی: پردازش و تحلیل بلادرنگ تراکنش‌ها برای تشخیص الگوهای تقلب.
• مانیتورینگ وب‌سایت: جمع‌آوری لاگ‌های HTTP، تشکیل داشبورد بلادرنگ و ارسال هشدار.

هر مثال با کدهای نمونه در گیت‌هاب همراه است تا گام‌به‌گام مفاهیم پیاده‌سازی را بازهم تثبیت کنید.

• پیاده‌سازی Fault Tolerance: با استفاده از Checkpoint در Spark Structured Streaming.
• افزایش Throughput: توزیع بار روی Partitions مختلف در Kafka.
• پایش سلامت: تنظیم Alerts در Prometheus و مصورسازی در Grafana.
• تست عملکرد: استفاده از ابزارهایی مانند JMeter برای شبیه‌سازی حجم بالا.

برای دانلود رایگان این دوره و دسترسی به فایل‌های آموزشی و کدهای نمونه می‌توانید از لینک‌های معتبر اشتراک‌گذاری دوره Udemy استفاده نمایید. شروع کنید و مهارت‌های مهندسی داده بلادرنگ را به سطح بعدی ببرید!