• مفاهیم بنیادین پردازش جریانی: درک تفاوت‌های بین پردازش دسته‌ای (Batch) و جریانی، چالش‌ها و الگوهای معماری در سیستم‌های جریانی.

• آشنایی عمیق با Apache Spark Structured Streaming: یادگیری نحوه استفاده از API قدرتمند Structured Streaming برای ساخت برنامه‌های پردازش جریانی مقیاس‌پذیر و مقاوم در برابر خطا.

• کار با منابع و Sinkهای متنوع: اتصال به منابع داده جریانی پرکاربرد مانند Kafka، Azure Event Hubs، AWS Kinesis، فایل‌سیستم‌ها و دیتابیس‌ها و همچنین نوشتن خروجی به مقاصد مختلف از جمله Delta Lake.

• عملیات Stateful و مدیریت Watermark: پیاده‌سازی عملیات‌های پیچیده مانند تجمیع‌ها (Aggregations)، joinها و پنجره‌بندی (Windowing) بر روی داده‌های جریانی و نحوه مدیریت تأخیر (Late Data) با استفاده از Watermark.

• بهینه‌سازی و عیب‌یابی: تکنیک‌های پیشرفته برای بهبود عملکرد برنامه‌های Structured Streaming، نظارت بر آن‌ها و تشخیص و رفع مشکلات رایج.

• نقش Databricks در پردازش جریانی: استفاده از قابلیت‌های پلتفرم Databricks، از جمله Notebookها، Jobها، Auto Loader و Delta Live Tables، برای استقرار و مدیریت آسان خطوط لوله جریانی.

• معماری Lakehouse با Delta Lake: درک چگونگی استفاده از Delta Lake به عنوان لایه ذخیره‌سازی اصلی در معماری Lakehouse برای اطمینان از کیفیت، قابلیت اطمینان و تراکنش‌پذیری داده‌های جریانی.

• ساخت راه‌حل‌های End-to-End: طراحی و پیاده‌سازی سناریوهای واقعی پردازش جریانی، از دریافت داده تا ذخیره‌سازی، تحلیل و ارائه‌ی نتایج.

• تسلط بر فناوری‌های پیشرو: شما با دو مورد از پرکاربردترین و قدرتمندترین ابزارهای Big Data و پردازش جریانی، یعنی Apache Spark و Databricks، به صورت عملیاتی آشنا خواهید شد.

• قابلیت‌های عملیاتی بالا: این دوره بر رویکرد عملی و پروژه‌محور تمرکز دارد که به شما کمک می‌کند مهارت‌های لازم برای حل چالش‌های واقعی پردازش داده‌های جریانی را کسب کنید.

• افزایش چشمگیر فرصت‌های شغلی: مهارت در پردازش داده‌های جریانی و معماری Lakehouse از جمله مهارت‌های بسیار پرطرفدار در بازار کار امروز است که موقعیت‌های شغلی متعددی را برای شما فراهم می‌کند.

• ساخت سیستم‌های داده‌ای مقیاس‌پذیر: شما قادر خواهید بود سیستم‌هایی را طراحی و پیاده‌سازی کنید که قادر به پردازش حجم عظیمی از داده‌ها با سرعت و دقت بالا هستند.

• آمادگی برای پروژه‌های پیچیده: پس از اتمام این دوره، شما دانش و اعتماد به نفس لازم برای کار بر روی پروژه‌های پیچیده پردازش داده‌های بلادرنگ در مقیاس سازمانی را خواهید داشت.

• بهره‌وری بالاتر در Databricks: با شناخت عمیق از پلتفرم Databricks، می‌توانید از تمامی ابزارها و بهینه‌سازی‌های آن برای تسریع توسعه و استقرار برنامه‌های جریانی خود استفاده کنید.

• آشنایی با زبان برنامه‌نویسی: حداقل یک زبان برنامه‌نویسی (ترجیحاً Python یا Scala) در حد متوسط برای درک کدنویسی و مثال‌ها.

• مفاهیم SQL: آشنایی پایه با زبان SQL برای کار با داده‌ها و درک کوئری‌ها.

• درک Big Data: آشنایی اولیه با مفاهیم Big Data، Hadoop و Spark به صورت کلی مزیت محسوب می‌شود اما الزامی نیست.

• مفاهیم پایگاه داده: درک پایه از مفاهیم پایگاه‌های داده و سیستم‌های فایل توزیع‌شده.

• حساب کاربری Databricks (اختیاری): در صورت تمایل به اجرای عملی تمرین‌ها، داشتن یک حساب کاربری Databricks (نسخه Community Edition یا Trial) توصیه می‌شود.

۱. مقدمه‌ای بر پردازش جریانی و معماری Lakehouse

• چرا به پردازش جریانی نیاز داریم؟ کاربردها و مزایا

• مفاهیم پایه: رویدادها، جریان‌ها، تأخیر و توان عملیاتی

• مقایسه پردازش دسته‌ای و جریانی

• معرفی Apache Spark و Databricks در اکوسیستم Big Data

• معماری Lakehouse: ترکیب Data Lake و Data Warehouse

• نقش Delta Lake به عنوان پایه Lakehouse

۲. آشنایی با Spark Structured Streaming

• مقدمه‌ای بر Structured Streaming API

• مدل برنامه‌نویسی: DataFrameها به عنوان جداول نامحدود

• نحوه خواندن از منابع داده پایه (فایل‌ها، سوکت‌ها)

• ترانسفورماسیون‌های پایه: فیلتر، انتخاب، افزودن ستون

• نوشتن نتایج به Sinkهای مختلف (کنسول، حافظه)

• حالت‌های خروجی (Output Modes): Append, Complete, Update

۳. منابع و Sinkهای پیشرفته در Structured Streaming

• پردازش جریان داده از Apache Kafka: پیکربندی و گزینه‌های مصرف‌کننده

• ادغام با خدمات پیام‌رسانی ابری: Azure Event Hubs و AWS Kinesis

• خواند از فضای ابری (S3, ADLS Gen2) با Auto Loader در Databricks

• نوشتن داده‌های جریانی به Delta Lake

• مفاهیم Exactly-Once Processing و تحمل خطا

• مدیریت Schema Evolution در جریان‌ها

۴. عملیات Stateful و مدیریت Watermark

• عملیات تجمیع (Aggregation) جریانی: شمارش، جمع، میانگین

• پنجره‌بندی (Windowing) بر روی زمان رویداد: Tumbling, Sliding, Session Windows

• مفهوم و کاربرد Watermark برای مدیریت داده‌های دیررس

• Join کردن جریان‌ها با جریان‌ها (Stream-Stream Joins)

• Join کردن جریان‌ها با جداول استاتیک (Stream-Static Joins)

• مدیریت حالت (State Management) در Spark Structured Streaming

۵. بهینه‌سازی، نظارت و عیب‌یابی

• مقدمه‌ای بر بهینه‌سازی عملکرد در Structured Streaming

• پیکربندی پارامترها برای کارایی بهتر

• نظارت بر برنامه‌های جریانی با Spark UI و Databricks UI

• بررسی Metrics و لاگ‌ها

• استراتژی‌های عیب‌یابی برای مشکلات رایج جریانی (Backpressure, OutOfMemory)

• مفاهیم Checkpointing و بازیابی از شکست

۶. پیاده‌سازی و استقرار در Databricks

• مروری بر Databricks Workspace و Notebooks

• استقرار برنامه‌های Structured Streaming به عنوان Databricks Jobs

• استفاده از Delta Live Tables (DLT) برای توسعه Declarative و خودکار

• امنیت و مدیریت دسترسی در Databricks برای جریان‌ها

• یکپارچه‌سازی Structured Streaming با Unity Catalog

• بهترین روش‌ها برای محیط‌های تولیدی در Databricks

۷. موارد استفاده پیشرفته و معماری عملی

• ساخت یک Pipeline End-to-End پردازش جریانی: از Ingestion تا Dashboard

• سناریوهای پیشرفته: Fraud Detection، Real-time Analytics، IoT Data Processing

• الگوهای معماری برای پردازش جریانی در Lakehouse

• مقایسه با سایر ابزارهای پردازش جریانی (Flink, Storm)

• روندهای آینده در پردازش جریانی و Lakehouse