این دوره برای آن دسته از تحلیلگران داده، مهندسان داده و دانشجویان رشته‌های مرتبط با علوم داده طراحی شده که قصد دارند حجم‌های عظیم اطلاعات را با سرعت و کارایی بالا پردازش کنند. از آنجا که PySpark بر پایه Apache Spark ساخته شده، قادر است روی خوشه‌های بزرگ داده به‌راحتی عملیات توزیع‌شده را اجرا کند. شما در این آموزش یاد می‌گیرید چگونه یک محیط Spark را پیکربندی کرده، داده‌های خام را بارگذاری کنید، و عملیات پیچیده مانند فیلتر، گروه‌بندی، ادغام چندین مجموعه داده و یادگیری ماشین را پیاده‌سازی نمایید.

• آشنایی با ساختار RDD و DataFrame در PySpark
• اجرای عملیات تبدیل (transformations) مانند map، filter، join و агрегیشن
• انجام actions برای استخراج نتایج به صورت محلی و توزیع‌شده
• استفاده از Spark SQL برای پرس‌وجوی ساخت‌یافته روی داده
• کار با کتابخانه MLlib جهت پیاده‌سازی الگوریتم‌های طبقه‌بندی، رگرسیون و خوشه‌بندی
• پردازش داده‌های جریانی (Spark Streaming) و Real-time Analytics
• استفاده از تکنیک‌های بهینه‌سازی برای افزایش کارایی خوشه و کاهش هزینه

• یادگیری ابزار متن‌باز و پرطرفدار Apache Spark
• توانایی مدیریت داده‌های چندتِرابایتی و پیاده‌سازی پروژه‌های عظیم
• افزایش جذابیت رزومه برای استخدام در شرکت‌های بزرگ تکنولوژی
• تمرین‌های عملی در هر سرفصل به کمک داده‌های واقعی
• دسترسی به محیط تعاملی Datacamp برای اجرای کد در همان لحظه
• قابلیت دانلود رایگان محتوا و استفاده آفلاین

• مبانی زبان Python (توابع، ساختارهای داده، حلقه‌ها)
• آشنایی ابتدایی با SQL و مفاهیم پایگاه داده
• آشنایی با مفاهیم پایه‌ای پردازش موازی و توزیع‌شده
• نصب و پیکربندی Anaconda یا هر توزیع پایتون دیگر
• توصیه می‌شود تمرینات مقدماتی Datacamp در زمینه Python و SQL را پیش از این دوره گذرانده باشید

• مقدمه و نصب محیط Spark: راه‌اندازی SparkSession و اتصال به خوشه
• کار با RDD و DataFrame: بارگذاری داده‌های CSV، JSON و Parquet
• Transformations و Actions: ایجاد پایپلاین‌های داده‌ای
• Spark SQL: نوشتن کوئری‌های پیچیده و استفاده از Viewهای موقت
• پردازش جریانی: دریافت و تحلیل داده از Kafka و فایل‌های Log
• MLlib: پیاده‌سازی الگوریتم‌های K-Means، Logistic Regression و Decision Tree
• بهینه‌سازی عملکرد: broadcast variables، partitioning و tuning
• آماده‌سازی برای کار در پروژه‌های صنعتی با Big Data

برای درک بهتر مفاهیم، دو مثال عملی زیر بررسی می‌شود:

1. تحلیل لاگ سرور وب: با بارگذاری فایل‌های بزرگ لاگ، فیلتر خطاهای ۵۰۴ و سپس گروه‌بندی بر اساس IP، می‌توانید پربازدیدترین منابع را شناسایی کنید.

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("LogAnalysis").getOrCreate()
logs = spark.read.text("hdfs://.../access.log")
errors = logs.filter(logs.value.contains("504"))
errors.groupBy("value").count().show()

2. پردازش جریانی تراکنش‌های مالی: با استفاده از Spark Streaming و Kafka، تراکنش‌ها را به‌صورت زنده دریافت کرده، تقلب‌های احتمالی را شناسایی کنید.

برای دانلود رایگان دوره از Datacamp کافی است مراحل زیر را طی کنید:

• ثبت‌نام رایگان در وبسایت Datacamp (در صورت نداشتن اکانت)
• جستجوی دوره “Big Data with PySpark 2024-8”
• استفاده از لینک «دانلود رایگان نرم‌افزار» برای دریافت محتوا
• راه‌اندازی محیط‌های محلی یا استفاده از Jupyter Notebook آنلاین

با این روش تمامی ویدئوها، کدها و نوت‌بوک‌های تمرین را به‌صورت آفلاین در اختیار خواهید داشت.