فلش‌کارت‌های آموزشی محاسبات توزیع‌شده با Dask

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره محاسبات توزیع‌شده با Dask

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محدودیت‌های محاسبات تک‌هسته‌ای
• 2. مقدمه‌ای بر محاسبات موازی و توزیع‌شده
• 3. معرفی Dask: فلسفه و اهداف
• 4. مقایسه Dask با Apache Spark و سایر ابزارها
• 5. معماری Dask: کلاینت، اسکجولر و ورکرها
• 6. نصب و راه‌اندازی Dask و وابستگی‌های آن
• 7. اولین برنامه با Dask: یک مثال ساده
• 8. مفهوم ارزیابی تنبل (Lazy Evaluation) در Dask
• 9. آشنایی با گراف‌های وظیفه (Task Graphs)
• 10. معرفی داشبورد Dask برای نظارت بر اجرا
• 11. Dask DataFrame: جایگزین موازی برای Pandas
• 12. ایجاد Dask DataFrame از فایل‌های CSV
• 13. ایجاد Dask DataFrame از فایل‌های Parquet
• 14. ایجاد Dask DataFrame از چندین فایل به صورت همزمان
• 15. تبدیل Pandas DataFrame به Dask DataFrame
• 16. انتخاب سطرها و ستون‌ها (Slicing and Indexing)
• 17. فیلتر کردن داده‌ها بر اساس شروط
• 18. انجام عملیات ریاضی و برداری روی ستون‌ها
• 19. کار با ایندکس در Dask DataFrame
• 20. تنظیم و مرتب‌سازی ایندکس (set_index و sort_index)
• 21. گروه‌بندی و تجمعی‌سازی (Groupby and Aggregation)
• 22. محاسبه توابع تجمعی سفارشی
• 23. ادغام و اتصال دیتافریم‌ها (Merge and Join)
• 24. کار با داده‌های سری زمانی در Dask DataFrame
• 25. نمونه‌برداری مجدد (Resampling) داده‌های زمانی
• 26. استفاده از `map_partitions` برای اعمال توابع سفارشی
• 27. مدیریت داده‌های گمشده (Missing Data)
• 28. کار با داده‌های دسته‌ای (Categorical Data)
• 29. ذخیره‌سازی Dask DataFrame در فرمت Parquet
• 30. ذخیره‌سازی Dask DataFrame در فرمت CSV
• 31. Dask Array: آرایه‌های موازی مبتنی بر NumPy
• 32. مفهوم تکه‌تکه کردن (Chunking) و اهمیت آن
• 33. ایجاد Dask Array از آرایه‌های NumPy
• 34. ایجاد Dask Array با استفاده از توابع `dask.array`
• 35. خواندن آرایه‌های بزرگ از فایل‌ها (HDF5, Zarr)
• 36. عملیات ریاضی و برداری روی Dask Array
• 37. عملیات بر روی محورها (Reduction along axes)
• 38. برش و ایندکس‌گذاری پیشرفته در Dask Array
• 39. مفهوم Broadcasting در Dask Array
• 40. عملیات جبر خطی با `dask.array.linalg`
• 41. محاسبات تبدیل فوریه سریع (FFT) با Dask
• 42. تغییر ساختار تکه‌ها (Rechunking) و هزینه‌های آن
• 43. استفاده از توابع NumPy روی Dask Array
• 44. بهترین شیوه‌ها در انتخاب اندازه تکه‌ها (Chunks)
• 45. Dask Bag: پردازش داده‌های نیمه‌ساختاریافته
• 46. ایجاد Dask Bag از لیست‌های پایتون و فایل‌های متنی
• 47. توابع اصلی در Dask Bag: map, filter, pluck
• 48. گروه‌بندی و شمارش با `groupby` و `frequencies`
• 49. عملیات کاهشی (Reduction) مانند `sum`, `count`
• 50. استفاده از `foldby` برای تجمعی‌سازی پیچیده
• 51. پردازش داده‌های JSON تو در تو با Dask Bag
• 52. تبدیل Dask Bag به Dask DataFrame
• 53. یک مثال عملی: تحلیل لاگ فایل‌ها با Dask Bag
• 54. مروری بر اسکجولرهای Dask: تک‌ماشینه و توزیع‌شده
• 55. اسکجولر چندنخی (Threaded Scheduler)
• 56. اسکجولر چندفرایندی (Multiprocessing Scheduler)
• 57. آشنایی با معماری اسکجولر توزیع‌شده
• 58. راه‌اندازی کلاستر Dask به صورت محلی (LocalCluster)
• 59. اتصال به یک کلاستر Dask موجود
• 60. تحلیل گراف وظیفه در داشبورد Dask
• 61. بررسی پروفایل حافظه و زمان اجرا در داشبورد
• 62. شناسایی گلوگاه‌ها (Bottlenecks) با استفاده از داشبورد
• 63. استفاده از ابزارهای خط فرمان dask-scheduler و dask-worker
• 64. راه‌اندازی کلاستر Dask روی چندین ماشین با SSH
• 65. مقیاس‌پذیری تطبیقی کلاستر (Adaptive Scaling)
• 66. یکپارچه‌سازی با سیستم‌های مدیریت صف کار (SLURM, PBS) با Dask-Jobqueue
• 67. اجرای Dask بر روی Kubernetes با Dask-Helm
• 68. اجرای Dask بر روی ابر (AWS, GCP, Azure) با Dask-Cloudprovider
• 69. امنیت در کلاسترهای Dask: استفاده از TLS/SSL
• 70. مفهوم پارتیشن‌بندی داده‌ها و اهمیت آن
• 71. پارتیشن‌بندی بهینه در Dask DataFrame
• 72. ماندگار کردن نتایج میانی در حافظه (`persist`)
• 73. تفاوت کلیدی بین `persist` و `compute`
• 74. ذخیره‌سازی نتایج بر روی دیسک با `cache`
• 75. مدیریت حافظه در ورکرها و جلوگیری از سرریز
• 76. استراتژی‌های مقابله با وظایف طولانی (Straggler Tasks)
• 77. Dask Delayed: موازی‌سازی کدهای پایتون سفارشی
• 78. ساخت گراف‌های وظیفه پیچیده با Delayed
• 79. ترکیب Dask Delayed با سایر مجموعه‌های Dask
• 80. برنامه‌نویسی ناهمگام با Dask Futures API
• 81. تکنیک‌های دیباگ کردن کدهای Dask
• 82. مدیریت انواع داده‌های سفارشی و سریال‌سازی (Serialization)
• 83. بهینه‌سازی گراف وظیفه در Dask
• 84. مدیریت منابع (CPU, RAM) برای ورکرها
• 85. مدیریت خطا و تلاش مجدد (Retries) در وظایف
• 86. مقدمه‌ای بر Dask-ML: یادگیری ماشین موازی
• 87. آموزش مدل‌های Scikit-Learn به صورت توزیع‌شده
• 88. جستجوی شبکه‌ای (Grid Search) و اعتبارسنجی متقابل موازی
• 89. استفاده از Dask برای پیش‌پردازش داده‌های حجیم
• 90. تحلیل داده‌های علمی چندبعدی با Xarray و Dask
• 91. کارایی فرمت Parquet در اکوسیستم Dask
• 92. استفاده از Zarr برای ذخیره‌سازی آرایه‌های بزرگ و توزیع‌شده
• 93. یکپارچه‌سازی Dask با کتابخانه‌های دیگر مانند Numba
• 94. پروژه عملی: تحلیل مجموعه داده تاکسی‌های نیویورک
• 95. پروژه عملی: پردازش توزیع‌شده تصاویر ماهواره‌ای
• 96. جمع‌بندی مفاهیم کلیدی و بهترین شیوه‌ها
• 97. آینده Dask و جامعه کاربری آن
• 98. **بهینه‌سازی عملکرد Dask: پروفایلینگ، حافظه و استراتژی‌های پارتیشن‌بندی داده.**
• 99. **استفاده از Dask با کتابخانه‌های علمی پایتون: NumPy, Pandas, Scikit-learn.**
• 100. **Dask در محیط‌های ابری: مقیاس‌پذیری و مدیریت منابع با Kubernetes و Cloud Providers.**