فلش‌کارت‌های آموزشی آموزش عملی وب‌اسکرپینگ با پایتون و هوش مصنوعی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش عملی وب‌اسکرپینگ با پایتون و هوش مصنوعی

موضوع کلی: برنامه‌نویسی هوشمند با پایتون

موضوع میانی: استخراج و پردازش داده‌های وب

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر وب اسکرپینگ و کاربردهای آن
• 2. نصب و راه‌اندازی محیط توسعه پایتون برای اسکرپینگ
• 3. مبانی درخواست‌های HTTP و کتابخانه Requests
• 4. تحلیل ساختار HTML با BeautifulSoup
• 5. انتخاب و استخراج داده با CSS Selector
• 6. استخراج داده با XPath و کتابخانه lxml
• 7. مدیریت کوکی‌ها و نشست‌ها در درخواست‌ها
• 8. کار با APIهای عمومی و استخراج داده JSON
• 9. مدیریت هدرها و User-Agent برای شبیه‌سازی مرورگر
• 10. مدیریت تأخیر و تایمر در درخواست‌ها برای جلوگیری از بلاک
• 11. روش‌های احراز هویت پایه در وب‌سایت‌ها
• 12. استخراج داده از صفحات لاگین‌شده با Session
• 13. کار با فرم‌های HTML و ارسال داده به سرور
• 14. مدیریت خطاها و استثناها در درخواست‌های وب
• 15. ذخیره‌سازی داده‌های استخراج‌شده در فایل CSV
• 16. ذخیره‌سازی داده‌ها در پایگاه داده SQLite
• 17. اسکرپینگ صفحات پویا با Selenium
• 18. انتظارهای صریح و ضمنی در Selenium
• 19. استخراج داده از صفحات جاوااسکریپتی با Selenium
• 20. مدیریت پنجره‌ها و فریم‌ها در Selenium
• 21. مبانی Scrapy و ساخت پروژه اول
• 22. تعریف آیتم‌ها و Spiderها در Scrapy
• 23. استخراج داده با Selector در Scrapy
• 24. ذخیره‌سازی داده با Pipeline در Scrapy
• 25. مدیریت تنظیمات و Middleware در Scrapy
• 26. استخراج داده از چندین صفحه با Pagination
• 27. مدیریت ربات‌ها و فایل robots.txt
• 28. شناسایی و دور زدن محدودیت‌های نرخ درخواست
• 29. استفاده از پروکسی برای ناشناس‌ماندن
• 30. مدیریت چرخش پروکسی در اسکرپینگ
• 31. مبانی پردازش زبان طبیعی برای متن‌های استخراج‌شده
• 32. پاک‌سازی و نرمال‌سازی متن با Regex
• 33. استخراج اطلاعات ساختاریافته با الگوهای متنی
• 34. تبدیل HTML به متن خالص
• 35. استخراج جداول از صفحات وب
• 36. استخراج داده از PDFهای موجود در وب
• 37. استخراج داده از تصاویر با OCR (Tesseract)
• 38. مبانی هوش مصنوعی و OpenAI API
• 39. تنظیم و احراز هویت در OpenAI API
• 40. ساخت پرامپت‌های مؤثر برای استخراج داده
• 41. استفاده از مدل GPT برای خلاصه‌سازی متن‌های اسکرپ شده
• 42. استخراج موجودیت‌ها و روابط با GPT
• 43. تبدیل متن‌های غیرساختاریافته به داده جدولی با GPT
• 44. طبقه‌بندی خودکار محتوای استخراج‌شده با GPT
• 45. تشخیص و حذف محتوای تکراری با هوش مصنوعی
• 46. تصحیح و تمیزکاری خودکار داده‌ها با GPT
• 47. استخراج داده از وب‌سایت‌های خبری
• 48. استخراج داده از فروشگاه‌های آنلاین
• 49. استخراج داده از شبکه‌های اجتماعی عمومی
• 50. مدیریت حافظه و ذخیره‌سازی میانی (Caching)
• 51. برنامه‌ریزی و زمان‌بندی اسکرپینگ
• 52. مدیریت خطاهای هوش مصنوعی و Retry
• 53. تست و اشکال‌زدایی کد اسکرپینگ
• 54. مبانی امنیت در اسکرپینگ و حفاظت از داده
• 55. بهینه‌سازی عملکرد و سرعت اسکرپینگ
• 56. اسکرپینگ همزمان و ناهمزمان با asyncio
• 57. استفاده از کتابخانه aiohttp برای درخواست‌های همزمان
• 58. مدیریت صف و نرخ درخواست در اسکرپینگ انبوه
• 59. یکپارچه‌سازی اسکرپینگ با دیتاست‌های بزرگ
• 60. تبدیل داده‌های اسکرپ شده به فرمت‌های استاندارد
• 61. ساخت یک پروژه عملی اسکرپینگ خبر
• 62. ساخت یک پروژه عملی اسکرپینگ محصولات
• 63. ساخت یک پروژه عملی اسکرپینگ داده‌های علمی
• 64. مستندسازی و گزارش‌گیری از فرآیند اسکرپینگ
• 65. ملاحظات حقوقی و اخلاقی در وب اسکرپینگ