پی سی دانلود - data-engineering

دوره حاضر با هدف توانمندسازی مهندسان داده در مدیریت و انتقال داده‌ها بین سیستم‌های رابطه‌ای سنتی و پلتفرم‌های ابری مدرن طراحی شده است. در بخش نخست، این آموزش بر توانمندی‌های MS SQL Server تمرکز می‌کند؛ سیستمی که به عنوان یکی از پرکاربردترین بانک‌های اطلاعاتی رابطه‌ای در جهان شناخته می‌شود. شرکت‌کنندگان در این بخش می‌آموزند که چگونه از محیط قدرتمند این نرم‌افزار برای ذخیره‌سازی داده‌ها، اجرای پرس‌وجوهای پیچیده، بهینه‌سازی جداول و انجام تحلیل‌های سطح سازمانی استفاده کنند. همچنین، کار با زبان T-SQL برای نوشتن کوئری‌های پیشرفته و مدیریت ساختارهای رابطه‌ای جهت آماده‌سازی داده‌ها برای بارهای کاری ETL (استخراج، تبدیل و بارگذاری) به طور کامل تشریح می‌شود.
در بخش دوم، تمرکز اصلی بر روی پلتفرم Databricks معتبر است که بر پایه Apache Spark بنا شده است. این پلتفرم به عنوان یک محیط یکپارچه برای مهندسی داده و تحلیل‌های کلان‌داده شناخته می‌شود و ابزارهای لازم برای پردازش داده‌ها در مقیاس بسیار بزرگ را فراهم می‌کند. در این دوره، دانش‌جویان با نحوه ایجاد جریان‌های کاری ETL کارآمد، بهره‌گیری از ذخیره‌سازهای Delta Lake و اعمال حاکمیت داده در سطح سازمانی از طریق Unity Catalog آشنا می‌شوند.
مدرس در طول این مسیر آموزشی، تمامی دانش فنی لازم برای تسلط بر مهندسی داده با استفاده از ترکیب MS SQL و Apache Spark را به صورت گام‌به‌گام ارائه می‌دهد. آموزش‌ها با استفاده از دیاگرام‌های مفهومی، مثال‌های عملی و پروژه‌های واقعیِ توسعه خط لوله (Pipeline) داده همراه است تا اطمینان حاصل شود که یادگیرندگان می‌توانند داده‌ها را به شکلی بهینه تغییر شکل داده و برای سیستم‌های تحلیلی آماده سازند. این دوره شکاف بین پایگاه داده‌های سنتی و پردازش ابری را پر کرده و مهارت‌های لازم برای کار در محیط‌های داده‌محور امروزی را به ارمغان می‌آورد.
در دوره آموزشی MS SQL to Databricks Spark ETL Training for Data Engineers با فرآیندهای پیشرفته مهندسی داده و طراحی خط لوله‌های ETL آشنا خواهید شد.

پایتون به عنوان یکی از منعطف‌ترین و پرکاربردترین زبان‌های برنامه‌نویسی در حوزه مهندسی و تحلیل داده شناخته می‌شود. اکوسیستم غنی این زبان، شامل کتابخانه‌های محبوبی نظیر Pandas ،PySpark و NumPy، به متخصصان اجازه می‌دهد تا داده‌ها را با سرعت بالا پردازش کرده، حجم کاری را خودکارسازی کنند و سیستم‌های ETL مقیاس‌پذیری را ایجاد نمایند که توانایی مدیریت حجم عظیم اطلاعات را داشته باشند. از سوی دیگر، دیتا‌بریکس به عنوان یک پلتفرم یکپارچه برای تحلیل و مهندسی داده معرفی می‌شود که جهت ساده‌سازی فرآیندهای داده‌های حجیم (Big Data) و یادگیری ماشین توسعه یافته است. این پلتفرم که بر پایه آپاچی اسپارک بنا شده، محیطی بهینه برای ایجاد خطوط لوله ETL با کارایی بالا فراهم می‌کند. شرکت‌کنندگان در این دوره می‌آموزند که چگونه از نوت‌بوک‌های مشارکتی استفاده کنند و حاکمیت داده‌ها را در سطح سازمانی با ابزارهایی مانند Unity Catalog مدیریت نمایند.
این دوره آموزشی تمام دانش لازم برای تبدیل شدن به یک متخصص مهندسی داده را در اختیار کاربران قرار می‌دهد. آموزش‌ها با استفاده از نمودارهای بصری، مثال‌های کاربردی و پروژه‌های واقعیِ توسعه خط لوله ETL همراه است تا مفاهیم به عمیق‌ترین شکل ممکن منتقل شوند. در طول این مسیر، از مراحل اولیه ورود داده‌ها تا پاکسازی، تغییر شکل و در نهایت بارگذاری آن‌ها در مخازن داده، به صورت گام‌به‌گام بررسی خواهد شد.
در دوره آموزشی Python, Databricks & Apache Spark: Complete ETL Engineering با اصول طراحی و اجرای فرآیندهای مهندسی داده آشنا خواهید شد.

این دوره برای کسانی طراحی شده که می‌خواهند به یک مهندس داده تبدیل شوند و بر یکی از پرتقاضاترین پلتفرم‌های این صنعت مسلط گردند. این بوت‌کمپ، افراد را از سطح مبتدی تا پیشرفته در حوزه‌های Databricks، کتابخانه PySpark و Delta Lake ارتقا می‌دهد. یادگیری از طریق ساخت گام به گام پروژه‌های واقعی و کاربردی مهندسی داده انجام می‌شود. صرف نظر از اینکه فرد تازه با Databricks آشنا شده یا پیش‌تر تجربه داشته است، این بوت‌کمپ مهارت‌های عملی مورد نیاز برای طراحی، ساخت و بهینه‌سازی خطوط لوله ETL (استخراج، تبدیل، بارگذاری) در محیط ابری را فراهم می‌آورد. شرکت‌کنندگان با تسلط بر معماری Medallion (شامل لایه‌های Bronze، Silver و Gold) به صورت عملی، توانایی مدیریت و پردازش داده‌های حجیم را کسب می‌کنند.
در طول دوره، شرکت‌کنندگان مهارت‌هایی حیاتی مانند ساخت خطوط لوله ETL سرتاسری با استفاده از PySpark و SQL را فرا می‌گیرند. همچنین، کار با Delta Lake برای انجام تراکنش‌های ACID، مدیریت تکامل طرحواره (Schema Evolution) و قابلیت سفر در زمان (Time Travel) پوشش داده می‌شود. روش‌های ورود و پردازش داده‌ها با استفاده از ابزارهایی مانند Auto Loader و Delta Live Tables (DLT) آموزش داده شده و نحوه پاکسازی داده‌های نامرتب با تبدیل‌های PySpark و اجرای قوانین کیفیت داده فرا گرفته خواهد شد.
در دوره آموزشی Complete Databricks & PySpark Bootcamp: Zero to Hero با اصول و کاربردهای پیشرفته Databricks و PySpark برای ساخت خطوط لوله ETL در مقیاس بزرگ آشنا خواهید شد.

Azure Data Factory (ADF) یک سرویس مبتنی بر فضای ابری برای ETL (استخراج، تبدیل، بارگذاری) و یکپارچه‌سازی داده‌ها است که توسط مایکروسافت ارائه شده است. این سرویس به سازمان‌ها امکان می‌دهد تا داده‌ها را از منابع متعدد، از جمله منابع محلی، در فضای ابری یا در پلتفرم‌های مختلف، انتقال، تبدیل و هماهنگ‌سازی کنند. این سرویس به عنوان خط لوله داده در محیط Azure عمل می‌کند و امکان اتصال، پاک‌سازی و تحویل داده‌ها به سیستم‌هایی مانند دریاچه‌های داده، انبارهای داده، پلتفرم‌های هوش تجاری و خطوط لوله یادگیری ماشین را فراهم می‌آورد. عملکرد Azure Data Factory بر اساس یک رویکرد گردش کاری است که شامل چهار مرحله اصلی است: ADF از طریق سرویس‌های پیوندی به بیش از ۱۰۰ منبع داده مانند SQL Server، Azure Blob Storage، Amazon S3، Google Cloud Storage، Salesforce و SAP متصل می‌شود. داده‌ها به صورت دسته‌ای یا در زمان واقعی دریافت می‌شوند. ADF از Data Flows (یک رابط بصری و بدون نیاز به کد برای تبدیل داده) یا فعالیت‌های سفارشی مانند اسکریپت‌های SQL، وظایف Spark، نوت‌بوک‌های Databricks و رویه‌های ذخیره‌شده استفاده می‌کند. تبدیل‌ها ممکن است شامل ادغام، فیلتر کردن، تجمیع، تبدیل فرمت (مانند تبدیل CSV به JSON و Parquet) و پاک‌سازی داده‌ها باشد.
در دوره آموزشی Azure Data Factory (ADF): Build Scalable Data Pipelines با مبانی Azure Data Factory و ساخت خطوط لوله داده آشنا خواهید شد.

این دوره برای کسانی طراحی شده است که می‌خواهند پلتفرم Azure Data Factory را به صورت عملی و با پروژه‌های واقعی، خطوط داده پویا و حل مشکلات کاربردی بیاموزند. این دوره از سخنرانی‌های تئوری و آماده‌سازی عمومی برای گواهینامه‌ها فاصله گرفته و بر کاربرد واقعی تمرکز دارد. مسترینگ دیتا فکتوری آژور دوره‌ای است که به شرکت‌کنندگان کمک می‌کند تا به طور عملی و از طریق سناریوهای واقعی، مهارت‌های خود را در Azure Data Factory (ADF) ارتقا دهند. این دوره به جای تمرکز بر مفاهیم تئوریک، بر حل مسائل عملی و پیاده‌سازی پروژه‌های دنیای واقعی تمرکز دارد. شرکت‌کنندگان با یادگیری و استفاده از Azure Data Factory، می‌توانند داده‌ها را از منابع مختلفی مانند SQL، REST APIs، Snowflake و PostgreSQL جمع‌آوری کنند. علاوه بر این، دوره شامل آموزش ساخت چارچوب‌های قابل استفاده مجدد، پیاده‌سازی بارهای افزایشی و تبدیل داده‌ها با استفاده از Data Flows است. این دوره توسط CloudPandith (Mallaiah)، یک معمار ارشد داده و مربی حرفه‌ای، هدایت می‌شود و بیش از ۴۰ سناریوی بلادرنگ ADF را دربرمی‌گیرد. مخاطبان این دوره، چه مبتدی باشند و چه افراد حرفه‌ای، یاد می‌گیرند که چگونه خطوط داده را با استفاده از تمام ویژگی‌های ADF مانند SHIR (محیط‌های یکپارچه‌سازی خودمیزبان)، تریگرها (محرک‌ها)، ادغام Key Vault، CDC (تغییر داده‌های ضبط شده)، و زمان‌بندی Databricks طراحی، خودکارسازی و بهینه کنند. در این دوره، هر بخش آموزشی بر مبنای کاربردهای واقعی ساخته شده و نه بر اساس تئوری‌های کتابی.
در دوره آموزشی Mastering Azure Data Factory : Real-World Projects With ADF با ساخت و بهینه‌سازی خطوط داده در پلتفرم Azure آشنا خواهید شد.

این دوره جامع، شرکت‌کنندگان را با مبانی علوم داده و هوش مصنوعی مولد آشنا می‌کند و آن‌ها را قادر می‌سازد تا از طریق پروژه‌های عملی، مهارت‌های لازم برای ورود به بازار کار را کسب کنند. این دوره با رویکرد یادگیری از طریق انجام دادن، مفاهیم پیچیده را به شیوه‌ای ساده و کاربردی ارائه می‌دهد و شامل مباحثی از جمله برنامه‌نویسی پایتون، آمار و ریاضیات مورد نیاز، تکنیک‌های پیش‌پردازش و تحلیل داده، الگوریتم‌های یادگیری ماشین نظارت شده و بدون نظارت، و همچنین مفاهیم و کاربردهای هوش مصنوعی مولد و عامل‌محور می‌باشد. علاوه بر آموزش‌های فنی، این دوره راهنمایی‌های لازم برای ساخت رزومه و موفقیت در مصاحبه‌های شغلی را نیز ارائه می‌دهد تا شرکت‌کنندگان بتوانند با آمادگی کامل وارد حوزه علوم داده شوند.
در دوره آموزشی Full Stack Data Science with GenAI با مفاهیم و کاربردهای علوم داده و هوش مصنوعی مولد آشنا خواهید شد.

در این دوره آموزشی، شرکت‌کنندگان با چگونگی بهره‌گیری از پلتفرم داتابریکس به منظور مدیریت و پردازش حجم وسیعی از داده‌ها برای ساخت و آموزش مدل‌های هوش مصنوعی آشنا می‌شوند. همچنین، نحوه ادغام مدل‌های زبانی بزرگ پیشرفته در این فرآیند آموزش داده می‌شود تا امکان توسعه برنامه‌های کاربردی هوشمند در زمینه‌های مختلف پردازش زبان طبیعی فراهم گردد. این دوره شامل مباحثی پیرامون طبقه‌بندی متون، خلاصه‌سازی اطلاعات، جستجوی معنایی در متون و ساخت سیستم‌های هوش مصنوعی مکالمه‌ای است. از طریق تمرینات عملی و پروژه‌های واقعی، دانش‌پذیران تجربه لازم برای طراحی و پیاده‌سازی سیستم‌های هوشمند مبتنی بر داده و زبان را کسب خواهند کرد و با اصول معماری سامانه‌های هوش مصنوعی یکپارچه و روش‌های بهینه‌سازی عملکرد مدل‌ها آشنا می‌شوند.
در دوره آموزشی Building AI Applications with Databricks and Gen AI با ساخت برنامه‌های هوش مصنوعی با استفاده از داتابریکس و مدل‌های زبانی بزرگ آشنا خواهید شد.

این دوره آموزشی یک برنامه فشرده و عملی است که شرکت‌کنندگان را در طول 21 روز از طریق پیاده‌سازی 21 پروژه کلیدی در حوزه‌های مختلف علم داده، یادگیری ماشین و هوش مصنوعی راهنمایی می‌کند. هدف این دوره، توسعه مهارت‌های فنی شرکت‌کنندگان و ایجاد یک نمونه کار قوی و متنوع است که توانایی‌های آن‌ها را در حل مسائل واقعی با استفاده از تکنیک‌های پیشرفته نشان دهد. هر پروژه به گونه‌ای طراحی شده است که یک مفهوم یا تکنیک خاص را پوشش دهد و شرکت‌کنندگان را قادر سازد تا به تدریج دانش و تجربه خود را در زمینه‌هایی نظیر پیش‌بینی سری‌های زمانی، تحلیل مشتری، مدل‌سازی ریسک، تحلیل احساسات، سیستم‌های توصیه‌گر، پیش‌بینی فرسایش، مدل‌سازی قیمت‌گذاری، تشخیص تهدیدات سایبری، تشخیص تقلب، پیش‌بینی مصرف انرژی و ترافیک، تحلیل ارزش طول عمر مشتری، تحلیل بازار سهام، پردازش زبان طبیعی، تحلیل سبد بازار، پیش‌بینی خطر سلامت و روند بازار مسکن، ساخت سیستم‌های معاملات خودکار، پیش‌بینی تقاضا و ساخت عامل‌های هوش مصنوعی با استفاده از یادگیری تقویتی بپردازند. این رویکرد عملی تضمین می‌کند که شرکت‌کنندگان نه تنها مفاهیم نظری را درک می‌کنند، بلکه قادر به اعمال آن‌ها در پروژه‌های ملموس و قابل ارائه نیز خواهند بود.
در دوره آموزشی 21 data science portfolio projects in 21 days با کاربردهای متنوع و عملی علم داده و یادگیری ماشین آشنا خواهید شد.

این دوره آموزشی به شرکت‌کنندگان می‌آموزد که چگونه با استفاده از Streamlit، Plotly و Pandas داشبوردهای تعاملی و بصری برای ارائه داده‌ها و بینش‌ها ایجاد کنند. این شامل یادگیری نحوه ساخت داشبوردهای جذاب با Streamlit، ایجاد نمودارها و گراف‌های تعاملی با Plotly و تجزیه و تحلیل کارآمد داده‌ها با Pandas است. علاوه بر این، شرکت‌کنندگان با پروژه‌های عملی که وظایف واقعی فریلنسری را شبیه‌سازی می‌کنند، تجربه کسب خواهند کرد و همچنین در مورد نحوه موقعیت‌یابی، یافتن مشتری و ایجاد شغل آزاد در سال 2025 اطلاعاتی کسب خواهند نمود. این دوره برای افرادی که به دنبال ورود به حوزه تحلیل داده یا توسعه مهارت‌های خود در این زمینه هستند و همچنین کسانی که می‌خواهند به عنوان فریلنسر در این حوزه فعالیت کنند، مناسب است.
در دوره آموزشی Master Streamlit: Build Dashboards with Streamlit & Python با ساخت داشبوردهای تعاملی و تحلیل داده آشنا خواهید شد.

این بخش اول از دوره مهندسی داده در AWS است. این دوره توضیحات مفصلی در مورد سرویس‌های مهندسی داده AWS مانند S3 (سرویس ذخیره‌سازی ساده)، Redshift، Athena، Hive، Glue Data Catalog و Lake Formation ارائه می‌دهد. این دوره به لایه انبار داده یا لایه مصرف و ذخیره‌سازی خط لوله مهندسی داده می‌پردازد. در جلد دوم، سرویس‌های پردازش داده (دسته‌ای و جریانی) را به نمایش خواهد گذاشت. شرکت‌کنندگان فرصت‌هایی برای انجام تمرین‌های عملی با استفاده از مجموعه داده‌های بزرگ (100 گیگابایت تا 300 گیگابایت یا بیشتر داده) خواهند داشت. علاوه بر این، این دوره تمرین‌های عملی ارائه می‌دهد که با سناریوهای زمان واقعی مانند تنظیم عملکرد پرس و جو Redshift، دریافت جریانی، توابع پنجره‌ای، تراکنش‌های ACID، دستور COPY، کلیدهای توزیع و مرتب‌سازی، WLM، امنیت سطح ردیف و ستون، پارتیشن‌بندی Athena، WLM Athena و غیره مطابقت دارند.
در دوره آموزشی Data Engineering on AWS Vol 1 - OLAP & Data Warehouse با مفاهیم و ابزارهای مرتبط با انبار داده در AWS آشنا خواهید شد.