پی سی دانلود - apache-spark

دوره حاضر با هدف توانمندسازی مهندسان داده در مدیریت و انتقال داده‌ها بین سیستم‌های رابطه‌ای سنتی و پلتفرم‌های ابری مدرن طراحی شده است. در بخش نخست، این آموزش بر توانمندی‌های MS SQL Server تمرکز می‌کند؛ سیستمی که به عنوان یکی از پرکاربردترین بانک‌های اطلاعاتی رابطه‌ای در جهان شناخته می‌شود. شرکت‌کنندگان در این بخش می‌آموزند که چگونه از محیط قدرتمند این نرم‌افزار برای ذخیره‌سازی داده‌ها، اجرای پرس‌وجوهای پیچیده، بهینه‌سازی جداول و انجام تحلیل‌های سطح سازمانی استفاده کنند. همچنین، کار با زبان T-SQL برای نوشتن کوئری‌های پیشرفته و مدیریت ساختارهای رابطه‌ای جهت آماده‌سازی داده‌ها برای بارهای کاری ETL (استخراج، تبدیل و بارگذاری) به طور کامل تشریح می‌شود.
در بخش دوم، تمرکز اصلی بر روی پلتفرم Databricks معتبر است که بر پایه Apache Spark بنا شده است. این پلتفرم به عنوان یک محیط یکپارچه برای مهندسی داده و تحلیل‌های کلان‌داده شناخته می‌شود و ابزارهای لازم برای پردازش داده‌ها در مقیاس بسیار بزرگ را فراهم می‌کند. در این دوره، دانش‌جویان با نحوه ایجاد جریان‌های کاری ETL کارآمد، بهره‌گیری از ذخیره‌سازهای Delta Lake و اعمال حاکمیت داده در سطح سازمانی از طریق Unity Catalog آشنا می‌شوند.
مدرس در طول این مسیر آموزشی، تمامی دانش فنی لازم برای تسلط بر مهندسی داده با استفاده از ترکیب MS SQL و Apache Spark را به صورت گام‌به‌گام ارائه می‌دهد. آموزش‌ها با استفاده از دیاگرام‌های مفهومی، مثال‌های عملی و پروژه‌های واقعیِ توسعه خط لوله (Pipeline) داده همراه است تا اطمینان حاصل شود که یادگیرندگان می‌توانند داده‌ها را به شکلی بهینه تغییر شکل داده و برای سیستم‌های تحلیلی آماده سازند. این دوره شکاف بین پایگاه داده‌های سنتی و پردازش ابری را پر کرده و مهارت‌های لازم برای کار در محیط‌های داده‌محور امروزی را به ارمغان می‌آورد.
در دوره آموزشی MS SQL to Databricks Spark ETL Training for Data Engineers با فرآیندهای پیشرفته مهندسی داده و طراحی خط لوله‌های ETL آشنا خواهید شد.

پایتون به عنوان یکی از منعطف‌ترین و پرکاربردترین زبان‌های برنامه‌نویسی در حوزه مهندسی و تحلیل داده شناخته می‌شود. اکوسیستم غنی این زبان، شامل کتابخانه‌های محبوبی نظیر Pandas ،PySpark و NumPy، به متخصصان اجازه می‌دهد تا داده‌ها را با سرعت بالا پردازش کرده، حجم کاری را خودکارسازی کنند و سیستم‌های ETL مقیاس‌پذیری را ایجاد نمایند که توانایی مدیریت حجم عظیم اطلاعات را داشته باشند. از سوی دیگر، دیتا‌بریکس به عنوان یک پلتفرم یکپارچه برای تحلیل و مهندسی داده معرفی می‌شود که جهت ساده‌سازی فرآیندهای داده‌های حجیم (Big Data) و یادگیری ماشین توسعه یافته است. این پلتفرم که بر پایه آپاچی اسپارک بنا شده، محیطی بهینه برای ایجاد خطوط لوله ETL با کارایی بالا فراهم می‌کند. شرکت‌کنندگان در این دوره می‌آموزند که چگونه از نوت‌بوک‌های مشارکتی استفاده کنند و حاکمیت داده‌ها را در سطح سازمانی با ابزارهایی مانند Unity Catalog مدیریت نمایند.
این دوره آموزشی تمام دانش لازم برای تبدیل شدن به یک متخصص مهندسی داده را در اختیار کاربران قرار می‌دهد. آموزش‌ها با استفاده از نمودارهای بصری، مثال‌های کاربردی و پروژه‌های واقعیِ توسعه خط لوله ETL همراه است تا مفاهیم به عمیق‌ترین شکل ممکن منتقل شوند. در طول این مسیر، از مراحل اولیه ورود داده‌ها تا پاکسازی، تغییر شکل و در نهایت بارگذاری آن‌ها در مخازن داده، به صورت گام‌به‌گام بررسی خواهد شد.
در دوره آموزشی Python, Databricks & Apache Spark: Complete ETL Engineering با اصول طراحی و اجرای فرآیندهای مهندسی داده آشنا خواهید شد.

این دوره برای کسانی طراحی شده که می‌خواهند به یک مهندس داده تبدیل شوند و بر یکی از پرتقاضاترین پلتفرم‌های این صنعت مسلط گردند. این بوت‌کمپ، افراد را از سطح مبتدی تا پیشرفته در حوزه‌های Databricks، کتابخانه PySpark و Delta Lake ارتقا می‌دهد. یادگیری از طریق ساخت گام به گام پروژه‌های واقعی و کاربردی مهندسی داده انجام می‌شود. صرف نظر از اینکه فرد تازه با Databricks آشنا شده یا پیش‌تر تجربه داشته است، این بوت‌کمپ مهارت‌های عملی مورد نیاز برای طراحی، ساخت و بهینه‌سازی خطوط لوله ETL (استخراج، تبدیل، بارگذاری) در محیط ابری را فراهم می‌آورد. شرکت‌کنندگان با تسلط بر معماری Medallion (شامل لایه‌های Bronze، Silver و Gold) به صورت عملی، توانایی مدیریت و پردازش داده‌های حجیم را کسب می‌کنند.
در طول دوره، شرکت‌کنندگان مهارت‌هایی حیاتی مانند ساخت خطوط لوله ETL سرتاسری با استفاده از PySpark و SQL را فرا می‌گیرند. همچنین، کار با Delta Lake برای انجام تراکنش‌های ACID، مدیریت تکامل طرحواره (Schema Evolution) و قابلیت سفر در زمان (Time Travel) پوشش داده می‌شود. روش‌های ورود و پردازش داده‌ها با استفاده از ابزارهایی مانند Auto Loader و Delta Live Tables (DLT) آموزش داده شده و نحوه پاکسازی داده‌های نامرتب با تبدیل‌های PySpark و اجرای قوانین کیفیت داده فرا گرفته خواهد شد.
در دوره آموزشی Complete Databricks & PySpark Bootcamp: Zero to Hero با اصول و کاربردهای پیشرفته Databricks و PySpark برای ساخت خطوط لوله ETL در مقیاس بزرگ آشنا خواهید شد.

این دوره آموزشی برای تبدیل شدن به یک مهندس داده حرفه‌ای در Databricks طراحی شده است. شرکت‌کنندگان در این دوره، با راهنمایی‌های مربی، Deepak Goyal، نحوه دیباگ کردن، پردازش و تحلیل حجم عظیمی از داده‌ها و ساختن راه‌حل‌های مقیاس‌پذیر را به صورت عمیق فرا خواهند گرفت. این دوره به بررسی دقیق نحوه عملکرد پلتفرم Databricks می‌پردازد. شرکت‌کنندگان با PySpark transformation و Spark SQL در Databricks، همچنین نحوه خواندن و نوشتن DataFrame در Databricks آشنا خواهند شد. علاوه بر این، موضوعاتی مانند Delta Lake، join optimizations، notebook scheduling، cluster management، workflows و موارد دیگر نیز در این دوره پوشش داده می‌شوند.
در دوره آموزشی Complete Guide to Databricks for Data Engineering با مهندسی داده با پلتفرم Databricks آشنا خواهید شد.

 Apache Spark ، یک چارچوب محاسباتی برای داده ­های عظیم است. Spark از MapReduce به عنوان موتور اجرای خود، استفاده نمی­ کند اما بخوبی با هادوپ یکپارچه است. در واقع Spark می­تواند در Yarn اجرا شود و با فرمت داده­ای هادوپ و HDFS کار کند. Spark بیشتر بخاطر توانایی نگهداشتن مجموعه ­داده ه­ای بین کارها، در حافظه، شناخته می­ شود. این قابلیت Spark سبب می­ شود تا سریعتر از جریان کاری MapReduce معادل که مجموعه­ داده­ های همیشه از دیسک بار می­ شوند، عمل کند. دو نوع کاربردی که از مدل پردازشی Spark بهره می­ برند، الگوریتم ­های تکرار شونده (که یک تابع بر روی مجموعه داده­ای به‌صورت تکراری تا حصول شرط خروج، اعمال می­گردد، و تحلیل تعاملی(که یک کاربر مجموعه ای از پرس و جوهای اکتشافی تک کاره را بر روی مجموعه ای داده­ ها، اعمال می­ کنند) است. همچنین اسپارک APIهایی در زبان­های Java، Scala و Python، ارایه می ­کند. پروژه Apache Spark شامل ماژول ­های یادگیری ماشین(MLlib)، پردازش گراف (GraphX)، پردازش جریانی( (Spark Streaming)، و SQL (Spark SQL است.
در دوره آموزشی Big Data Analysis with Apache Spark PySpark: Hands on Python با آموزش آنالیز داده های حجیم با پای اسپارک اشنا خواهید شد.