پی سی دانلود - دریاچه-داده

Azure Data Factory (ADF) یک سرویس مبتنی بر فضای ابری برای ETL (استخراج، تبدیل، بارگذاری) و یکپارچه‌سازی داده‌ها است که توسط مایکروسافت ارائه شده است. این سرویس به سازمان‌ها امکان می‌دهد تا داده‌ها را از منابع متعدد، از جمله منابع محلی، در فضای ابری یا در پلتفرم‌های مختلف، انتقال، تبدیل و هماهنگ‌سازی کنند. این سرویس به عنوان خط لوله داده در محیط Azure عمل می‌کند و امکان اتصال، پاک‌سازی و تحویل داده‌ها به سیستم‌هایی مانند دریاچه‌های داده، انبارهای داده، پلتفرم‌های هوش تجاری و خطوط لوله یادگیری ماشین را فراهم می‌آورد. عملکرد Azure Data Factory بر اساس یک رویکرد گردش کاری است که شامل چهار مرحله اصلی است: ADF از طریق سرویس‌های پیوندی به بیش از ۱۰۰ منبع داده مانند SQL Server، Azure Blob Storage، Amazon S3، Google Cloud Storage، Salesforce و SAP متصل می‌شود. داده‌ها به صورت دسته‌ای یا در زمان واقعی دریافت می‌شوند. ADF از Data Flows (یک رابط بصری و بدون نیاز به کد برای تبدیل داده) یا فعالیت‌های سفارشی مانند اسکریپت‌های SQL، وظایف Spark، نوت‌بوک‌های Databricks و رویه‌های ذخیره‌شده استفاده می‌کند. تبدیل‌ها ممکن است شامل ادغام، فیلتر کردن، تجمیع، تبدیل فرمت (مانند تبدیل CSV به JSON و Parquet) و پاک‌سازی داده‌ها باشد.
در دوره آموزشی Azure Data Factory (ADF): Build Scalable Data Pipelines با مبانی Azure Data Factory و ساخت خطوط لوله داده آشنا خواهید شد.

این بخش اول از دوره مهندسی داده در AWS است. این دوره توضیحات مفصلی در مورد سرویس‌های مهندسی داده AWS مانند S3 (سرویس ذخیره‌سازی ساده)، Redshift، Athena، Hive، Glue Data Catalog و Lake Formation ارائه می‌دهد. این دوره به لایه انبار داده یا لایه مصرف و ذخیره‌سازی خط لوله مهندسی داده می‌پردازد. در جلد دوم، سرویس‌های پردازش داده (دسته‌ای و جریانی) را به نمایش خواهد گذاشت. شرکت‌کنندگان فرصت‌هایی برای انجام تمرین‌های عملی با استفاده از مجموعه داده‌های بزرگ (100 گیگابایت تا 300 گیگابایت یا بیشتر داده) خواهند داشت. علاوه بر این، این دوره تمرین‌های عملی ارائه می‌دهد که با سناریوهای زمان واقعی مانند تنظیم عملکرد پرس و جو Redshift، دریافت جریانی، توابع پنجره‌ای، تراکنش‌های ACID، دستور COPY، کلیدهای توزیع و مرتب‌سازی، WLM، امنیت سطح ردیف و ستون، پارتیشن‌بندی Athena، WLM Athena و غیره مطابقت دارند.
در دوره آموزشی Data Engineering on AWS Vol 1 - OLAP & Data Warehouse با مفاهیم و ابزارهای مرتبط با انبار داده در AWS آشنا خواهید شد.

با این دوره آموزشی، متخصص انبار داده شوید: در زمینه‌های ETL، SQL و مدل‌سازی داده با پروژه‌های واقعی سازمانی و راهنمایی متخصصان، مهارت کسب کنید! این دوره که به طور خاص برای مهندسان داده مشتاق، تحلیلگران داده، افرادی که قصد تغییر شغل دارند و متخصصانی که به دنبال مهارت‌های پیشرفته هستند طراحی شده است، به شما کمک می‌کند تا به نتایج شغلی واقعی دست یابید؛ نتایجی مانند به دست آوردن مشاغل پردرآمد، انتقال شغلی روان و آمادگی برای مصاحبه‌های شغلی.  این دوره آموزشی جامع، افراد را برای تبدیل شدن به متخصصان انبار داده آماده می‌کند و مهارت‌های کلیدی در زمینه‌های ETL، SQL و مدل‌سازی داده را از طریق پروژه‌های عملی سازمانی و راهنمایی‌های تخصصی ارائه می‌دهد.
در دوره آموزشی Building a Modern Data Warehouse - Data Engineering Bootcamp با مفاهیم و ابزارهای مرتبط با انبار داده آشنا خواهید شد.

این دوره آموزشی برای تبدیل شدن به یک مهندس داده حرفه‌ای در Databricks طراحی شده است. شرکت‌کنندگان در این دوره، با راهنمایی‌های مربی، Deepak Goyal، نحوه دیباگ کردن، پردازش و تحلیل حجم عظیمی از داده‌ها و ساختن راه‌حل‌های مقیاس‌پذیر را به صورت عمیق فرا خواهند گرفت. این دوره به بررسی دقیق نحوه عملکرد پلتفرم Databricks می‌پردازد. شرکت‌کنندگان با PySpark transformation و Spark SQL در Databricks، همچنین نحوه خواندن و نوشتن DataFrame در Databricks آشنا خواهند شد. علاوه بر این، موضوعاتی مانند Delta Lake، join optimizations، notebook scheduling، cluster management، workflows و موارد دیگر نیز در این دوره پوشش داده می‌شوند.
در دوره آموزشی Complete Guide to Databricks for Data Engineering با مهندسی داده با پلتفرم Databricks آشنا خواهید شد.