پی سی دانلود - spark

Apache Spark ، یک چارچوب محاسباتی برای داده ­های عظیم است. Spark از MapReduce به عنوان موتور اجرای خود، استفاده نمی­ کند اما بخوبی با هادوپ یکپارچه است. در واقع Spark می­تواند در Yarn اجرا شود و با فرمت داده­ای هادوپ و HDFS کار کند. Spark بیشتر بخاطر توانایی نگهداشتن مجموعه ­داده ه­ای بین کارها، در حافظه، شناخته می­ شود. این قابلیت Spark سبب می­ شود تا سریعتر از جریان کاری MapReduce معادل که مجموعه­ داده­ های همیشه از دیسک بار می­ شوند، عمل کند. دو نوع کاربردی که از مدل پردازشی Spark بهره می­ برند، الگوریتم ­های تکرار شونده (که یک تابع بر روی مجموعه داده­ای بصورت تکراری تا حصول شرط خروج، اعمال می­گردد، و تحلیل تعاملی(که یک کاربر مجموعه ای از پرس و جوهای اکتشافی تک کاره را بر روی مجموعه ای داده­ ها، اعمال می­ کنند) است. همچنین اسپارک APIهایی در زبان­های Java، Scala و Python، ارایه می ­کند. پروژه Apache Spark شامل ماژول ­های یادگیری ماشین(MLlib)، پردازش گراف (GraphX)، پردازش جریانی( (Spark Streaming)، و SQL (Spark SQL است. هادوپ یک نرم افزار کد باز (Open source) است که برای تقسیم بندی و توزیع فایل های متمرکز به کار می رود. هادوپ تحت لیسانس آپاچی (Apache) ارائه می شود و توسط جاوا برنامه نویسی شده است. امّا هادوپ چگونه به وجود آمد؟ شرکت گوگل در پی افزایش حجم تبادل اطلاعات، به دنبال راه حلّی برای افزایش سرعت و راندمان سرورهای خود بود که سیستم توزیع (Distribution) منحصر به فردی برای خود ابداع کرد به نام GFS که مخفف Google File System بود. در پی این موفقیت، انجمن توزیع Apache به فکر گسترش این تکنولوژی در سطح وسیع تری افتاد و سیستم هادوپ به وجود آمد. هادوپ یک فریم ورک یا مجموعه ای از نرم افزارها و کتابخانه هایی است که ساز و کار پردازش حجم عظیمی از داده های توزیع شده را فراهم می کند. در واقع Hadoop را می توان به یک سیستم عامل تشبیه کرد که طراحی شده تا بتواند حجم زیادی از داده ها را بر روی ماشین های مختلف پردازش و مدیریت کند.
در دوره آموزشی Udemy Learn Spark and Hadoop Overnight on GCP با اسپارک و هادوپ آشنا می شوید.

Apache Spark، یک چارچوب محاسباتی برای داده ­های عظیم است. Spark از MapReduce به عنوان موتور اجرای خود، استفاده نمی­ کند اما بخوبی با هادوپ یکپارچه است. در واقع Spark می­تواند در Yarn اجرا شود و با فرمت داده­ای هادوپ و HDFS کار کند. Spark بیشتر بخاطر توانایی نگهداشتن مجموعه ­داده ه­ای بین کارها، در حافظه، شناخته می­ شود. این قابلیت Spark سبب می­ شود تا سریعتر از جریان کاری MapReduce معادل که مجموعه­ داده­ های همیشه از دیسک بار می­ شوند، عمل کند. به عنوان یکی از شاخه‌های وسیع و پرکاربرد هوش مصنوعی، یادگیری ماشینی (Machine learning) به تنظیم و اکتشاف شیوه‌ها و الگوریتم‌هایی می‌پردازد که بر اساس آنها رایانه‌ها و سامانه‌ها توانایی تعلٌم و یادگیری پیدا می‌کنند. هدف یادگیری ماشین این است که کامپیوتر (در کلی‌ترین مفهوم آن) بتواند به تدریج و با افزایش داده‌ها کارایی بهتری در انجام وظیفهٔ مورد نظر پیدا کند.
در دوره آموزشی Lynda Spark for Machine Learning and AI با اسپارک برای یادگیری ماشین و هوش مصنوعی آشنا می شوید.

Apache Spark، یک چارچوب محاسباتی برای داده ­های عظیم است. Spark از MapReduce به عنوان موتور اجرای خود، استفاده نمی­ کند اما بخوبی با هادوپ یکپارچه است. در واقع Spark می­تواند در Yarn اجرا شود و با فرمت داده­ای هادوپ و HDFS کار کند. Spark بیشتر بخاطر توانایی نگهداشتن مجموعه ­داده ه­ای بین کارها، در حافظه، شناخته می­ شود. این قابلیت Spark سبب می­ شود تا سریعتر از جریان کاری MapReduce معادل که مجموعه­ داده­ های همیشه از دیسک بار می­ شوند، عمل کند. دو نوع کاربردی که از مدل پردازشی Spark بهره می­ برند، الگوریتم ­های تکرار شونده (که یک تابع بر روی مجموعه داده­ای بصورت تکراری تا حصول شرط خروج، اعمال می­گردد، و تحلیل تعاملی(که یک کاربر مجموعه ای از پرس و جوهای اکتشافی تک کاره را بر روی مجموعه ای داده­ ها، اعمال می­ کنند) است. همچنین اسپارک APIهایی در زبان­های Java، Scala و Python، ارایه می ­کند. پروژه Apache Spark شامل ماژول ­های یادگیری ماشین(MLlib)، پردازش گراف (GraphX)، پردازش جریانی( (Spark Streaming)، و SQL (Spark SQL است.
در دوره آموزشی Packt From 0 to 1: Spark for Data Science with Python با آپاچی اسپارک و پایتون برای علوم داده آشنا می شوید.

داده‌ های عظیم، ابر داده، بزرگ‌داده یا داده‌ های بزرگ (Big Data) اصطلاحی است که به مجموعه داده‌ هایی اطلاق می‌شود که مدیریت، کنترل و پردازش آنها فراتر از توانایی ابزارهای نرم‌افزاری در یک زمان قابل تحمل و مورد انتظار است. مقیاس بزرگ‌ داده، به طور مداوم در حال رشد از محدوده چند ۱۰ ترابایت به چندین پتابایت، در یک مجموعه داده واحد است. نـمونه‌هایی از بزرگ‌ داده، گــزارش‌ های وبی، سامانه‌ های بازشناسی با امواج رادیویی، شبکه‌های حسگر، شبکه‌های اجتماعی، متون و اسناد اینترنتی، نمایه‌های جستجوهای اینترنتی، نجوم، مدارک پزشکی، آرشیو عکس، آرشیو ویدیو، پژوهش‌های زمین‌شناسی و تجارت در مقیاس بزرگ هستند. آپاچی اسپارک فعال ترین و بهترین پروژه آپاچی است که برای آنالیز داده های حجیم به کار می رود. در دوره آموزشی Udemy Big Data Analytics with Apache Spark and Python با اصول و موارد اساسی کار با داده های حجیم و آپاچی اسپارک آشنا می شوید.