بزرگ داده یا BIG Data

اکثر شما عبارت Big Data یا بزرگ داده رو شنیدید، درباره این عبارت معانی و برداشت های بسیاری می شه که همگی درست نیستن. چون بزرگ داده یک ابزار واقعا مهمه که جامعه ما با بکارگیری اون پیشرفت می کنه. در گذشته ما به داده های با حجم کم نگاه می کردیم و تلاش می کردیم که دنیا رو بفهمیم اما حالا خیلی خیلی بیشتر از اون موقع داده داریم. بیشتر از هر اندازه ای که قبلا می تونستیم داشته باشیم و حالا با این همه داده باید بتونیم کارای خیلی بیشتر و مفیدتری نسبت به گذشته با اون حجم کم داده بکنیم. پس بزرگ داده مهمه و جدید و وقتی درباره اون فکر می کنید، تنها راهی که این کره خاکی می تونه به سراغ حل چالش های موجود بره، برای اینکه مردم رو از گرسنگی رها کنه، امکانات پزشکی به اون ها بده، انرژی اون ها رو تامین کنه، الکتریسیته رو تامین کنه و اینکه مطمئن بشه بخاطر گرمای جهانی به مشکل نخورن و همه این ها بخاطر استفاده موثر از داده هاست.

در سال 1908 باستان شناسان در جزیره Creat بک دیسک گلی پیدا کردند و قدمت اون رو به 2000 سال قبل از میلاد تخمین زدند. یعنی 4000 سال پیش.
روی این دیسک نوشته هایی هست که ما اون رو نمی فهمیم. اما مهم نیست، مهم اینه که 4000 سال پیش اطلاعات این شکلی بود. این روشیه که جامعه توی اون زمان اطلاعات رو ذخیره و منتقل می کرد.
حالا چی؟ جامعه خیلی که فکرش رو بکنید پیشرفت هم نکرده. ما هنوز اطلاعات رو روی دیسک ها ذخیره می کنیم، اما حالا می تونیم خیلی اطلاعات بیشتری رو ذخیره کنیم خیلی بیشتر از هر زمان در گذشته، جستجو توی این داده ها خیلی آسون تره، کپی کردن خیلی آسون تره، به اشتراک گذاری اون خیلی آسون تره، پردازش اون آسون تر و سریع تره، و کاری که می تونیم الان بکنیم اینه که می تونیم از این داده ها بارها و بارها برای جنبه های مختلف که موقع جمع آوری اون داده ها حتی فکرش رو هم نمی کردیم، استفاده کنیم.
داده ها از حالت ایستا به حالت جریان و سیال تبدیل شدن. یک چیزی که قبلا استاتیک بود اما حالا پویاست.
دیسکی که 4000 سال پیش پیدا شده، سنگینه، اطلاعات زیادی رو ذخیره نمیکنه، و اون اطلاعات غیر قابل تغییره، در مقابل اون تمامی فایل هایی که ادوارد اسنودن از آژانس امنیت ملی ایالات متحده برد توی یک حافظه کوچیک به اندازه ناخن انگشت جای می گیره و اون ها رو میشه با سرعت نور به اشتراک گذاشت.
یک دلیلی که امروزه داده های بسیاری رو جمع آوری می کنیم این هست که ما داریم اطلاعاتی رو ذخیره می کنیم که همیشه درحال ذخیره اطلاعاتشون بودیم اما قبلا فقط بصورت اطلاعاتی بودند و نه در قالب داده ای ولی الان به قالب های مختلفی تبدیل می شن.

29بایت یعنی یک سوتابایت یا حتی بزرگتر از آن می باشد

مدیریت معماری big data

مدیریت این معماری پیچیده، بسیار پر هزینه است،
 زیرا:

1. نیاز به افراد بسیار ماهر داریم، به خصوص اگر با فناوری های چندگانه ای درگیر هستیم
2. زمان بسیار زیادی صرف توسعه و تست می شود.

راه حل چیست؟

گاهی اوقات، این مدیریت معماری، زمان بسیار بیشتری نسبت به زمان توسعه سیستم، نیاز دارد
استفاده از یک مدل بدون ساختار و توزیع شده

داده هایی مانند داده های هواشناسی، فعالیت های آنلاین کاربران یا تحلیل های اقتصادی در قالب پایگاه داده ای سنتی (رابطه ای)، کارایی چندانی نخواهند داشت و در ذخیره سازی های بدون قالب و توزیع شده به بهترین روش کار خواهند کرد
 

NoSQL== Not Only SQL

 در سال 2009 ، نیازمندی هایی مطرح شده و مورد توجه قرار گرفتند که با استفاده از مدل رابطه ای سنتی قابل دستیابی نبودند. از آنجا که مسائل جدید به ابزارهای جدید نیا زدارند، مجموع های بزرگ از ابزارها پا به عرصه وجود گذاشته و مورد توجه بسیاری قرار گرفتند. دسترس پذیری بالا، مقیاس پذیر یافقی، قابلیت تکثیر (Replication) ، طراحی بدون Schema و قابلیت MapReduce از جمله زمینه هایی هستند که توسط مجموعه ای جدید از پایگا ههای داده و تحت عنوان کلی NoSQL در حال توسعه و آزمایشهستند طرفداران انواع پایگاه داده های غیر رابطه ای معتقدند که پایگاه داده ی سنتی (رابطه ای)، تنها راه موجود برای ذخیره سازی داده نیستند اما این به آن معنا نیست که به خودی خود انتخاب نادرستی باشند جنبش NoSQ
در مدل NoSQL بنا به شیوه‌های مختلف، دیگر نیاز به طراحی و زمان طولانی برای طراحی پایگاه داده‌ها نمی‌باشد. در برخی از سرویس‌های NoSQL الگوریتم‌های هوشمندی هم به کار رفته‌است که دیگر نیازی به طراحی پایگاه داده نمی‌باشد و بر اساس ورودی‌های برنامه‌نویس و کاربر و تعیین نوع نیازمندی‌ها و پلتفرم و شرایط محیطی دیگر، نوع ذخیره‌سازی و مدیریت داده‌ها پیاده‌سازی می‌شود.