تعاریف

uکلان‌داده دارایی اطلاعاتی در حجم، سرعت و یا تنوع بالا به شمار می‌آید که نیازمند روش نوآورانه‌ و مقرون به صرفه پردازش اطلاعات است که بینش ارتقا یافته، تصمیم‌سازی و خودکارسازی فرآیندها را امکان‌پذیر می‌سازد.

uاکنون باید شفاف باشد که «کلان» در کلان‌داده تنها به حجم مربوط نیست. در حالیکه کلان‌داده قطعا دربرگیرنده داده‌های زیادی است، اما عبارت کلان‌داده تنها به حجم اشاره ندارد. این یعنی در صورتی که مساله‌ای کلان‌داده باشد، تنها بحث تحلیل حجم انبوهی از داده‌ها مطرح نیست، بلکه داده‌ها با سرعت تولید می‌شوند و در قالب‌های پیچیده از منابع داده گوناگونی هستند.

چالشها و خصوصیات کلان داده

تا کنون چالشهای زیادی در حوزه کلان داده مطرح شده است که تا حدودی از جنبه تئوری ابعاد مختلفی از مشکلات این حوزه را بیان میکنند. این چالش ها در ابتدا سه بعد اصلی حجم داده، نرخ تولید و تنوع به عنوان ۳V’s مطرح شدند ولی در ادامه چالش های بیشتری در ادبیات موضوع توسط محققان مطرح شده است.

uحجم داده (Volume): حجم داده های درون سازمان و خارج آن به مدد پدیده اینترنت، دستگاه های الکترونیکی و موبایل ها، زیر ساخت های شبکه و سایر منابع هر ساله رشد نمایی دارد و پیش بینی شده است که تا سال ۲۰۲۰ ما ده زتابایت داده در جهان خواهیم داشت.

uنرخ تولید (Velocity): داده ها از طریق برنامه های کاربردی و سنسورهای بسیار زیادی که در محیط وجود دارند با سرعت بسیار زیاد و به صورت بلادرنگ تولید می شوند که اغلب باید در لحظه پردازش و ذخیره شوند.

uتنوع (Variety): انواع منابع داده و تنوع در نوع داده بسیار زیاد می باشد که در نتیجه ساختارهای داده ای بسیار زیادی وجود دارد و بیشتر حجم داده دنیا هم بی­ساختار و بسیار متنوع است. بخشی از داده­ها امروزه در بانکهای اطلاعاتی، بخشی در صفحات وب، بخشی به صورت XML و JSON و بقیه نیز در فایلها با قالب های متفاوت ذخیره شده اند که عمل پردازش آنها را پیچیده می­کند.

Some Make it 4V’s

uصحت (Veracity): با توجه به اینکه داده ها از منابع مختلف دریافت میشوند، ممکن است نتوان به همه آنها اعتماد کرد. مثلا در یک شبکه اجتماعی، ممکن است نظرهای زیادی در خصوص یک موضوع خاص ارائه شود. اما اینکه آیا همه آنها صحیح و قابل اطمینان هستند، موضوعی است که نمیتوان به سادگی از کنار آن در حجم بسیار زیادی از اطلاعات گذشت

ابعاد دیگر

uاعتبار (Validity): با فرض اینکه دیتا صحیح باشد، ممکن است برای برخی کاربردها مناسب نباشد یا به عبارت دیگر از اعتبار کافی برای استفاده در برخی از کاربردها برخوردار نباشد.

uنوسان (Volatility): سرعت تغییر ارزش داده های مختلف در طول زمان میتواند متفاوت باشد. در کاربردهایی نظیر تحلیل ارز و بورس، داده با نوسان زیادی مواجه هستند و داده ها به سرعت ارزش خود را از دست میدهند و مقادیر جدیدی به خود می گیرند. اگرچه نگهداری اطلاعات در زمان طولانی به منظور تحلیل تغییرات و نوسان داده ها حائز اهمیت است. افزایش دوره نگهداری اطلاعات، مسلما هزینه های پیاده سازی زیادی را دربر خواهد داشت که باید در نظر گرفته شود.

uنمایش (Visualization): یکی از کارهای مشکل در حوزه کلان داده، نمایش اطلاعات است. اینکه بخواهیم کاری کنیم که حجم عظیم اطلاعات با ارتباطات پیچیده، به خوبی قابل فهم و قابل مطالعه باشد از طریق روش های تحلیلی و بصری سازی مناسب اطلاعات امکان پذیری است.

uارزش (Value): آیا هزینه ای که برای نگهداری داده و پردازش آنها میشود، ارزش آن را از نظر تصمیم گیری دارد یا نه و ارزش و فایده موردنظر را برای یک سازمان خواهند داشت؟

در کلان‌داده چه نوع داده‌هایی مطرح هستند؟

uداده‌های وب: داده‌های رفتار سطح وب مشتریان مانند بازدید صفحات، جست‌و‌جوها، خواندن نقد و بررسی‌ها، خریدها و دیگر موارد قابل ثبت هستند. این موارد می‌توانند کارایی را در زمینه‌هایی مانند «بهترین پیشنهاد بعدی» (next best offer)، «مدل‌سازی رویگردانی مشتریان» (churn modelling)، «بخش‌بندی مشتریان» (customer segmentation) و «تبلیغات هدفمند» (targeted advertisement) بهبود ببخشند.

uداده‌های متنی: این نوع داده‌ها (ایمیل‌ها، اخبار، خوراک‌های فیس‌بوک، اسناد و دیگر موارد) از بزرگ‌ترین و پرکاربردترین انواع کلان‌داده‌ها هستند. در داده‌های متنی، تمرکز معمولا روی استخراج حقایق کلیدی از متن و سپس استفاده از آن‌ها به عنوان حقایق ورودی برای دیگر فرآیندهای تحلیلی است (برای مثال، دسته‌بندی خودکار ادعاهای بیمه به عنوان کلاه‌برداری یا صحیح).