بیگ دیتا Big Data
بیگ دیتا Big Data در دنیایی که در آن همه دادههای با سرعت بالا در حال تغییر و زیاد شدن هستند، کسب و کارها برای رسیدن به موفقیت، باید به سرعت سازگار باشند. کسب و کارهای هوشمند پیش از این در حال رقابت برای رسیدن به حد اعلای کنترل این مقوله بودهاند.
آیا تجزیه و تحلیل پیشرفته، کلید رسیدن به سوددهی، از انفجار بیگ دیتا است؟
تحقیقات، شکاف در حال گسترشی را نشان میدهد. سازمانهایی که دوبرابر یا بیشتر از همتایان صنعت خود، از تجزیه و تحلیل استفاده میکنند…
کسب و کار شما، برای بودن در میان آنها، به چه چیزی نیاز دارد؟
توانایی ما برای تولید اطلاعات همیشه از توانایی ما برای سازماندهی آن فراتر رفته است. کاغذ در حدود قرن اول میلادی ظهور کرد اما 1800 سال طول کشید تا جایگزین آن پیدا شود. کسب و کارهای امروز نمیتوانند آن اندازه صبر کنند! تا سال 2011، تخمین زده شد که 90 درصد دادههای در گردش جهان در دو سال گذشته تولید شده است.
چگونه تجزیه و تحلیل پیشرفته میتواند بینشها و الگوهایی را که در مقادیر تقریباً غیرقابل پیشبینی دادههای در حال تولید هستند،بیرون بکشد؟
توانایی تجزیه و تحلیل بیگ دیتا، دنیای علم را تغییر داده است. ماهیت علمی انسانها و اجزای ذره بوزون هیگز را از هم باز کرده و دوباره سر هم میکند.
بیگ دیتا چه کار میکند؟
با استفاده از تجزیه و تحلیل پیشرفته، کسب و کارها میتوانند با جریانهای بیگدیتای خود با بینشی عمیقتر، افزایش بهرهوری از عملیات و ارائه تحول در کسب و کار، دست پیدا کنند. همچنین به سازمانها این امکان را میدهد تا خدمات جدیدی برای مشتریان و روشهای جدید برای پیشرفت در کسب و کار پیدا کنند.
این امر برای همه نوع کسب و کار، به ویژه کسانی که در محیطی غنی از اطلاعات کار میکنند، کاربردی است. به عنوان مثال، ارائه دهندگان مخابرات تلفن همراه قادر به ذخیره سازی دادهها از تلفنهای هوشمند برای ارائه خدمات به مشتریان هستند. آنها میتوانند با تجزیه و تحلیل بیگ دیتا از قبیل ورودی مرورگرها، تاریخچه دانلود و اطلاعات موقعیت مکانی GPS، محصولات بهتری ارائه کنند و خدمات را با نیازهای مشتری سازگار سازند.
به عنوان مثال، اپراتورهای شبکه میدانند که تماسهای قطع شده و پوشش آنتن ضعیف، دورکننده مشتری هستند. آنها همچنین میدانند که مشتریان ارزشمند خود چه کسانی هستند. چه میشد اگر آنها میتوانستند تماس تلفنی قطع شده و مشتری را شناسایی کنند، سپس به مشتری یک عذرخواهی رسمی و خسارتی در باب تخفیف ارائه کنند، این کار پنج سال پیش تقریباً غیرممکن بود.
امروزه، بیگ دیتا زمینههای اولیه مورد نیاز برای کسب و کار را با ایجاد درک عمیقتر مشتریان و بینش نسبت به برند و تجزیه و تحلیل معتبر، فراهم میکند. کسب و کارها اکنون میتوانند به راحتی احساسات و رفتار مشتری را ارزیابی کنند و محصولات و خدمات را برای نفوذ عمیقتر به بازار تطبیق دهند.
درگذشته، تنها راه برای انجام این کار، تحقیقات بازار گران قیمت و استفاده از اطلاعات اولیه ارائه شده توسط مشتریان بود. در مورد ارائهدهندگان خدمات بانکی و مالی، شامل اطلاعاتی مانند زمانیکه یک حساب کاربری باز شود، تعداد و ماهیت معاملات میشد.
داده های سازمانی- سنتی هنوز ارزش بسیاری دارند. تجزیه و تحلیل بیگ دیتا آنها را به سطح بعدی میبرد. بیگدیتا به کل مسئله یک اطلاعات نیمه ساختار یافته و همچنین غیر ساختار یافته که قبلاً بیش از حد بزرگ و خیلی سخت برای رسیدگی بود، اضافه میکند. در حال حاضر، تقریباً هر تراکنشی میتواند مورد توجه قرار بگیرد. به عنوان مثال، هنگام تماس مشتری با مرکز تماس، محتوای گفتگو را میتوان تجزیه و تحلیل کرد؛ اگر مشتری از وب سایت بانک اطلاعاتی برای مبادله استفاده کند، این تراکنش نیز میتواند مورد توجه قرار گیرد. همچنین میتوان آنچه را مشتریان در وبلاگها و سایت رسانههای اجتماعی میگویند، اسکن کرد. این میتواند برای سازمانها دیدی 360 درجه از مشتری را برای اولین بار امکانپذیر کند.
بخش بیمه نیز از انقلاب بیگ دیتا سود میبرد. به طور سنتی، بیمهگران در معماری انبار دادههای معمول سرمایهگذاری کردهاند تا به قیمت محصولات و ارائه اطلاعات مدیریتی کمک کنند. این سیستمها ارزش کسب و کار را به ارمغان میآورند، اما تصویر کلی برای تحول واقعی را فراهم نمیکنند. برای بیمهگران یکی از مزایای استفاده از بیگ دیتا میتواند توانایی مقابله مؤثر با تقلب باشد، مثل همگامسازی ادعاهایی با فعالیتهای رسانههای اجتماعی و دادههای موقعیت مکانیGPS، این امکان میتواند دید دقیقتری نسبت به گذشته از آنچه که در حوادث فردی رخ داده، ارائه کند.
بیگ دیتا همچنین میتواند نیازهای صنعت سینما را برآورده سازد و امکان سنجش احتمال موفقیت فروش فیلمهای آینده با تحلیل رسانههای اجتماعی را فراهم کند که توسط سینما دوستان بالقوه ساخته شدهاند. دادههای مربوط به فیلمهای خاص میتواند از دهها هزار فید توییتر فیلتر شود و نشانگر واضحی از فیلمهایی که در موردشان صحبت میشود و نمیشود، باشند. این امر میتوانند اندازهگیری دقیقی از احساسات مخاطبین ارائه دهد.
بینش و الگوهای به دست آمده میتوانند مورد استفاده قرار گیرند تا منابع تبلیغاتی براساس نیازها دوباره تنظیم شود و با تنظیمات دقیق در آخرین لحظات پیش از انتشار، به فروش هرچه بیشتر فیلم کمک میکنند. با بیرون کشیدن بیگ دیتا از جریان رسانههای اجتماعی، بازاریابان میتوانند از آنچه که در واقع، بزرگترین گروه متمرکز بر روی زمین است، بهره برداری کنند.
انجام تجزیه و تحلیل پیشرفته میتواند به مهندسان و سایر ذینفعان کمک کند تا به بینشهایی مورد نیاز، شناسایی الگوهای کلیدی و تبدیل دادهها به بینشهای عملی برای تصمیمگیری بهتر، دست پیدا کنند.
با توجه به این که شرکتهای نفت و گاز به طور فزآیندهای از ذخایر در محیطهای بسیار پیچیده زمینشناسی بهره برداری میکنند، توانایی تشخیص دادههای رو به رشد دادهها به نقطهی عطفی تبدیل میشود.
برخی از پیشرفتهای بالقوه هیجان انگیز، میتوانند بر مبنای مشارکتهای مشترک بین صاحبان مختلف اطلاعات مانند ارائه دهندگان مخابرات و خردهفروشان قرار گیرند. کسب و کارهایی اینچنین قبلاً یک دانش الکترونیکی دقیق از عادت مشتریان خود داشتهاند.
با ترکیب دادههای ساختاری سنتی با جریانهای اطلاعاتی غیرساختاری بیشتر – به عنوان مثال: سخن مشتری در فیس بوک، توییتر، لینکدین و وبلاگها- میتوان تصویری واضحتر از سلیقه مشتریان را کسب کرد. با ترکیب بیشتر آنها با دادههای موقعیت مکانی واقعی، مفهوم ایدهآل پیشنهاد مناسب در زمان مناسب به فرد مناسب، واقعی میشود.
از آنجایی که تجزیه و تحلیل بیگ دیتا همهگیر شده است، این نوع هدفگیری محتوایی در حال حاضر امکانپذیر است و باید سادهتر و قدرتمندتر شود. اما کسب و کارهایی که این مسیر را طی میکنند باید تصمیمات دقیقی در مورد تأثیرات اساسی این کار برروی وجههی بیرونی خود داشته باشند زیرا فاصله بسیار کمی بین موفقیت و عدمموفقیت در این کار وجود دارد.
درک بیگ دیتا
اصطلاح ”بیگ دیتا” در ابتدا در سال 2008 در عرصه عمومی ظاهر شد. کلمه “بزرگ” نشان دهنده این واقعیت است که حجم اطلاعات ذخیره شده و جریان داده شده برای تجزیه و تحلیلهای معمول و سیستمهای اطلاعات کسب و کار بیش از حد بزرگ است.
بیگ دیتا به طور کلی دارای سه ویژگی است: حجم، تنوع و سرعت.
پشت هر یک از این سه واژه، تکنولوژی است که امکان تجزیه و تحلیل آنها را فراهم میکند.
حجم به مقیاس دادهای که تولید میشود، اشاره دارد. در حال حاضر تخمین زده میشود که در هر روز5/2 کوانتیلیون بایت داده، در حال انتقال میباشد. با این حال، لازم به ذکر است که کسب و کارهای فردی به طور گستردهای مدیریت دادههای با حجم بالا را ادامه میدهند، با مدلهای پیچیده ترابایتی که قادر به ذخیره میلیاردها اطلاعات هستند. اینها از قبل در انبار دادههای معمول و مغز کسب و کار وجود داشته، همراه با نرم افزاری که میتواند دادههای نیمهساختار یافته و تجزیه و تحلیلهای متنی را اداره کند. امروزه تفاوت در این است که انبار دادهها در حال تکامل است و قدرت بیشتری برای مقابله با حجم که کارشان فقط رشد است، دارند.
تنوع انعکاسی از افزایش در منابع داده ناهمگن است، بیشتر آنها داده نیمه ساختار یافته یا غیر ساختاری- دادههای نامفهوم دیجیتال- که همیشه ثابت کردهاند به آسانی تجزیه و تحلیل نمیشوند. اینها شامل اطلاعات سنسورهای تعبیه شده در کارخانه و وسایل نقلیه، جریان رسانههای اجتماعی، صوتی، تصویری و متن است. برای درک این حجم و تنوع دادهها، علم تجزیه و تحلیل باید درگیر تعداد زیادی از ماشینهای اطلاعاتی شود تا اینکه به یک پایگاه داده متمرکز باشد. از دیدگاهIBM Apache ™ Hadoop® که در این حوزه متخصص هستند، با چارچوب نرم افزاری منبع باز که اجازه میدهند مجموعههای دادههای بزرگ در میان خوشههای سرور پردازش شوند.
سرعت یک لایه پیچیدهتر را اضافه میکند. به طور سنتی، دادهها قبل از اینکه توسط کسبوکارها مورد استفاده قرار گیرند، به صورت دستهای پردازش شده و آراسته شدهاند. در مقابل، بیگدیتا هدفی در حال حرکت است با جریانی انبوه از یک آرایه وسیع منابع. از آنجا که فضای کافی برای ذخیره سازی وجود ندارد، باید بینش در زمان واقعی بدست آید. یکی از چیزهایی که بیگ دیتا را برای کسب و کارها مفید میکند ارزشی است که به صورت دسته اول میتوان از آن استخراج کرد.
محاسبات جریان داده به کسب و کارها اجازه میدهد تا به تجزیه و تحلیل و عمل در سرعت بالا، اطلاعات با حجم بالا، بپردازند – مانند رسانه های اجتماعی و فید های GPS – آن هم در حالی که در حرکت هستند. این نشان دهنده یک تغییر اساسی نسبت به تجزیه و تحلیل سنتی است که بستگی به دادههای تجمعی و ساختاری دارد. محاسبات جریان داده برای تجزیه و تحلیل و شناسایی حقایق گریزان در نظر گرفته شده است. این یکی از کاربردهای اساسی محیط بیگ دیتا است، زیرا در بسیاری از موارد حجم دادههای خام آنقدر زیاد است که فضای کافی برای ذخیره سازی وجود ندارد.
ترکیب سه عنصر حجم، تنوع و سرعت یک فرصت منحصر به فرد برای کسب و کار ایجاد میکند تا بتوان به پتانسیل واقعی بیگ دیتا دسترسی پیدا کرد و به سازمانها اجازه میدهد تا به دو روش زیر به ساخت ارزش بپردازند:
- به درک بینش عملی از طریق تجزیه و تحلیل کسب و کار، اما در مقیاس وسیع و عمیقتر ادامه دهند. بسیاری از سازمانها در مواجهه با مصرفکنندگان، به منظور کسب اطلاعات در مورد مشتریان خود، از تجزیه و تحلیل استفاده میکنند. روشهای تجزیه و تحلیل بیگ دیتا میتواند عمق و وسعت این قابلیت را افزایش دهد.
- فرصتهای جدیدی که قبلاً غیر قابل تصور یا به دلیل محدودیتهای تکنولوژی غیر عملی بودند، ایجاد کنند. نه تنها سازمانها باید بتوانند اطلاعات را که قبلاً از دسترس خارج شدهاند، تجزیه و تحلیل کنند، بلکه میتوانند بر روی بینش کشف شده در زمان واقعی نزدیک کار کنند.
فناوری بیگ دیتا
بیگ دیتا باید به عنوان یک پلتفرم به درستی مورد استفاده قرار گیرد. با این وجود، آن یک راه حل واحد نیست، بلکه مجموعهای از فنآوریها، مفاهیم و شیوهها است. بیگ دیتا به این معنی نیست که از برنامههای کاربردی- تجاری کسب و کار سنتی دور شد یا سرمایهگذاریهای اخیر در برنامههای تجزیه و تحلیل پیش بینی شده را کنار گذاشت و قطعاً پیشنهاد تعطیل کردن انبار دادههای سازمانی را نمیدهد. برعکس: همه اینها میتوانند به پلتفرم بیگ دیتا متصل شوند. تعدادی از فنآوریها تغییر شکل این دادهها به بیگ دیتا را انجام میدهند. تلاش برای مدیریت دادههای بزرگ بدون راهحلهایی مانند Hadoop® یک استراتژی بالقوه خطرناک و گران قیمت است، به ویژه اگر این اطلاعات به طور مستقیم در یک انبار دادههای معمولی قرار دارد. این نوع چهارچوب به سازمانها این امکان را میدهد تا اطلاعات را در خوشههای جداگانه تجزیه و تحلیل کنند. با این کار میتوان هزینه و پیچیدگی مرتبط با استخراج دادهها، تبدیل و بارگذاری (ETL) معمول را کاهش داد و میتوان راه جدیدی برای ایجاد کشف و شناسایی بینش فراهم کرد. با توجه به ارزش بالقوه منابع دادههایی که قبلاً استفاده نشده، این امر میتواند به طور چشمگیری زمان را برای رسیدن بینش کاهش دهد.
Hadoop® یک چارچوب است، نه یک راهحل. به این معنی که ابزار برای پیشبرد فرآیندها و ایجاد بینش لازم است. دانشمندان علم داده- کارشناسانی به منظور حل مشکلات پیچیده دادهها- به طور فزآیندهای به نوشتن فرآیندهای تجزیه و تحلیل دادهها متکی هستند، این بدین معنی است که به دست آوردن نتیجه از تجزیه و تحلیل بیگ دیتا میتواند وقتگیر باشد. دانشمندان علم داده روی همه چیز از مهندسی دادهها گرفته تا ریاضیات، آمار و محاسبات کار میکنند، اما تخصص آنها ممکن است محدود به یک یا دو مورد از این زمینهها باشد- بعید است هر دانشمند داده بتواند تمام زمینهها را پوشش دهد. در نتیجه، علم داده تمایل به درگیر کردن تیمها دارد.
چارچوبی مانند Hadoop® و راه حل های آنالیزی مانند BigInsights ™ میتواند از دادهها برای تحقق بینش استفاده کند.
اما اطلاعات در حال حرکت چطور؟ یکی از جالب ترین و تحسین برانگیزترین ویژگیهای بیگ دیتا، توانایی انجام تحلیل داده در زمان واقعی است. IBM InfoSphere® Streams نیاز به تجزیه و تحلیل جریان در زمان واقعی را برطرف میکند، و یک پلتفرم محاسباتی با کارایی بالا را فراهم میکند که برنامههای کاربردی توسعه یافته را قادر میسازد با سرعت بالا اطلاعات درون زمان واقعی را از هزاران منبع مختلف پیوند دهد و تحلیل کند. راهحلهای اینگونه، توانایی کنترل و اندازهگیری سرعت دادهها را دارد.
توانایی دستیابی به مقادیر عظیم دادههای زمان واقعی به هم ریخته و بدون ساختار، یک برگ برنده است. حدود 80 درصد از دادههای جهان شامل این دسته میشوند. هر جریان دیجیتال داده یک نامزد احتمالی است. این شامل همه چیز از متن آزاد گرفته تا تصاویر، فایلهای صوتی، فایلهای صوتی تولید شده توسط مراکز تماس، VoIP، ویدئو، ترافیک وب، ایمیل، داده های GPS، دادههای معامله مالی، دادههای ماهوارهای و اطلاعات سنسورها است. همه این جریانهای دیجیتالی را میتوان به بینش تبدیل کرد- و معمولاً سریع- به اکوسیستم کسب و کار تحویل داد.
شما چگونه بیگ دیتا را به کار میگیرید؟
شرکتهایی که قبلاً با موفقیت تجزیه و تحلیل کسب و کار را شروع کردهاند جلو افتادهاند. برای موفقیت در پیشبرد بیگ دیتا، و تجزیه و تحلیل، سازمانها باید سه مهارت اصلی را توسعه دهند.
- 1. اراده برای تحقق تعهدی که مدیریت برای انتقال بینش و خروجی به عمل نیاز دارد و اطمینان از اینکه این بینش به آسانی قابل دسترسی است. هم شرکتکنندگان که تحلیل را انجام میدهند و هم رهبران سازمان در کنار آنها نقشی حیاتی در دستیابی به این مهارت دارند. تجزیه و تحلیل بیگ دیتا باید در فرآیندهای کسب و کار جاسازی شود. کسب و کار ممکن است سریع دست به اتخاذ تحلیل بزند، اما اگر بینش بدست آمده به سادگی به سمت گزارشات و موضوعات نامربوط منحرف شده باشد، این تلاش سخت کوشانه به هدر رفته است. برای سازمانها این فرصتی است تا به تغییر نحوه انجام کارها و گسترش فرصتهای جدید بپردازند که باعث ایجاد فعالیتهای جدید کسب و کار در مسیری با ارزش میشود. بینشهای به دست آمده باید با استراتژی کسب و کار همگام شوند تا کاربران نهایی بتوانند آنها را درک کند.
بیگ دیتا نیازمند یک رویکرد جدید، تجزیه و تحلیلی اکتشافی و تکرار آن برای مقابله با دادههای نیمهساختاریافته و بدون ساختار است. این رویکرد به سطح جدیدی از گفت و گو بین ذینفعان فناوری اطلاعات و کسب و کار، نیاز دارد. بخشهای فناوری اطلاعات باید تکنولوژیها را درک کنند؛ ذینفعان کسب و کار باید سوالات و پروندههای اجرایی خود را مطرح کنند. ساختن یک پلتفرم بیگ دیتا به تنهایی کافی نیست.
- درک ابزار و روش ها
توانایی درک و به کار بردن مهارتهای تجزیه و تحلیل، ابزار و روشهای داده از اهمیتی حیاتی برخوردار است. کسب و کار باید اطلاعات خود را بشناسند- و شناسایی کردن- یک دارایی منحصر به فرد استراتژیک است. ساخت یک پلتفرم بیگدیتا تنها اولین قدم است. پلتفرمی با سطح بالا مانند Hadoop® تنها با دسترسی به ابزار مناسب میتواند مورد استفاده قرار بگیرد: سازمانهایی که میخواهند به سرعت از رقبایشان پیشی بگیرند، یا روی ابزارهای سطح بالا سرمایهگذاری میکنند یا خود برنامهریزی میکنند،(در بعضی موارد از ابتدای کار.)
- 3. رویکردی با صداقت و مرتبط
رویکردهای مدیریت اطلاعات باید با توجه به فرصتهای بیگدیتا مورد توجه، پیشرفت کنند. سازمانها باید تفاوتهای اساسی بین دادههای ”غربال شده” سنتی و “خام” بیگ دیتا را که رسیدگی به آنها بسیار سختتر است، شناسایی کنند.
امروزه اغلب دادههای مورد استفاده در کسب و کار بسیار ساختار یافتهاند. دادهها تحت فرآیندهایETL قرار میگیرند یعنی در ابتدا استخراج میشوند و سپس به منظور تأمین نیازهای عملیاتی شکل میگیرند و در نهایت به یک هدف نهایی مانند انبار داده یا پایگاه داده میرسند.
رویکردهای این چنینی برای دادههایی با ارزش بالا مورد نیاز است. با این حال، تأخیر زمانی بین دستیابی و دادههایی که به چیزی مفید برای کسب و کار تبدیل میشود مثلاً – یک داشبورد- گاهی اوقات طولانی میشود.
مهم است که به یاد داشته باشیم که یک ((V)) در معادله وجود دارد. ‘صحت’ ایدهای مطرح میکند که همه دادههای بیگ دیتا با کیفیت بالا نیستند.
سازمانها باید در نظر داشته باشند که همهی دادههای بیگدیتای آنها همیشه کاربردی نیستند. در حقیقت، بخش بزرگی از مجموعه دادههای بزرگ داده ممکن است کم یا بدون ارتباط باشد، بنابراین باید آنها را دور ریخته و یا قبل از پردازش، به سازههای اطلاعاتی با نظم بالاتر انتقال پیدا کنند.
این مجموعه دادههای بیگدیتا که ما با آنها روبرو میشویم، ما را قادر به حفظ مفهوم یکپارچگی بالا، اطلاعات بالا و معماری با کیفیت اطلاعات و همچنین یک نسخه اصلی از هدف کسب و کار، میسازد.
قدم بعدی چیست؟
- تصمیم بگیرید که چه نوع تواناییهایی برای کسب و کار خود در نظر گرفتهاید. سپس از کمک شرکای شخص ثالث برای کاهش زمان دستیابی به بینش و اثبات خود از آن مفهوم استفاده کنید.
- بدانید که این پروژه بیگ دیتا شما احتمالاً از اولین نوع آن است.
بیگ دیتا سرزمین بکر و دست نخوردهای است، بنابراین در مورد منابع دادهها خلاقانه فکر کنید هم داخلی و هم خارجی. منابع جدید داده فرصتهای جدید ایجاد میکنند.
کنترل اطلاعات نکتهای کلیدی است. سازمانها در حال وارد شدن به قلمرو جدیدی هستند، به خصوص با توجه به نحوه استفاده از اطلاعات مشتریان و نحوه ارائه محصولات و خدمات آنها. این موضوع سوالات مهمی در مورد امنیت دادهها، حریم خصوصی و- به همان اندازه مهم- ادراکات مشتریان درباره نحوه مدیریت اطلاعات شخصی آنها را افزایش میدهد.
شرکتها باید محدودیتهای حقوقی در مورد نحوه استفاده از دادهها را درک کنند و باید برای بازکردن یک گفتگو با مشتریان با هدف بررسی منافع متقابل استفاده از بیگ دیتا آماده شوند.
در حال حاضر مهارتهای مورد نیاز برای زندهکردن بیگ دیتا در سازمان شما است.بیگ دیتا فرصتی برای کسب و کارها است تا به خانه تکانی مسئولان تجزیه و تحلیل خود بپردازند. آنها برای موفقیت بیگ دیتا در شرکت شما حیاتی هستند. تحلیلگران کسب و کار امروز دانشمندان علم داده فردا هستند: به آنها اجازه دهید که رانندگان و طرفداران انقلاب اطلاعات باشند.
نظرات کاربران