Виникнення трендового нині напряму почалося…із необхідності вирішити проблему. У 2003 році набули популярності так звані сайти-визітівки і їхня кількість почала зростати з астрономічною швидкістю. Через це пошукова система Google зіштовхнулась із навантаженням, з яким не могла впоратись. Саме це стало поштовхом для створення технології розподілених обчислень.
Сьогодні Big Data рішення застосовують, коли стандартного підходу для роботи з даними вже не достатньо і потрібно скоротити час на отримання результатів. Частіше за все ці рішення використовуються для вивчення поведінки споживачів товарів та послуг, аналізу їхніх потреб та мотивації, оптимізації цін, створення персоніфікованих пропозицій тощо. Завдяки Big Data Starbucks надсилає клієнтам купони, адаптовані під особисті смаки кожного, McDonalds створює ресторани з урахуванням особливостей локальних ринків, а Heineken генерує персоніфіковані рекламні повідомлення.
Але не маркетингом єдиним. Впорядковані та оброблені належним чином дані дають можливість прорахувати потенційні ризики для вантажів, як це робить Amazon, прокладати нові маршрути для авіасполучень, визначати ефективність лікування та, навіть, прогнозувати урагани та стихійні лиха за кілька днів до потенційної загрози.
Отже, із користю Big Data для сучасного світу ми визначились. Як щодо опанування професії Big data engineer, якою цікавиться чимало тих, хто мріє про кар’єру в IT?
Входження в світ великих даних супроводжує значна кількість міфів. Розвінчати або підтвердити їх нам допомагає Мар’ян Федів, Senior Big Data engineer зі Львівського офісу ЕРАМ. Мар’ян працює з Big Data з 2016 року і бере активну участь у підготовці спеціалістів за цим напрямом.
Отже, міф №1. Робити перші кроки у Big Data надзвичайно важко і до новачків висувають «космічні» вимоги
Так, це правда. Хоча б тому, що «вхід» у спеціалізацію неможливий без знання трьох мов програмування - Java, Scala та Python. ОК, щоб не дуже залякувати з самого початку, зробимо уточнення – одну з мов треба знати досконало, а двома іншими володіти на рівні розуміння синтаксису та вміння прочитати код.
Чому це важливо? Уявіть собі Big Data проект у вигляді сукупності взаємозалежних блоків, кожен з яких використовує власну технологію. Якась з них може бути написана на Python, а інша на Java, і для того, щоб дописати якусь потрібну функцію, треба володіти саме цією мовою.
До переліку вимог одразу додавайте знання SQL та щонайменше одного з трьох найпотужніших Cloud провайдерів – AWS, Google Cloud або Azure.
На володінні англійською на рівні не нижче В1+ я навіть не наголошую, адже це базова вимога для кожного IT-спеціаліста, незалежно від напряму.
Я починав з Java, а згодом перекваліфікувався на Big Data інженера. З власного досвіду можу сказати, після подолання певного етапу стає легше, адже багато технологій та інструментів – подібні. Але недарма керівник практики Big Data Львівського офісу ЕРАМ вітає нових людей в команді словами: «Welcome to premier league».
Міф №2. Big Data інженеру потрібні досконалі знання з математики
Насправді це твердження виникло через плутанину ролей Big Data інженера та Data scientist. Останні оперують значно меншим обсягом даних, та їм дійсно потрібне досконале знання математики для побудови математичних моделей на основі даних, зібраних та впорядкованих Big Data інженерами. Ці спеціалізації зовсім різні, як за задачами, так і за стеком технологій, тому в реальному житті ці ролі практично ніколи не суміщає одна людина.
Big Data – це не стільки про обсяг даних, скільки про цінність, яку вони – належним чином зібрані, систематизовані, оброблені та проаналізовані - надають бізнесу та суспільству. Варто зауважити, що поступово у світі відходять від використання терміну Big Data, оскільки один і той самий обсяг даних може бути великим для однієї компанії, але незначним для іншої. Тому популярності набувають терміни Data проект, Data engineer тощо.
Міф №3. Big Data інженери видають готові рішення для власників бізнесу на основі аналізу даних
Насправді 70% роботи Big Data інженера – це збір даних клієнта та об’єднання розрізнених частин інформації в єдину систему. Уявіть собі, наприклад, злиття двох роздрібних мереж, в кожної з яких є власна система фізичних та інтернет-магазинів. Задача Big Data інженера – інтегрувати всі наявні системи, зібрати усі дані та привести їх до спільного «знаменника». Ідентифікувати усі облікові записи, «підтягнути» історію покупок, щоб у подальшому на основі цих даних можна було б вибудувати рекламну кампанію товарів, які найвірогідніше зацікавлять саме цього клієнта.
Отже, якщо ви хочете більше дізнатися про напрям Big Data, перегляньте коротке, але змістовне ВІДЕО, яке стане вашим першим гідом, а тим, хто вже визначився із професією, рекомендую прочитати книгу “Hadoop. The definitive guide”.
