«Мене захопив процес перетворення величезного масиву нечитабельних даних в джерело корисної інформації і інсайтів для бізнесу, тому я обрала Business Intelligence», - розповідає Ірина Шкіндер, Software Engineer, напрям DWBI (Data Warehouse & Business Intelligence) ЕРАМ.
Роботу на проекті Ірина, випускниця BI лабораторії 2017 року, поєднує з викладанням, менторством та виступами на тематичних конференціях, а також активною участю в адаптації навчальних програм для початківців у сфері Business Intelligence. «Я сама вчилася в лабораторії та, після початку роботи на проєкті, зрозуміла, які знання допомогли б мені більш ефективно, комфортно і впевнено виконувати робочі завдання, - коментує Ірина. - Нинішня програма - набагато ширша і постійно вдосконалюється, щоб відповідати сучасним реаліям. Також, крім теоретичного і практичного матеріалу, під час навчання викладачі діляться кейсами з власного досвіду». В рамках Junior's Online Conference, що нещодавно відбулася, Ірина розповіла про спеціальність DWBI (Data Warehouse & Business Intelligence) і її роль в сучасному цифровому світі.
Що ж таке Business Intelligence?
Існує величезна кількість визначень цієї спеціалізації, але їх усі можна звести до спільного «знаменника»: Business Intelligence - це сукупність процесів, інструментів і технологій, які допомагають бізнесу приймати важливі рішення на основі аналізу даних. Деякі джерела ототожнюють поняття бізнес-аналітика і Business Intelligence, але це дещо спрощений підхід.
Кількість інформації в сучасному світі стрімко зростає, і переважна більшість даних зберігається в електронному форматі. Однак, в «сирому» вигляді така інформація не має практичної користі. Оброблені ж дані, навпаки, є цінним джерелом інформації. Їх можна використовувати для підвищення прибутковості підприємства, ідентифікації ризиків на ранніх етапах і управління ними, оптимізації операційної діяльності та виявлення слабких місць в організаційній структурі компанії. Структуровані дані допомагають моніторити продуктивність систем і процесів за допомогою метрик KPI, покращувати комунікацію з клієнтом і прогнозувати попит.
Що включає в себе робота DWBI інженера?
Роботу фахівця в області Business Intelligence можна умовно розділити на кілька етапів.
Все починається з роботи з джерелом даних. Вони можуть бути як структурованими, так і розрізненими, що зберігаються в різних системах і різних форматах. Безумовно, зручніше за все працювати зі структурованою інформацією, яка найчастіше приходить з реляційних баз даних.
Наступна стадія - підготовка даних або BackEnd-процес. Мета цього етапу - витяг даних із джерел та переміщення їх до сховища для подальшого використання. Залежно від вибраної архітектури, застосовується ETL (extract -> transform -> load) або ELT (extract -> load -> transform) підхід. (А щоб дізнатися в чому різниця і чому вона має значення - приходьте до нас на курс). Це означає, що дані проходять очистку, стандартизуються, трансформуються, валідуються та зберігаються в підготованому вигляді.
Фінальна фаза - Front End. На цьому рівні відбувається робота з попередньо підготованими даними, що зберігаються в Data Warehouse (або Data Lake). За допомогою різноманітних BI інструментів (в контексті Front End - це утиліти для візуалізації даних) створюються звіти, дашборди, scoreсards, а також інтерактивні графіки, карти і діаграми. Також, на цьому етапі може відбуватися спілкування з замовником для уточнення, яка саме інформація йому необхідна, формування інфографіки або будь-яких інших досліджень за запитом стейкхолдерів.
Невже усім цим займається один спеціаліст?
Усе залежить від конкретного проєкту, його цілей і бюджету. Як правило, в реальних проєктах виділяють 3-4 основні ролі, і найчастіше їх виконують різні люди. Поєднання суміжних ролей можливо, але практично ніколи один інженер не займається цілим процесом від початку до кінця.
Для ефективної роботи з даними і подальшої масштабованості системи їх необхідно ретельно і правильно підготувати. Цим займається DWBI (або ETL) девелопер. Цей фахівець розробляє модель даних, налаштовує і розробляє процес отримання, трансформації й завантаження даних в сховище, а також їхнього очищення для подальшого використання в аналітиці. Ця людина пише код, інтегрує всі інструменти і процеси. Для DWBI девелопера критично важливо добре знати SQL, оскільки це основа всього інструментарію. Загальні принципи роботи з базами даних необхідно знати досконало, від цього залежить якість коду та фінальних даних. Плюс розуміння принципів і навички побудови ETL-процесів і сховищ даних та знання в області Big Data (MapReduce, Hadoop, Spark, etc). Для подальшого розвитку в професії також знадобляться навички роботи в хмарі (AWS, Google Cloud, Microsoft Azure, тощо), та володіння однією з високорівневих мов програмування - найчастіше використовуються Python, Java або Scala.
Оцінкою правильності налаштування ETL процесів, тестуванням прототипів, написанням тестів і документації, перевіркою продукту на відповідність вимогам замовника займається Data quality engineer. Для них також критично важливим є знання SQL, принципів роботи з базами даних, розуміння принципів побудови ETL-процесів і сховищ даних. Власне, Quality Engineer повинен володіти тією ж теоретичною базою, що і DWBI Developer, але з ухилом в тестування. Плюс знадобляться навички навантажувального тестування (performance testing), оскільки Business Intelligence передбачає роботу з великим об'ємом даних.
Візуалізація даних і формування звітів входить в обов'язки Business Intelligence Reporting Developer. В першу чергу, цей спеціаліст займається розробкою нових і підтримкою існуючих звітів і дашбордів. Також в його обов'язки може входити конфігурація і налаштування наявних BI інструментів та задачі щодо поліпшення продуктивності розроблених звітів. Такий фахівець часто працює безпосередньо зі стейкхолдерами, тому крім володіння специфічними інструментами для побудови dashboards (а їх кількість вже перевищує десятки і стрімко зростає), знань SQL і досвіду роботи з базами даних, йому потрібні хороші комунікаційні навички і впевнене володіння іноземною мовою при роботі з міжнародними клієнтами.
Подібну роль виконує Аналітик даних (Data analyst), який аналізує інформацію для виявлення певних залежностей і тенденцій. Фахівець у цій галузі повинен добре розбиратися в домені проєкту - медицині, туризмі, банківській справі тощо - для правильної побудови логічних висновків. Також стане в нагоді досвід моделювання даних (UML, логічні моделі) і, звичайно ж, SQL і досвід роботи з базами даних.
Як розпочати кар’єру в Business Intelligence?
Набір базових навичок для новачків не складний. Основа основ - це SQL, розуміння ключових понять реляційних Баз Даних і англійська мова. Також буде корисним розуміння алгоритмів і базових принципів ООП.
Плюсом є досвід використання реляційних БД (MySQL, MS SQL, Oracle, PostgreSQL, etc), розуміння концепцій Data Warehouse і Data Lake), навички використання інструментів для візуалізації даних і / або BI платформ (Tableau, Power BI , QlikView, etc). Однак, слід зауважити, що онлайн програма Data Warehouse and Business Intelligence від EPAM University розроблена для тих, хто тільки робить перші кроки в професії і містить заняття з усіх необхідних тем.
Тим, хто вирішить продовжити розвиток в професії потрібно бути готовими регулярно і досить швидко вивчати нові технології та інструменти, в тому числі: опанувати одну з мов програмування, хмарні технології, Business Intelligence платформи, інструменти з BigData-стека (Hadoop, Hive, Spark) , інструменти ETL (Informatica, Talend, Pentaho), Bash scripting.
Корисні посилання для початківців:
● Data Engineers: матеріали для самопідготовки
● Корисні посилання для самопідготовки по всіх напрямах
● Книги про Relational DB Concepts (наприклад, Tom Kyte about Oracle, Icik Ben-Gan about MS SQL)
● Top 50 SQL Interview Questions & Answers
