Bi технологии включают в себя. Разница между Business Intelligence и Data Science

BI-системы – это аналитические системы, предназначенные для бизнес-анализа, которые способны объединить данные из совершенно разных источников информации. Данные программные системы обрабатывают информацию и предоставляют отчёт в удобном интерфейсе для детального изучения и последующей оценки полученных в процессе сведений.

Полученные отчётные данные и их оптимальное использование помогают в достижении поставленных бизнес-целей. Анализ данных в комплексе – это получение знаний, своего рода выжимка из массы источников, включая направление бизнеса, которая позволяет существенно повысить эффективность процесса и значительно снизить издержки.

BI-системы – это единый, предельно прозрачный и полный источник всех данных о бизнесе компании для её административного ресурса, но главным образом для руководства.

На сегодняшний день генерация отчётности и грамотный анализ уже далеко не роскошь, а, скорее, необходимость для компаний, отчётная документация требуется как внутри бизнеса, так и в каждом слагающем элементе всего процесса.

Решения, предусмотренные BI-системой, оптимальны для подготовки всей отчётности, в том числе охватывают все без исключения аспекты бизнеса, наличие таких возможностей уже считается обязательным и рассматривается вкупе с другими базовыми технологиями как корпоративный стандарт.

1. BI-инструменты . Данные инструменты делят на генераторы запросов и отчётов, BI-инструменты аналитической обработки, корпоративные BI-платформы и BI-наборы. Основная часть BI-инструментов состоит из корпоративных BI-наборов и BI-платформ. Средства, предусмотренные для генерации запросов и отчётов, в основном поглощаются, или же корпоративные BI-наборы заменяют их. OLAP-механизмы – оперативная аналитическая обработка данных или серверы, в том числе реляционные. OLAP-механизмы являются инфраструктурой для BI-платформ и BI-инструментов. Большинство инструментов применимы пользователями для доступа, а так же анализа, включая генерацию отчётов, которые в большинстве случаев располагаются в хранилищах, витрине данных или же оперативном складе для данных.
2. BI-приложения . Приложения, которые не рассматриваются как инструменты. Примером является EIS – информационная система для руководителя.

Характерные особенности BI-систем

• В системах используют портальные технологии, которые обеспечивают единую точку входа в Интернет и информационное пространство предприятий.
• Интерфейс представлен в виде пульта управления или приборной доски с отображением нескольких основных показателей. Это даёт возможность быстро оценить положение дел. Также предоставлена возможность быстро обращаться к ключевым показателям по отделам и подразделениям, они хранятся в отдельной папке, расположенной на приборной доске.
• Многослойность: все данные отображаются в виде нескольких слоёв, при этом каждый последующий слой представляет все более детальную информацию относительно показателей, событий или процессов.
• Интерактивность BI-систем, позволяющая пользователю быстро осуществлять навигацию, в том числе просматривать данные в различных разрезах и сечениях, а также проводить «бурение» данных, перемещаться по разного рода измерениям. Пользователи могут непосредственно выполнять операции над данными.
• Управляемость и актуальность. Проактивность, содержащая машину построения правил, дающая возможность пользователям определять цели и пороговые ограничения для разного рода показателей и определять, при каких значениях данных должно выдаваться предупреждение. В системе предусмотрена возможность задавать параметры или показатели: если таковые достигнут критических значений, на монитор выдаются тревожные сигналы — визуальные и/или звуковые.
• Кастомизация BI-систем — индивидуальная настройка пульта или приборной доски под уровень управления и роль пользователя. Персонализация даёт возможность пользователю самостоятельно выбирать объекты из авторизованных списков и располагать данные на приборной доске по мере их важности.
• Гибкий доступ позволяет пользователям интуитивно обращаться к нужным данным и отчётам из огромного набора отчётов с результатами и графиков, в том числе предоставляет удалённый доступ и мобильные приложения.
• Коллаборативность предусматривает одновременную совместную работу большой группы сотрудников, в том числе просмотр отчётов.

Магические квадранты

Грамотно оценить состояние современного рынка, а также дать исчерпывающее объективное описание основных его игроков – задача довольно нетривиальная. На рынке присутствует множество производителей, которые отличаются друг от друга размерами бизнеса, организационными структурами, стилем управления, стратегией и другими факторами.

Такое положение дел значительно усложняет процесс их сравнения, а также направление движения и развития рынка крайне неоднозначны и труднопредсказуемы. Для решения данной проблемы был разработан «магический квадрант» BI-систем, в котором используют 2 показателя, один из них – полнота видения. Другой – способность реализации.

В 2007 году на рынке BI-платформ произошли серьезные изменения, связанные с его существенной консолидацией. Крупные вендоры совершили стратегические приобретения: Oracle завершила сделку по присоединению Hyperion, SAP объявила о присоединении Business Objects, Cognos закончила присоединение Applix и согласилась на слияние с IBM.

Как же данные события повлияли на рынок BI-платформ? Наиболее наглядный ответ на этот вопрос можно получить, взглянув на «магический квадрат» Gartner (рис. 1), где показано распределение ведущих производителей BI-платформ на начало 2007 и 2008 годов.

Рис. 1. Положение ведущих вендоров на рынке BI-платформ (источник: Gartner)

Перед тем как прокомментировать обозначенные выше изменения, кратко рассмотрим методологию Gartner по отбору и представлению вендоров BI-платформ на плоскости «магического квадрата». Прежде всего поясним, что Gartner понимает под понятием «BI-платформа».

Что такое BI-платформа в толковании Gartner

В самом общем плане Gartner определяет BI-платформу как инструмент, который дает организациям возможность строить приложения, позволяющие изучать и понимать их бизнес. Согласно более подробному толкованию, Gartner определяет BI-платформу (BI platform) как программную платформу, предоставляющую 12 функций, которые, в свою очередь, делятся на три группы: интеграция, средства предоставления информации и средства анализа информации.

Интеграция

Общая BI-инфраструктура - все инструменты платформы должны использовать одни и те же средства обеспечения безопасности, общие метаданные, общие средства администрирования, общие средства генерации запросов, а также иметь однотипные интерфейсы.

Управление метаданными - все инструменты приложения должны не только опираться на одни и те же метаданные, но также должны обеспечиваться быстрый поиск, хранение, использование и публикация таких объектов метаданных, как размерности, иерархии, параметры оценки производительности и параметры оформления отчетов.

Средства разработки - наряду со средствами создания отдельных BI-приложений, BI-платформа должна предоставлять средства программной разработки для интеграции приложений в общий бизнес-процесс или обеспечивать их встраивание в другое приложение. BI-платформа должна давать разработчикам возможность создания BI-приложений без кодирования, на основе применения мастеров (wizard-like components) для визуального редактирования.

Совместная работа и управление рабочими процессами - данная возможность позволяет BI-пользователям разделять информацию и обсуждать ее с помощью общих папок и средств ведения дискуссионных тредов (discussion threads). В дополнение BI-приложения могут назначать и отслеживать события или задачи, возложенные на отдельных пользователей, на основе неких заранее определенных бизнес-правил. Обычно данная функциональность предоставляется на базе интеграции с отдельным workflow-инструментом.

Средства предоставления информации

Средства создания отчетов (Reporting) - дают возможность создавать форматированные интерактивные отчеты. В дополнение к этому поставщики BI-платформ должны предоставлять широкий набор типов отчетов (финансовых, операционных и т.п.) в виде приборных панелей дэшбордов (dashboards).

Дэшборды (Dashboards) - одна из составных частей отчетов, представление информации в виде интуитивно понятного графического изображения, включая диаграммы, круговые шкалы, светофоры и т.п. Данные индикаторы показывают состояние анализируемого параметра на фоне его целевого назначения (рис. 2).

Рис. 2. Пример информационной панели (Dashboard)

Руководитель или аналитик, подобно пилоту самолета, видит перед собой «доску приборов» и управляет системой, ориентируясь на значения индикаторов. При этом ключевые факторы, необходимые для управления предприятием, должны быть так или иначе измерены и представлены в виде показателей. Девиз концепции: «Если вы не можете это измерить, значит вы не можете этим управлять» (“If you can’t measure it, you can’t manage it”).

Генератор нерегламентированных запросов (Ad hoc query) - данная функция, известная также как создание отчетов в режиме самообслуживания, дает пользователям возможность получать ответы на возникающие вопросы. Система предоставляет средства навигации по доступным ресурсам данных.

Интеграция с Microsoft Office - в ряде случаев BI-платформы используются как промежуточное звено в цепочке анализа информации, а Microsoft Office (в частности Excel) выступает как BI-клиент. В этих случаях очень важно, чтобы BI-вендор обеспечивал интеграцию с Microsoft Office, включая поддержку форматов документов, формул и сводных таблиц.

Средства анализа информации

OLAP (Online Analytical Processing - аналитическая обработка в реальном времени) - технология обработки информации, включающая составление и динамическую публикацию отчетов и документов. Используется для быстрой обработки сложных запросов к базе данных. Технология OLAP обеспечивает высокую скорость обработки запросов. Она делает мгновенный снимок реляционной БД и структурирует ее в пространственную модель для запросов. Дело в том, что реляционные БД хранят сущности в отдельных таблицах и сложные многотабличные запросы выполняются в них относительно медленно, в то время как пространственная БД является более удачной моделью для запросов. Заявленное время обработки запросов в OLAP составляет около 0,1% от аналогичных запросов в реляционную БД.

Продвинутая визуализация - инструменты продвинутой визуализации позволяют представлять данные для более эффективного их восприятия посредством использования интерактивных картинок и диаграмм вместо таблиц (рис. 3). Обычно пользователи в динамическом режиме могут менять графическое представление, использовать масштабирование, объединять данные, изменять цвета.

Рис. 3. Пример использования визуализации в предоставлении данных
на дэшборде Cognos

Предиктивное моделирование и дейта майнинг. Предиктивное моделирование (Predictive Modelling) - это процесс создания (или выбора) модели для предсказания вероятности наступления некоторого события. Дейта майнинг (Data Mining) - это процесс обнаружения в «сырых» данных ранее неизвестных, нетривиальных полезных и доступных интерпретации знаний, необходимых для принятия решений. Информация, найденная в процессе использования методов Data Mining, должна описывать новые связи между свойствами, предсказывать значения одних признаков на основе других и т.д. Найденные знания должны быть применимы и по отношению к новым данным с некоторой степенью достоверности. Когда извлеченные знания непрозрачны для пользователя, должны существовать методы постобработки, позволяющие привести их к интерпретируемому виду. Задачи, решаемые методами Data Mining, включают:

• классификацию - отнесение объектов (наблюдений, событий) к одному из заранее известных классов;
• регрессию, в том числе задачи прогнозирования; установление зависимости непрерывных выходных от входных переменных;
• кластеризацию - группировку объектов (наблюдений, событий) на основе данных (свойств), описывающих сущность этих объектов. Объекты внутри кластера должны быть похожими друг на друга и отличаться от объектов, входящих в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше различий между кластерами, тем точнее кластеризация;
• ассоциацию - выявление закономерностей между связанными событиями. Примером такой закономерности служит правило, указывающее на то, что из события X следует событие Y . Такие правила называются ассоциативными. Впервые эта задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому иногда ее еще называют анализом рыночной корзины (market basket analysis);
• последовательные шаблоны - установление закономерностей между связанными во времени событиями, то есть обнаружение зависимости, согласно которой если произойдет событие X , то спустя заданное время произойдет событие Y ;
• анализ отклонений - выявление наиболее нехарактерных шаблонов.

Карты показателей (Scorecards) используют контрольные показатели, отображаемые на информационной панели, для более глубокого анализа путем наложения их на некоторую стратегическую карту, которая увязывает ключевые параметры производительности со стратегическими задачами. Данную концепцию поясняет рис. 4. Технология предполагает дальнейший анализ на базе применения методологии управления производительностью, например Six Sigma.

Рис. 4. Сравнение ключевых параметров производительности
со стратегическими задачами

После того как мы пояснили термин BI-платформа, вернемся к анализу «магического квадрата» на рис. 1.

Критерии отбора и оценки компаний

В исследовании Gartner (см. рис. 1) участвовали компании, отобранные по следующим принципам:

• предоставляющие как минимум 8 из 12 функций, свойственных BI-платформе;
• занимающие заметную долю рынка BI-платформ, что подтверждается объемами продаж не менее 20 млн долл.;
• решения на платформах которых работают на уровне предприятия, а не только на уровне отделов.

На рис. 1 использован ряд терминов, в соответствии с которыми вендоры расположены на плоскости квадрата. Поясним их значение:

• возможность реализации - определяется следующими факторами:
  • насколько конкурентными и успешными являются продукты,
  • какова вероятность того, что вендор будет продолжать инвестировать в продукт/сервис,
  • насколько успешную ценовую политику проводит вендор,
  • насколько вендор устойчив к изменениям на рынке,
  • насколько клиенты информированы в области предложений вендора,
  • насколько вендоры имеют возможность выполнять маркетинговые обещания,
  • насколько клиенты довольны сервисной поддержкой вендора;
• полнота видения - это умение вендора эксплуатировать тенденции на рынке для создания дополнительных сервисов для клиентов и соответствующих выгод для себя. Полнота видения может быть оценена исходя из качества:
  • прогнозов потребностей покупателей,
  • маркетинговой стратегии,
  • стратегии продаж,
  • стратегии развития на вертикальных сегментах рынка,
  • стратегии выхода на удаленные рынки;
• лидеры - это вендоры, обеспечивающие широкую функциональность своих продуктов, их успешное внедрение и предоставляющие качественную поддержку на глобальном уровне;
• претенденты - обладают ограничениями, которые могут быть связаны не только с широтой спектра технологических решений, но и с рыночными показателями, такими как качество сбытовой сети и т.п.;
• провидцы - это вендоры, обладающие мощной стратегией продвижения BI-платформ, что проявляется в открытости стандартов, гибкости архитектуры решений и глубине функциональности создаваемых приложений. Это лидеры в области инновационной деятельности;
• нишевые игроки - занимают лидирующие позиции в некоторой ограниченной продуктовой или технологической области.

Тенденции на рынке BI-платформ

Как видно из рис. 1, мегавендоры начинают доминировать на BI-рынке. Действительно, менее чем за год Microsoft, Oracle, SAP и IBM прошли путь от владения четвертью рынка до владения его двумя третями.

При сравнении квадратов за 2007-й и 2008 годы видно, что Microsoft поднялась и занимает первое место по возможностям реализации. SAP пока не попадает в лидеры, по всей видимости потому, что объединение с Business Objects еще не закончено. Oracle переместилась на второе место после SAS по полноте видения.

Таким образом, «магический квадрат» BI-платформ за 2008 год отражает тот факт, что лидерство переходит от независимых BI-вендоров, таких как Business Objects и Cognos, к мегавендорам.

В июле 2007 года Oracle завершила сделку по приобретению Hyperion. Это привело к тому, что две конкурирующие платформы - Hyperion System 9 и Oracle Business Intelligence Enterprise Edition - объединились под руководством Oracle и соответственно расширили BI-ресурсы Oracle как в технологическом плане, так и в отношении людских ресурсов.

В октябре 2007 года SAP объявила о присоединении Business Objects с целью расширения своего присутствия на рынке. Данное присоединение (оно было закончено в январе 2008 года) закрывает существенный пробел SAP в части генераторов запросов и отчетов.

Cognos закончила присоединение Applix, обладающего мощной OLAP-технологией, и, в свою очередь, согласилась на свое поглощение корпорацией IBM.

За тот же период такие факторы, как взросление BI-портфеля Microsoft, развитие технологий Web 2.0, развитие продуктов BI с открытым кодом, развитие предложений ПО как услуги (SaaS), привели к тому, что BI-функциональность стала более доступной, чем ранее.

OpenSource BI-решения существенно продвинулись в своем развитии, однако оборот от их внедрения пока незначителен. Один из крупнейших вендоров в этой области JasperSoft утверждает, что у него имеется более 7 тыс. коммерческих клиентов и более 70 тыс. активных внедрений.

Наблюдается также растущий интерес к предоставлению BI-решений в форме SaaS. В частности, компания Business Objects является лидером в бизнесе по предоставлению BI-приложений по запросу (OnDemand), но существуют и более мелкие фирмы, такие как Seatab, Oco и LucidEra, предоставляющие BI-решения как услугу. Использование BI-решений в виде OnDemand-сервиса подходит не всем организациям, оно малоприменимо для организаций, которые работают с секретными данными. Тем не менее с каждым годом все больше компаний выбирают SaaS-модель как более экономичную и достаточно надежную.

Анализ положения ведущих вендоров

Business Objects

Среди компаний, специализирующихся исключительно на BI-решениях, Business Objects предлагает наиболее полную платформу с хорошо проработанной технологией генерации отчетов и запросов.

Около 90% организаций, внедривших данное решение, отмечают, что оно является стандартным для их организации.

Business Objects расширила спектр BI-предложений в 2007 году после присоединения фирмы Inxight.

Быстрый рост BI-предложений Business Objects по запросу (OnDemand), количество пользователей которых составляет уже более 70 тыс., делает ее де-факто лидером в сфере SaaS-BI.

Business Objects должна будет скорректировать свою стратегию после приобретения нового статуса в результате перехода в собственность компании SAP, то есть должна будет потратить некоторое время на изменение каналов продаж, систему поддержки и т.п.

По отзывам клиентов, OLAP является слабой стороной в решениях Business Objects.

Cognos

Cognos имеет исключительно высокий процент внедрений своей BI-платформы в качестве стандартного для предприятий решения. Более 90% опрошенных считают Cognos стандартом для своей организации.

Cognos активно инвестирует в работы по улучшению архитектуры платформы. С появлением версии 8.2 и будущей версии 8.3 Cognos 8 BI практически избавилась от проблем с недостаточной стабильностью работы и слабой технической поддержкой. В настоящее время большинство клиентов эксплуатирует последнюю версию Cognos BI.

После завершения присоединения Cognos к компании IBM платформа Cognos BI выиграет из-за возможности интеграции с технологиями IBM.

Еще одно преимущество Cognos получит по мере освоения технологии Applix TM1 OLAP.

Дейтамайнинговые технологии Cognos по-прежнему слабее, чем предложения ее конкурентов.

Microsoft

Удачная ценовая политика и интеграция с MS Office делает решения Microsoft особенно привлекательными для организаций, которые базируются на инфраструктурных решениях этой компании.

При продвижении своих BI-решений Microsoft может опереться на большую аудиторию разработчиков. По оценкам Microsoft, это 2 тыс. OEM/ISV-партнеров по внедрению ее BI-решений.

По отзывам клиентов, BI-решения от Microsoft вызывают минимальные нарекания.

BI-решения Microsoft были созданы именно ею, а не приобретены вместе с присоединенной фирмой.

Microsoft с опозданием включилась в гонку по продвижению BI-платформ и поэтому сейчас ее стратегия - «догнать и перегнать». По оценкам клиентов, Microsoft все еще отстает от компаний, традиционно занимающихся продвижением BI-платформ, особенно в плане управления мета-данными, генерирования отчетов и создания дэшбордов.

MicroStrategy

Вместо тактики присоединения MicroStrategy полностью построила технологию своими собственными силами. Это обеспечивает высокую степень интеграции в рамках платформы.

MicroStrategy имеет положительные отзывы клиентов по всем 12 критериям, которые оценивает Gartner.

Развитие новых технологий может привести к ослаблению позиций MicroStrategy, которые она пока занимает в области обработки сверхбольших объемов данных.

MicroStrategy имеет репутацию компании, предлагающей дорогие решения, на которые трудно получить скидку.

MicroStrategy фокусируется исключительно на BI-платформах и уделяет недостаточно внимания смежным технологиям - CPM (Corporate Performance Management - управление производительностью корпораций) и интеграции данных.

MicroStrategy имеет малый объем продаж в Азиатско-Тихоокеанском регионе.

Oracle

Еще до присоединения Hyperion, в середине 2007 года, позиции Oracle на рынке BI были достаточно сильными: ее комбинация BI-платформы и аналитических приложений (Oracle BI Enterprise Edition (OBIEE) и Oracle Analytic Applications) представляла собой весьма успешное предложение.

Клиенты дают E положительные отзывы на OBIE. Они отмечают широкие возможности решения относительно организации коллективной работы, а также продвинутые средства визуализации, являющиеся, по их словам, одними из лучших на рынке.

Сильные стороны Essbase OLAP-движка и возможности интеграции Hyperion с Microsoft Office повышают потенциал Oracle на рынке BI.

Компания Oracle имеет хорошие шансы продвигать свои BI-технологии различным клиентам, а не только приверженцам платформы Oracle.

Процесс интеграции BI-решений, полученных в результате слияния, займет немало времени в 2008 году.

Есть сведения, что среди инсталяций базы Hyperion BI процент последней версии невелик, что указывает на тот факт, что клиенты не спешат переходить на последнюю версию продукта.

Oracle следует улучшить техническую поддержку.

SAP

Имея более 13 тыс. внедрений, компания SAP добилась больших успехов в продвижении решения NetWeaver BI. Более 75% клиентов SAP из опрошенных Gartner свидетельствовали, что BI-решения от SAP являются стандартными в их организациях.

После завершения интеграции SAP и Business Objects фирма SAP станет крупнейшим вендором BI-платформ, который будет вдвое больше любого другого своего конкурента.

Сильные стороны Business Objects, в первую очередь генерирование форматированных отчетов и генерирование отчетов в режиме самообслуживания (self-service report creation), удачно восполняют пробелы, имеющиеся в решениях SAP BI.

В ходе исследования Gartner клиенты SAP, использующие последнюю версию SAP BI, отметили трудности, касающиеся ее внедрения.

Присоединение Business Objects несколько снижает показатель SAP, который Gartner условно называет возможностью реализации. Это связано с неизбежной неопределенностью для клиентов, которые рассчитывали на уже существующие внутренние продукты SAP в области BI.

Несмотря на тот факт, что внедренные решения на базе NetWeaver BI способны импортировать данные из не SAP-приложений, SAP может назвать не более 25 крупных предприятий, внедривших NetWeaver BI, где бы не доминировали учетные системы SAP. Для достижения лидерства на рынке SAP необходимо продемонстрировать, что она может внедрять свою платформу и на предприятиях, где SAP-приложения не являются доминирующими.

SAS

SAS лидирует в области продвинутой аналитики (Advanced Analytic Solutions).

SAS предлагает аналитические решения, которые не только обеспечивают базовую функциональность на уровне анализа KPI, но и предлагают продвинутую аналитику обнаружения бизнес-проблем, например таких, как выявление мошенничества.

SAS - это известный бренд, решения SAS имеют сервисную поддержку по всему миру.

Приложения SAS считаются трудными в освоении. Многие приложения продвинутой аналитики требуют применения специального языка программирования SAS - это является достоинством для программистов и существенным ограничением для людей, не обладающих подобными навыками.

В заключение перечислим основные тенденции на рынке BI-платформ:

• актуальность задачи оптимизации производительности компаний на всех уровнях стимулирует спрос на BI-решения;
• возможности BI-платформ расширяются, и, помимо традиционных генераторов отчетов и запросов, а также OLAP-функциональности, активное развитие получили «приборные панели» (dashboards), карты показателей (scorecards) и продвинутая визуализация;
• мегавендоры начинают доминировать на BI-рынке;
• BI-решения в форме SaaS активно продвигаются многими производителями;
• процесс слияний и стандартизации является двигателем рынка.

Модные словечки, востребованная терминология, не совсем понятные определения и совершенно незнакомые лексические единицы. Все вышеуказанное можно применить как к понятию «business intelligence», так и к словосочетанию «data science». Попробуем не только преодолеть трудности перевода, но и разобраться в том, чем разнятся «наука о данных» и «бизнес интеллект».

Business Intelligence: интеллект, разведка, осмысление, аналитика

Многие уверены, что термин «business intelligence» впервые появился на свет в 80-х гг. прошлого столетия, но это не совсем так. Дело в том, что первым этот термин использовал Ханс Питер Лун, исследователь из компании IBM, в далеком 1958 году. А в 1989-ом Говард Дреснер, который позже стал аналитиком в Gartner, дал определение «business intelligence» как тому, что описывает «концепции и методы для улучшения принятия бизнес-решений с использованием систем на основе бизнес-данных».

Давайте прислушаемся к другим экспертам. Так, Джонатан Ву, менеджер компании Netgear, определяет BI как процесс сбора многоаспектной информации о предмете, который исследуется. А вот какую трактовку предложил Институт хранилищ данных (The Data Warehousing Institute): Business intelligence – это процесс превращения данных в знания, а знаний в бизнес-действия для получения выгоды.

BI можно рассматривать не только как процесс, но и как результат процесса получения знаний. Однако если компилировать все определения, которые «дрейфуют» на рынке, можно утверждать, что business intelligence в самом широком смысле этого понятия – это процесс превращения полученных данных в знания о бизнесе, которые используются для принятия улучшенных решений. Кроме того, это еще и информационные технологии сбора данных и их консолидации. И, наконец, BI представляет собой знания о бизнесе, которые добываются путем проведения углубленного анализа данных. Если говорить коротко, то business intelligence – это технологии, анализ и знания.

Data Science: наука о хаосе, приведенном в порядок

С недавних пор наука о данных рассматривается не только как академическая дисциплина, но и как практическая межотраслевая сфера деятельности. Сам термин был предложен Уильямом Кливлендом, профессором университета Пердью, который считается одним из самых больших авторитетов в области статистики, машинного обучения и визуализации данных.

Согласно определению международного совета CODATA (International Council for Science: Committee on Data for Science and Technology), наука о данных представляет собой дисциплину, которая объединяет различные направления статистики, data mining и машинное обучение. Однако наиболее популярное определение дано в статье «Что такое Data Science?» Майка Лукидиса, редактора O"Reilly Media и автора книг об операционных системах, компьютерной архитектуре и программировании. Стоит отметить, что данная трактовка на сегодняшний день является основополагающей. – это обобщенное название технологий, которые предназначены для производства данных как продукта. Если сравнивать науку о данных с традиционной статистикой, то на первый взгляд может показаться, что между ними нет никаких отличий. Однако Data Science характеризуется комплексным подходом, а data-ученые не изучают данные, а используют их.

Таким образом, мы приходим к выводу, что Data Science изучает проблемы анализа, обработки и использования данных. Это такое фантастическое «ассорти», от которого голова идет кругом: здесь вам и статистика, и интеллектуальный анализ данных, и искусственный интеллект, обрабатывающий большие объемы data, и методы проектирования баз данных, и многое другое.

Ничто не ново под… data-небосводом

Облачные вычисления и другие технические достижения заставили компании сосредоточиться больше на будущем, а не анализировать отчеты на основании данных прошлого. Чтобы получить конкурентные преимущества, компании начали объединять и преобразовывать данные, которые являются частью реальной науки о данных.

В то же время они практикуют Business Intelligence, создавая графики, отчеты и таблицы на базе полученных данных. И хотя между Data Science и Business Intelligence есть большие различия, они в равной степени важны и дополняют друг друга.

Для того чтобы практиковать BI и Data Science, многие компании нанимают специалистов, которые совмещают сразу две должности – BI-аналитиков и дата-сайентистов. Тем не менее, именно здесь и возникает путаница из-за непонимания того, что эти роли требуют различных экспертных знаний.

Несправедливо ожидать, что BI-аналитик может сделать точные бизнес-прогнозы. А это может стать причиной катастрофических последствий для любой компании. Однако, изучив главные различия между BI и наукой о данных, можно научиться подбирать подходящих кандидатов для выполнения определенных задач, которые намерен решить ваш бизнес.

Сфера интересов

С одной стороны, традиционный подход Business Intelligence подразумевает создание инструментальных панелей для отображения исторических данных в соответствии с фиксированным набором ключевых показателей эффективности. Отсюда делаем вывод, что BI больше полагается на отчеты, современные тренды и ключевые показатели эффективности (KPI).

С другой стороны, наука о данных больше фокусируется на предсказании того, что в конечном итоге может случиться в будущем. Таким образом, дата-сайентисты больше сосредоточены на изучении закономерностей и различных моделей, а также на нахождении корреляций для бизнес-прогнозов.

Например, компаниям, занимающимся , нужно предсказывать растущую потребность в новых видах обучения, основываясь на существующих шаблонах и требованиях корпоративных компаний.

Анализ и качество данных

BI требует от аналитиков умения сосредотачиваться не только на настоящем и будущем, но и заглядывать в прошлое – то есть активно использовать исторические данные. Поэтому анализ BI-аналитиков является в большей степени ретроспективным. Фокус Business Intelligence – это абсолютно точные данные, основанные на том, что на самом деле произошло в прошлом.

Например, ежеквартальные результаты компании формируются из реальных данных о ведении бизнеса на протяжении последних трех месяцев. Ошибки в этом случае попросту невозможны, потому что отчетность носит описательный характер и не может быть субъективной.

Что касается науки о данных, то дата-сайентисты должны использовать предиктивную и директивную аналитику. Они обязаны довольно точно предсказывать то, что должно произойти в будущем, используя вероятности и уровни уверенности.

То, как компания будет выполнять необходимые действия на основе предиктивного анализа и прогнозов на будущее, не может базироваться на простых догадках. Конечно, наука о данных не может быть точной на 100%, но она должна быть «достаточно хороша» для бизнеса, чтобы принимать своевременные решения и действия, а также обеспечивать необходимые результаты.

Идеальный пример науки о данных в действии – оценка прибыли компании в следующем квартале.

Источники и преобразование данных

Business Intelligence – это заблаговременное планирование и подготовка к использованию правильной комбинации источников данных для их преобразования. Чтобы получить соответствующие инсайты о клиентах, деловых операциях и продуктах, Data Science в состоянии на лету преобразовывать данные, используя те источники информации, которые доступны по требованию.

Потребность в смягчении

BI-аналитики не должны смягчать любые неопределенности, окружающие исторические данные, так как они основаны на реальных ситуациях. Такие данные точны и не предполагают каких-либо вероятностей.

Существует огромное количество терминов: аналитика, data mining, анализ данных, business intelligence и разница между ними не всегда столь очевидна даже для людей, которые с этим связаны. Сегодня мы расскажем о том, что же такое Business Intelligence (BI) доступным и понятным языком. Тема безусловна огромна и её не покрыть лишь одной короткой статьей, но наша задача - помочь сделать первый шаг и заинтересовать читателя темой. Заинтересованный же читатель также найдет исчерпывающий список для дальнейших шагов.

Структура статьи

Зачем всё это нужно: из жизни аналитика

Представим, нами (неким аналитиком Петровичем у поставщика Цветочек) стоит задача оценить продажи ряда магазинов (куда мы поставляем товар) и каждый магазин ведет свой учет проданных товаров. Реальность такова, что формы учета будут заполнены не пойми как и не пойми кем, то есть у них будет разная структура и разный формат хранения (некоторая форма таблиц). Схематично эта задача изображена на схеме выше.

Казалось бы задача несложная и поэтому рассмотрим лобовое решение: пусть у нас есть N таблиц и нам нужно их собрать вместе в одну таблицу, тогда напишем N скриптов, которые преобразуют эти таблицы и один сборщик, который собирает их вместе.

Минусы такого подхода:

• необходимо поддерживать N скриптов одновременно (где N в порядках тысяч);
• при изменении структуры отчетов магазинов во времени (например, в магазине появился новый сотрудник) необходимо искать и переписывать отдельные скрипты;
• при появлении нового магазина, необходимо писать новый скрипт;
• при изменении нашей отчетности (поставщика Цветочек), необходимо вносить изменения во все скрипты;
• сложная отладка и поддержка, так как магазины не уведомляют об изменении структуры и не следуют никаким спецификациям.

Если мы поднимемся на уровень целой организации, то увидим, что проблем даже больше.

В чем задача: проблема на уровне компании

Производитель Цветочек на самом деле работает не напрямую с магазинами, а через некоторых посредников. Посредники посещают магазины и непосредственно своими действиями пытаются стимулировать продажи. Соответственно, они являются материально заинтересованными лицами и информацию, которую они выдают, приходится перепроверять.

Принципиально, задача выглядит схожим образом: пусть у нас есть N магазинов и K дистрибьюторов, можем ли агрегировать данные магазинов и сравнить их с результатами дистрибьюторов? (У всех данные имеют разную структуру и формат.)

Здесь помимо таблиц, мы уже можем столкнуться с целым зоопарком форматов, к которым добавляются отчеты дистрибьюторов. Как правило задача характеризуется очень низким качеством данных, в том числе дублированием, несогласованностью и ошибками. На основе полученных результатов и сравнения данных, отдел по закупкам принимает решения о том сколько, кому и почем чего отгружать. То есть решение этой задачи непосредственно влияет на финансовые показатели компании, что безусловно важно.

Рассмотрим несколько вариантов решения на уровне компании:

• самописное решение: компании производителю будет необходимо нанять специалиста не по профилю компании и критичное ПО будет зависеть от данного специалиста. Если он уйдет, то компания будет вынуждена срочно искать замену, которая сможет поддерживать ПО и качество будет напрямую зависеть от нанятого специалиста;
• закупить ПО у третьей стороны, тут три ключевых фактора: цена, качество и время интеграции. Как правило цена и время интеграции слишком высоки для среднего производителя, и в том числе требует существенных временных затрат сотрудников. Выбор поставщика также не тривиален;
• SaaS решения: методология еще нова для рынка и многие компании скептически относятся к подобным сервисам.

В целом если мы говорим о небольшом или среднем производителе, то с точки зрения времени интеграции, цены и качества решения сервис выглядит оптимальным вариантом, так как ценообразование динамическое и интеграция минимальна через веб. Как правило плюсом корпоративного ПО является настраиваемость и касмтомизированность (каждый бизнес считает себя уникальным), но описанная задача достаточно типична и стандартна для достаточно широкого круга компаний. Безусловно, нет единого решения для всех, но для каждого в отдельности его можно найти.

Сам процесс на уровне компании выглядит схожим образом: консолидируется данные, определенным образом трансформируются (агрегируются) и загружаются в систему для анализа.
(кликабельно)

Обобщаем задачу: всё это звенья одной цепи

В чём же разница между аналитикой, data mining и business intelligence (BI)? Первые включают в себя комплекс методов для анализа уже чистых данных, а на практике очистка и преобразование данных в удобный для анализа формат - важный и неотъемлемый процесс. Так же помимо работы с преобразованием и консолидацией данных, основная задача BI - это принятие решений для бизнеса.

Использование бизнес-аналитики повышает качество и оперативность управленческих решений, а также помогает управлять бизнес-процессами, что приводит к повышению конкурентоспособности компании. Это стало одной из главных причин значительного всплеска интереса к решениям класса BI (business intelligence), который IDC отмечает в России с 2010 года.

Эксперты спорят о функциональности информационных систем, позволяющих проводить бизнес-анализ. Но сам процесс работы с аналитическими данными и предназначенное для этих целей ИТ-решение – совсем не одно и то же. Прежде чем приступать к внедрению BI-системы, компания должна подготовиться к ее использованию: формализовать бизнес-процессы, определить точки сбора информации, типы собираемых данных и цели, с которой эта информация будет использоваться. После этого можно говорить о конкретных инструментах BI, необходимых бизнесу.

Бизнес-аналитика отличается от ручного анализа показателей в таблицах Excel примерно как самолет от дельтаплана. Вопрос далеко не только в скорости. Ведь BI – это автоматизация процесса сбора информации и построения отчетности. В то время как работа с Excel предполагает, что анализируемые данные кто-то должен собрать из всех информационных источников компании, привести к единому шаблону и уже потом формировать отчеты.

Велика и разница в результатах работы с этой информацией. BI – это многомерность используемых данных и возможность оперативно формировать отчеты в любом разрезе, используя для этого любую имеющуюся в компании информацию. Иначе говоря, задачу, с которой люди будут справляться сутки (например, высчитывать зависимость продаж магазином определенных моделей одежды от демографического состава населения и транспортной инфраструктуры района), система решит за минуты.

Долгое время в основе решений BI лежали так называемые OLAP-кубы. Применение таких систем продолжается и по сей день. Они представляют находящуюся в хранилище информацию таким образом, что в любой момент можно взять любые имеющиеся показатели в качестве осей «куба» и сделать по нужным срезам анализ, построив плоскую таблицу или график зависимости одного показателя от другого. Что немаловажно, анализ происходит в режиме реального времени, о чем и говорит аббревиатура OLAP – online analytical processing.

Среди других признаков выделим наличие функций управления метаданными, средств разработки, инструментов для совместной работы и управления процессами, средств создания отчетов, продвинутой визуализации, функций предиктивного моделирования и интеллектуального анализа (data mining), карт показателей.

Сейчас на рынке продолжают расти продажи BI-систем, в которых реализованы технологии іn-memory. Основная идея in-memory заключается в принципе постоянного хранения данных в оперативной памяти. Это дает пользователям возможность получать ответы моментально – за доли секунды – даже в случаях, когда они работают с огромными объемами данных. Однако такие решения с технической точки зрения подходят не всем, и многие заказчики продолжают использовать технологию OLAP.

Наличие online analytical processing является одним из признаков аналитической системы, позволяющей ей называться полноценной BI-платформой по версии Gartner.

Помимо различной технологической архитектуры, системы BI отличаются набором инструментов для разных категорий бизнес-пользователей.

Например, полноценные BI-платформы сильно отличаются с точки зрения функциональных возможностей от BI-модулей, встроенных в некоторые корпоративные информационные системы и имеющих ограниченные возможности представления.

Для каждой роли пользователя существуют свои информационные панели, представляющие нужные именно этим сотрудникам ключевые показатели бизнеса в виде таблиц или инфографики. Инструментарий BI предусматривает также средства построения отчетов и интерфейс для их просмотра: в окне системы, через web или на мобильном устройстве пользователя. В построении отчетов помогают инструменты для определения корреляции данных.

Одна из доминирующих тенденций последних пяти лет на рынке BI – это рост спроса на мобильную аналитику. Пользователи BI-систем, оценившие их значение для бизнеса, поняли также и ценность постоянного доступа к такому инструментарию. Практически каждый крупный BI-вендор сегодня готов предоставить пользователям средства онлайн-аналитики. При этом мобильные рабочие места ориентированы не только на топ-менеджеров, но и на ряд других категорий пользователей, которым необходимо постоянно иметь актуальную информацию о состоянии тех или иных бизнес-процессов. Так что из «привилегии начальника» BI-мобильность стала средством быстрого реагирования на события для руководителей среднего звена и аналитиков. Поскольку BI-система предусматривает работу с большими массивами данных, поступающими в хранилище из различных информационных систем и в неструктурированном виде, она может использоваться для работы с «большими данными» (big data), которыми в последние годы так интересуется бизнес. Это и неудивительно, поскольку объемы хранимой и обрабатываемой информации растут опережающими темпами, следовательно, компании вынуждены думать о приобретении дополнительных вычислительных мощностей. При этом в реальном бизнесе обычно используются до 30% всей хранимой информации, остальная же часть становится только источником затрат на ее хранение.

Наличие больших объемов неструктурированной и потенциально полезной информации в компаниях, а также большие возможности, предоставляемые аналитикам системами BI, стали одним из драйверов прогресса в этой области. Сегодня все больше аналитиков ищут более гибкие инструменты, которые бы позволили изучать любые данные и строить бизнес-гипотезы. Это привело к появлению нового класса инструментов - data discovery. Они базируются на гибкой модели данных и интерактивных пользовательских интерфейсах, более удобных бизнес-пользователям, чем аналитикам. На примере data discovery мы видим, как инструментарий постепенно вырастает в самостоятельное направление ИТ-систем для аналитики.

Поскольку BI – это не только анализ текущей ситуации, но и прогнозирование, для аналитиков и руководителей разработаны продвинутые средства для проверки выдвинутых ими гипотез. А контролировать ключевые показатели при анализе поможет нотификация о достижении ими пороговых значений.

Как будет развиваться инструментарий BI-систем и его использование российскими компаниями в будущем? Появятся ли новые роли пользователей, новые интерфейсы, станут ли топ-менеджеры больше работать с бизнес-аналитикой? Консультант аналитического отдела компании Softline Мария Голикова убеждена, что один из векторов развития связан с растущим спросом на “облака” и средства визуализации: «С развитием облачных технологий многие крупные разработчики BI стали предлагать дополнительные возможности, доступные именно в облаке.

Если в компании существует “традиция” готовить отчеты в виде статичных Excel-таблиц, то многим сотрудникам будет сложно от этого отказаться. Однако надо надеяться, что со временем будет расти число компаний, которые будут получать исчерпывающую информацию, пользуясь информативными дашбордами».

Также, по мнению эксперта, росту популярности BI будет способствовать внимательное отношение разработчиков к дружественности интерфейсов и созданию мобильных рабочих мест: «BI-инструментарий сейчас движется в сторону самостоятельного анализа – решения становятся максимально простыми в использовании. Это дает возможность бизнес-пользователям за счет интуитивно-понятного интерфейса самостоятельно изменить текущие отчеты либо создать новые. Топ-менеджмент сегодня также привлекает возможность использования мобильных BI-решений. Руководитель может уехать в командировку, но при этом на экране портативного устройства видеть основные показатели деятельности своего бизнеса».

Говоря о том, какие инструменты, предоставляемые BI-платформами, в наибольшей степени востребованы российскими заказчиками, директор департамента ИТ и облачных сервисов J’son & Partners Consulting Александр Герасимов отмечает: «То, что используется сейчас, - это инструменты формирования разнообразной управленческой и маркетинговой отчетности постфактум на основе анализа данных транзакционных систем, таких как ERP, OSS/BSS (биллинг в частности), автоматизированные банковские системы и т. п.

То, что имеет хорошие перспективы, - это технологии анализа больших данных: не только структурированной информации транзакционных систем, но и слабо (или сложно) структурированных данных, таких как, например, логи и геоданные пользователей смартфонов и многое другое. Сейчас подобная информация используется в основном для обогащения и улучшения качества отчетности постфактум. В перспективе они могут применяться уже непосредственно в системах управления - с целью их интеллектуализации».

Некоторые BI-системы предлагают использовать больше инфографики вместо классических табличных отчетов. Но далеко не все готовы воспринимать графическую информацию.