Обзор современных ETL-инструментов Сегодня всё больше компаний сталкивается с проблемой обработки огромного количества информации. У большинства из них уже достаточно большой стаж работы и за годы накопилось много информации, которую надо не только хранить, но и использовать. С этой целью строятся хранилища данных (ХД). В статье рассмотриваются инструменты, реализующие основной процесс управления ХД – ETL (от англ. extract-transform-load). Процесс ETL состоит из этапов: - извлечение данных из внешних источников (многочисленных, разноплановых) - трансформация данных и очистка (проблемы ошибок орфографии, ввода и т.п.) - загрузка данных в ХД. Ведущие исследовательские компании Gartner и Forrester Research опубликовали рейтинги ETL. 
Видно, что лидерами являются два решения – IBM и Informatica. По функциональности системы перекрывают потребности бизнеса так, что большинство клиентов этих систем не используют и половины имеющегося функционала. Поэтому эксперты советуют выбирать ETL-инструменты, основываясь на требуемых задачах решения и имеющейся платформе предприятия. Так, если предприятие работает в основном на Microsoft, то ETL можно построить на продукте SSIS от Microsoft. Если на предприятии доминирует IBM – то выбирают Data Stage или Cognos. Если Unix/Linux – Informatica или Oracle. Хочу остановиться на предложении от IBM. В связи с покупкой компании Cognos у IBM стало два предложения по ETL – собственное Data Stage и Когноса Data Manager. У многих было подозрение, что в связи с этой покупкой, направление от Cognos развиваться не будет, но в новом релизе IBM Cognos v.8.4 (2-я половина 2008г.) вышел полностью обновленный IBM Cognos Data Manager. Еще одним достоинством IBM Cognos является наличие OLAP, чего нет у таких отчетных систем, как BusinessObjects, Oracle BI. OLAP позволяет зачастую обходиться без построения сложных ХД (а это очень большая экономия по финансам). Еще один немаловажный момент – подводный камень – это доплаты за различные коннекторы и доп.функции. Так, SAP-коннектор от Informatica стоит около 100 тыс. долл. Возможность распараллеливания у IBM Data Stage и Informatica также требует докупать лицензии на Parallel options. Таких доплат нет только у IBM Cognos. Недостатками IBM Cognos Data Manager являются: -
Data Manager оптимизирован для получения данных структур типа звезда (ориентированным по измерениям), и обычно не используется в других ХД с более детальными и комплексными схемами. -
Cognos обеспечивает интеграцию данных, кеширование и доступ к сложным источникам данных (типа Salesforce.com и XML) через Composite Software OEM. -
Компании, использующие ETL от Cognos, являются постоянными пользователями Cognos BI и поэтому считают использование этого инструмента вне BI несущественным. Достоинства Informatica -
3000 клиентов, 400 млн. годовой доход, имеет наибольший набор инструментов для интеграции данных. -
Уважается за постоянное отслеживание технологий, регулярные релизы, положительный опыт обслуживания и поддержки. Используется в ХД, а также многие клиенты используют в MDM, миграции данных и синхронизации данных. Большая экосистема партнеров по технологиям и обслуживанию. -
Релиз PowerCenter v8.6 в 2Q08 увеличил способность Informatica адресовать сценарии интеграции данных в реальном времени. Сделан больший упор на B2B обмене данными и проектах миграции данных. Недостатки Informatica -
Большинство клиентов Informatica не используют многих возможностей, довольствуясь командной (batch-oriented) доставкой данных. -
Позиция независимого производителя приносит проблемы, связанные с консолидацией различных рынков. Informatica все больше конкурирует с большими инфраструктурами и BI-платформами (SAP, Oracle, Microsoft и IBM). Уменьшается способность и желание поставлять тесную интеграцию с прежде «дружественными» технологиями других провайдеров. -
В то время как клиенты Informatica в основном довольны, есть проблемы, связанные с малым опытом (навыках и профессиональных услугах) в области не-ETL получения данных, таких как репликация данных и интеграция данных (data federation). Достоинства IBM Data Stage (Information Server) -
IBM продолжает демонстрировать самое сильное видение на рынке интеграции данных. IBM Information Server идет в направлении общей платформы интеграции данных, общих метаданных, общих средств разработки, общего вида. IBM демонстрирует гибкость в лицензировании. -
Клиенты IBM говорят о высоком уровне удовлетворенности инструментами, который определен долгим опытом работы (1-3 года и выше), о великолепной поддержке и доступной экспертизе внедрения. Клиенты используют IBM в широком спектре работ: B2B интеграции данных, миграции данных между приложениями, BI/хранилища данных, MDM и для развертывания управления данными в SOA архитектурах. -
В результате покупки Cognos, традиционного лидера рынка BI стратегий, сейчас осуществлено объединение лучших возможностей по интеграции данных.
Недостатки IBM Data Stage (Information Server) -
IBM инструменты недостаточно легкие для изучения, много внедрений делается быстро (до 6 месяцев), но есть и значительный процент тех, кто внедрял дольше (внедрялись более продвинутые возможности этих инструментов). -
IBM продолжает приобретать технологии, которых нет в ее портфеле, и имеет проблемы по их интеграции. -
Большинство клиентов IBM не используют многих возможностей, довольствуясь командной (batch-oriented) доставкой данных.
Стоимость IBM и Informatica предлагают практически равноценные продукты для ETL по практически одинаковым ценам. IBM Cognos предлагает свой ETL инструмент за цену в 1.5-2.5 раза ниже (стоимость зависит от количества процессоров сервера). Выводы Делайте сами.
|
> 
Последние новости
