Системы поддержки принятия решений Oracle (Часть 1)

© Роман Самохвалов (Oracle СНГ)
Эта статья была размещена на сайте http://www.olap.ru/

Бизнес-факторы

На протяжении последних лет практически все направления бизнеса, все отрасли промышленности и многие индивидуумы были затронуты переменами, связанными с развитием рыночных отношений. Ослабление регулирующей функции государства породило конкуренцию в отраслях, ранее контролируемых им и ограждаемых от проникновения извне. В то же самое время радикально изменился уровень ожиданий заказчиков продуктов и услуг. Сегодня они требуют высококачественного обслуживания, и будут работать с поставщиками, которые отвечают их ожиданиям. Проникновение на российский рынок зарубежных корпораций со своими стандартами ведения бизнеса еще больше обостряет борьбу за заказчиков. С другой стороны, беспрецедентные возможности, предоставляемые Интернет, позволяют даже небольшим компаниям, быстрее реагирующим на конъюнктуру, успешно конкурировать с более крупными игроками.

Очевидно, что абсолютно необходимым фактором для достижения максимального роста в таких условиях является анализ рынка и ориентация на нужды потребителей. Кроме того, компании должны повышать эффективность ведения бизнеса за счет более глубокого понимания бизнес-процессов и лучшего управления имеющимися ресурсами, прежде всего финансовыми. Наконец, организациям будет необходим сбалансированный взгляд на бизнес для достижения паритета между целями обеспечения роста и поддержания эффективности.

Для обеспечения роста требуется разрабатывать стратегии привлечения и удержания прибыльных заказчиков, развития существующей клиентской базы, планировать кампании по продвижению продуктов и анализировать их эффективность. Современные маркетинговые технологии углубляют стандартный подход к сегментации рынка до уровня индивидуальных заказчиков. Каждый из них при этом рассматривается как отдельный сегмент с уникальными требованиями, которые должны удовлетворяться индивидуально, особенно если этот заказчик представляет для компании большую ценность.

С другой стороны, необходим постоянный мониторинг эффективности ведения бизнеса, структурный анализ и контроль доходов и расходов. Традиционным методом здесь является бюджетное планирование и финансовый анализ "план/факт", которые помогают формулировать цели и отслеживать степень из достижения. Сегодня существуют и более продвинутые методики, такие как учет затрат по видам деятельности (Activity Based Costing, или ABC), позволяющий разносить накладные расходы по элементарным этапам бизнес-процессов. Эти элементы затем привязываются к продуктам, заказчикам и т.д., что позволяет более точно оценивать их прибыльность.

Компании должны эффективно управлять своими действиями, направленными на обеспечение роста - для того, чтобы развиваться наиболее быстрыми темпами, но при этом не выходить за рамки своих возможностей по поддержанию такого роста. Кроме того, они должны контролировать свои действия для достижения оптимальной эффективности, избегая бесцельных затрат и анализируя возврат инвестиций. Таким образом, требуется высокоуровневый взвешенный взгляд сразу на обе стороны бизнеса - и внешнюю, и внутреннюю.

Все эти три класса задач (поиск возможностей роста, контроль эффективности и баланс между ними) имеют одну общую черту. Для их решения требуется информация, причем самая разная - о заказчиках, поставщиках, конкурентах, продуктах, каналах сбыта, по финансам, логистике и т.д. Эта информация накапливается в оперативных системах, однако, она практически всегда распределена по организации, хранится в различных базах данных, зачастую несогласованна и противоречива. Все это делает ее труднодоступной для конечных пользователей, а иногда и просто непригодной для анализа в чистом виде.

Тем не менее, эти задачи можно и нужно решать, однако для этого требуется обеспечить полное и согласованное представление информации для сотрудников на всех уровнях организации, принимающих участие в выработке управленческих решений. Для этого применяются особые технологические комплексы - Хранилища Данных, ориентированные как раз на аналитические задачи, а не на автоматизацию бизнес-процессов. Помимо этой технологической основы, используются специальные аналитические инструментальные средства и приложения, которые предоставляют информацию из Хранилища конечным пользователям в простой и доступной форме.

Для успешного внедрения Хранилища Данных крайне важен правильный выбор поставщика. Предлагаемое им решение должно удовлетворять следующим критериям:

Выбирая Oracle, организация получает решение, удовлетворяющие всем этим критериям. Оно включает в себя как интегрированный набор программных продуктов, поддерживающих полный цикл построения и эксплуатации Хранилища Данных, так и комплекс связанных с этим услуг. Продукты Oracle характеризуются высокой степенью масштабируемости, работают на большинстве аппаратных платформ и с любыми источниками информации. Таким образом, можно создать аналитическую систему в любой среде и адаптировать ее к возможным изменениям. Наконец, все это уже не однажды сделано: на базе технологий Oracle внедрены тысячи систем поддержки принятия решений по всему миру, в том числе на территории России и СНГ.

Технологии построения аналитических систем

Хранилище Данных - комплекс, состоящий из множества компонентов, каждый из которых решает свои задачи при создании и эксплуатации системы. Общая архитектура представлена на Рис. 1.

Рис. 1. Архитектура Хранилища Данных

Компоненты центральной части схемы отвечают за эффективное хранение данных, администрирование, проектирование структуры Хранилища и управление метаданными. Важнейшая задача, представленная на рисунке слева, - интеграция и согласование информации из различных источников путем ее извлечения, преобразования, очистки и загрузки в Хранилище Данных. Наконец, для нормальной работы конечных пользователей необходимо предоставить им аналитическую информацию в удобной и доступной форме - это обеспечивают компоненты правой части схемы. При этом существует целый спектр задач, связанных с организацией доступа к данным Хранилища, - от построения стандартных и нерегламентированных отчетов до сложного анализа типа "что-если", прогнозирования и алгоритмов "извлечения знаний" (Data Mining). Помимо корпоративных Хранилищ Данных, объединяющих в себе детальную информацию обо всех направлениях деятельности организации, существует близкая по идеологии концепция Витрин Данных - относительно небольших, и, что самое важное, функционально-ориентированных Хранилищ, предназначенных для решения аналитических задач отдельных подразделений компании. Витрины могут быть зависимыми (когда источником данных для них является Хранилище Данных) и независимыми (когда информация загружается в Витрину непосредственно из оперативных и внешних систем). Независимая Витрина Данных часто рассматриваются как тактическое решение, позволяющие за весьма короткое время и с небольшими затратами решить наиболее острые задачи, оценить получаемые преимущества и принять решение о более масштабном проекте.

Концепция построения систем поддержки принятия решений, предлагаемая Oracle, объединяет все компоненты, необходимые для создания и управления Хранилищем Данных, а также для использования накопленной в нем информации. На Рис.2 представлен полный набор программных средств Oracle, реализующих вышеперечисленные задачи.

Рис. 2. Решение Oracle для реализации Хранилища Данных

В качестве механизма хранения в реляционных Хранилищах и Витринах Данных используется сервер Oracle8i, в многомерных Витринах - Express Server. Центральным инструментальным средством является Oracle Warehouse Builder, построенный на базе современной архитектуры Common Warehouse Metadata, который позволяет спроектировать структуру целевого Хранилища, создать процедуры извлечения, согласования и загрузки данных из различных источников и сгенерировать метаданные для средств доступа, таких как Discoverer и Express. Для проектирования Хранилища можно также использовать знакомый многим инструмент Oracle Designer, а затем автоматически перенести описание проекта в репозиторий метаданных Warehouse Builder. Средства доступа к данным покрывают весь спектр аналитических задач: для стандартной отчетности используется Reports, для генерации нерегламентированных отчетов и запросов - Discoverer, для сложного многомерного анализа - продукты семейства Express, а для задач "извлечения знаний" - Darwin Data Mining Suite. Кроме того, существуют готовые аналитические приложения для решения специализированных задач - Sales Analyzer, Financial Analyzer, Activa и Balanced Scorecard. В настоящее время готовятся к выпуску новые аналитические приложения, такие как Demand Planning, Value Based Management и другие. Конечные пользователи могут получать информацию как с помощью традиционных клиент-серверных технологий, так и в Интранет-архитектуре с использованием масштабируемого сервера приложений Application Server.

Направление Хранилищ Данных и систем бизнес-анализа является сегодня для Oracle одним из наиболее приоритетных. Будучи поставщиком полного технологического решения в данной области, Oracle выпускает новые продукты и постоянно совершенствует существующие. Кроме программного обеспечения, корпорация Oracle разработала специальную методологию построения Хранилищ Данных - Data Warehouse Method, дающую четкую последовательность этапов внедрения и позволяющую получить гарантированный результат.

Oracle8i

Растущие требования к количеству и качеству информации, необходимой для принятия бизнес-решений, определяют критерии, предъявляемые к системам хранения и обработки данных. Число пользователей, нуждающихся в информации, стремительно растет, и с развитием технологии они ожидают высокой производительности и доступности аналитических приложений. В то же время, им нужен все больший исторический срез и значительный уровень детализации информации, что вызывает взрывной рост объемов накапливаемых данных. Для успешного управления такими системами необходима мощная и масштабируемая технологическая основа, которую обеспечивает СУБД Oracle8i.

Режимы функционирования базы данных в задачах поддержки принятия решений коренным образом отличаются от ситуации в системах транзакционной обработки (OLTP). Они требуют специальных настроек параметров, методов индексирования и обработки запросов. Начиная с Oracle7, в СУБД стали появляться технологические новинки, целью которых было совершенствование работы базы в режиме Хранилища или Витрины Данных. Так, были введены параллельная обработка запросов, позволяющая наиболее полно использовать возможности многопроцессорных аппаратных платформ, эффективные битовые (bitmap) индексы и специализированные алгоритмы выполнения запросов, такие как хэш-соединения (hash joins), которые многократно повысили производительность обработки аналитических запросов. В Oracle8 появилась мощная возможность секционирования данных (partitioning), облегчающая управление и значительно ускоряющая обработку очень больших таблиц и индексов, особенно в сочетании с новыми алгоритмами параллельного выполнения запросов. Кроме того, появились новые схемы оптимизации, преобразующие запросы к типу "звезда", что позволяет избежать ресурсоемкого полного соединения справочных таблиц.

Сервер Oracle8i продолжил этот ряд усовершенствований. Самое существенное из них - передовая технология управления суммарными данными на основе материализованных представлений (materialized views). Анализируя статистику работы системы, СУБД рекомендует администратору необходимые агрегаты, автоматически их создает и периодически обновляет. Затем при выполнении запросов, требующих агрегирования, Oracle8i переписывает их таким образом, чтобы они обращались к суммарным данным, хранящимся в материализованных представлениях. Такой подход резко (иногда на несколько порядков) повышает производительность Хранилища Данных для конечных пользователей.

Среди других новинок Oracle8i, связанных с быстродействием в задачах поддержки принятия решений, - функциональные индексы, операции CUBE и ROLLUP для вычисления итогов и подитогов в отчетах и ряд других. Помимо появления новых функциональных возможностей, в Oracle8i практически сняты ограничения на масштаб системы - СУБД поддерживает десятки и более терабайт данных и десятки тысяч одновременно работающих пользователей. В состав Oracle8i входит Enterprise Manager - мощное графическое средство, специально разработанное для эффективного администрирования сервера Oracle8i, которое позволяет управлять всеми объектами базы данных и автоматизировать основные административные задачи.

Oracle Warehouse Builder

Центральное место в технологии систем поддержки принятия решений Oracle занимает продукт нового поколения Warehouse Builder - многофункциональная расширяемая среда для разработки и развертывания корпоративных Хранилищ и Витрин Данных. Построенный на базе открытой архитектуры Common Warehouse Metadata, Warehouse Builder обеспечивает интеграцию различных задач, которые ранее решались несколькими узкоспециализированными продуктами. Среди этих задач - проектирование и администрирование Хранилища, извлечение, преобразование и загрузка данных из различных источников, агрегирование, управление метаданными и интеграция инструментальных средств доступа.

Warehouse Builder использует все новые возможности СУБД Oracle8i, связанные с технологиями Хранилищ Данных, такие как материализованные представления, объекты типа "измерение" ("dimension") и т.д. При решении задач администрирования и управления зависимыми процессами Warehouse Builder опирается на Oracle Enterprise Manager и Oracle Workflow, интегрированные с базой данных Oracle8i.

Реализованный на Java и изобилующий Мастерами (Wizards) пользовательский интерфейс Warehouse Builder существенно облегчает решение задач, связанных с созданием, развертыванием и поддержкой Хранилища Данных. Продукт позволяет визуально моделировать схему Хранилища либо импортировать описывающие ее метаданные из репозитория Oracle Designer. В Warehouse Builder включены возможности визуального определения отображений между источниками и Хранилищем и последующей генерации на их основе модулей загрузки данных в виде процедур PL/SQL или с использованием SQL*Loader. При этом можно использовать встроенную библиотеку функций преобразования данных, а также расширять, создавая собственные процедуры на PL/SQL. Кроме того, используемый в сочетании с Warehouse Builder продукт Oracle Pure*Integrate предоставляет мощные средства автоматической очистки данных, включающие алгоритмы нечеткой логики, синтаксический разбор имен и адресов, вероятностные модели и т.д. Эти методики, как правило, применяются для обработки информации о маркетинговых кампаниях и помогают получить интегрированное представление о клиентах и их категориях.

Источниками данных для Warehouse Builder, помимо СУБД Oracle различных версий, могут быть плоские файлы, СУБД других производителей (доступ через шлюзы и ODBC), файловые системы мэйнфреймов (через шлюзы либо продукт Oracle Pure*Extract), а также приложения ERP (через компоненты Integrator for Oracle Applications, SAP R/3 и др.).

Открытая архитектура Common Warehouse Metadata позволяет осуществлять обмен метаданными между Warehouse Builder и средствами бизнес-анализа - Discoverer и Express. С помощью специального Мастера можно перенести метаинформацию из репозитория Warehouse Builder в соответствующие слои метаданных инструментальных средств доступа, минимизировав таким образом затраты на построение и администрирование системы в целом.

Oracle Reports

Oracle Reports - это инструмент создания и публикации стандартных форматированных отчетов, который позволяет распространять самую свежую информацию из баз данных Oracle8i и Express в масштабах предприятия. Отчеты Oracle Reports могут иметь весьма сложную структуру, содержать результаты нескольких запросов, автоматически формировать итоги и подитоги, а также включать в себя разнообразную графическую и ссылочную информацию. Как правило, такие отчеты готовятся квалифицированными специалистами и впоследствии выполняются конечными пользователями.

Oracle Reports значительно сокращает время разработки и позволяет создавать сложные отчеты с помощью визуального интерфейса. Встроенные Мастера позволяют даже новичкам быстро создавать сложные отчеты, а "живой" предварительный просмотр дает возможность разработчикам оценивать полученный результат и делать необходимые изменения. Масштабируемая многоуровневая архитектура Oracle Reports позволяет оптимизировать загрузку, устанавливая сервер отчетов Reports Server на мощном центральном компьютере и освобождая ресурсы клиентских рабочих станций. Механизм интеллектуального кэширования отчетов позволяет наиболее эффективно использовать имеющееся аппаратное обеспечение. Отчеты могут планироваться для выполнения в периоды низкой загрузки, например, в ночное время, после чего конечные пользователи в любой момент могут просмотреть полученные результаты в формате PDF.

Oracle Reports позволяет легко распространять информацию во всей организации, используя Web-архитектуру. Используя Мастер для Web, можно за несколько секунд сделать тот или иной отчет доступным в корпоративном Интранете. Для вызова таких динамических отчетов и доступа к представлению их результатов в формате HTML и XML пользователям потребуется только браузер Web.

Oracle Discoverer

Oracle Discoverer - это инструмент для получения произвольных отчетов, формирования нерегламентированных запросов и анализа данных, который дает бизнес-пользователям всех уровней быстрый и удобный доступ к информации, содержащейся в реляционных Хранилищах и Витринах Данных, а также в OLTP-системах (в том числе не обязательно реализованных на СУБД Oracle).

В отличие от Oracle Reports, где конечный пользователь является только потребителем информации, подготовленной квалифицированным специалистом, в Oracle Discoverer ему предоставлена возможность самостоятельного получения необходимых данных в тех аналитических разрезах, которые его интересуют. Естественно, для этого необходимо скрыть от него сложную внутреннюю структуру Хранилища или Витрины и представить имеющуюся там информацию в понятных ему бизнес-терминах, таких как заказчик, продукт, объем продаж и т.д. Для этого в Discoverer используется специальный слой метаданных - Слой Конечного Пользователя (End User Layer), который содержит всю описательную и другую метаинформацию, необходимую для эффективной работы конечных пользователей без вмешательства технических специалистов. Этот слой может либо создаваться непосредственно разработчиком, либо автоматически генерироваться в Warehouse Builder на основе метаданных Хранилища или Витрины.

Для повышения производительности в Discoverer реализован ряд уникальных технологических новинок. Среди них - предсказание времени выполнения запроса до его начала, возможность создания и последующего автоматического использования суммарных таблиц, интеллектуальный механизм кэширования. Применение данных технологий позволяет обеспечить приемлемые времена отклика даже при работе с очень большими Хранилищами Данных.

Существует несколько редакций Oracle Discoverer для разных категорий пользователей. Discoverer Administration Edition предназначен для создания и администрирования слоя метаданных, а также для разграничения прав доступа к данным и функциональным возможностям Discoverer на уровне каждого конечного пользователя. Множество встроенных Мастеров и Инспекторов позволяют разработчику легко определять и модифицировать объекты в Слое Конечного Пользователя, визуально редактировать их свойства, а также выполнять операции по администрированию и поддержке системы.

Discoverer User Edition - это генератор интерактивных отчетов для конечного пользователя, позволяющий ему формулировать свои потребности в информации в терминах бизнес-области и не требующий от него знания языка SQL. Отчеты организуются в рабочие книги, которые могут храниться как в виде файлов, так и в базе данных, что легко делает результаты анализа доступными для других сотрудников. Возможности Discoverer User Edition по разнообразной детализации данных и получению любых аналитических разрезов дают в руки пользователям мощный и удобный инструмент исследования информации в Хранилищах и Витринах Данных. Встроенные Мастера позволяют определять условия-фильтры, итоги и подитоги, вычислимые поля и т.д., а также представлять информацию в графическом виде. На Рис. 3 изображен пример отчета в Discoverer User Edition, иллюстрирующий возможности условного цветового кодирования (форматирования, зависящего от значений данных).

Рис. 3. Анализ данных в Oracle Discoverer.

Discoverer User Edition может работать и как стандартное приложение Windows, и как "тонкий" Java-клиент в трехуровневой архитектуре (с доступом через обычный браузер), по интерфейсу и функциональности практически не отличающийся от клиент-серверной версии. Кроме того, существует "тонкий" клиент с ограниченной функциональностью - Discoverer Viewer, предназначенный для просмотра отчетов, созданных в User Edition. Реализованный на XML и XSL, Discoverer Viewer позволяет резко сократить сетевой трафик и в связи в этим идеально подходит для удаленных пользователей. И Java-версия Discoverer User Edition, и Discoverer Viewer работают с тем же Слоем Конечного Пользователя, что и Windows-клиент, и обеспечивают ту же простоту использования и механизмы повышения производительности.

Таким образом, Oracle Discoverer обеспечивает уникальное сочетание простоты использования, производительности и простоты администрирования. Его применение очень быстро и при небольших затратах дает ощутимый результат - после простого внедрения организация получает немедленную выгоду от упростившегося доступа пользователей к бизнес-информации. Возможность экспорта метаданных из Warehouse Builder сводит к минимуму усилия по внедрению Discoverer над Хранилищем Данных, а его интеграция с продуктами Express облегчает построение комплексных систем анализа данных.

Продолжение статьи будет опубликовано в течение недели