Нейронные сети
Это большой класс разнообразных систем, чья архитектура в некоторой степени имитирует построение нервной ткани из нейронов. В одной из наиболее распространенных архитектур, многослойном перцептроне с обратным распространением ошибки, эмулируется работа нейронов в составе иерархической сети, где каждый нейрон более высокого уровня соединен своими входами с выходами нейронов нижележащего слоя. На нейроны самого нижнего слоя подаются значения входных параметров, на основе которых нужно принимать какие-то решения, прогнозировать развитие ситуации и т. д. Эти значения рассматриваются как сигналы, передающиеся в вышележащий слой, ослабляясь или усиливаясь в зависимости от числовых значений (весов), приписываемых межнейронным связям. В результате этого на выходе нейрона самого верхнего слоя вырабатывается некоторое значение, которое рассматривается как ответ, реакция всей сети на введенные значения входных параметров. Для того чтобы сеть можно было применять в дальнейшем, ее прежде надо "натренировать" на полученных ранее данных, для которых известны и значения входных параметров, и правильные ответы на них. Эта тренировка состоит в подборе весов межнейронных связей, обеспечивающих наибольшую близость ответов сети к известным правильным ответам. Такой подход оказался высокоэффективным в задачах распознавания образов, однако он почти не применим к большинству финансовых и экономических задач в российских условиях, так как не удовлетворяет двум из трех сформулированных в предыдущем разделе требований.
Во-первых, реальные нейросети, создаваемые, скажем, в результате обучения на истории российских финансовых рынков, - это очень сложные системы, включающие десятки нейронов и несколько сотен связей между ними. Во-вторых, количество степеней свободы создаваемой прогностической модели (вес каждой связи между нейронами сети) часто превышает число использовавшихся для обучения примеров (отдельных записей данных). Это означает, что нейросеть может "научиться" даже на массиве сгенерированных случайных чисел. И действительно, как показывает применение нейросети для решения тестовой задачи по анализу рынка акций, приведенной далее, она прекрасно объясняет все колебания рынка в прошлом, но не дает обоснованного прогноза на будущее. Невыполнимость требования прозрачности создаваемых прогностических моделей опять-таки связана со сложностью нейросети. Знания, зафиксированные как веса нескольких сотен межнейронных связей, совершенно не поддаются анализу и интерпретации человеком. Вследствие этого нейросети оказываются почти не пригодны для решения российских финансовых задач, хотя в развитых странах нейросети широко применяются в этой области. В России можно приобрести такие нейросетевые системы, как BrainMaker (CSS), NeuroShell (Ward Systems Group), OWL (HyperLogic). Стоимость их также довольно значительна: 1500-8000 долл.
Некоторые термины и понятия
Наряду с суммами в ячейках OLAP-куба могут содержаться результаты выполнения иных агрегатных функций языка SQL, таких как MIN, MAX, AVG, COUNT, а в некоторых случаях — и других (дисперсии, среднеквадратичного отклонения и т.д.). Для описания значений данных в ячейках используется термин summary (в общем случае в одном кубе их может быть несколько), для обозначения исходных данных, на основе которых они вычисляются, — термин measure, а для обозначения параметров запросов — термин dimension (переводимый на русский язык обычно как "измерение", когда речь идет об OLAP-кубах, и как "размерность", когда речь идет о хранилищах данных). Значения, откладываемые на осях, называются членами измерений (members).
Говоря об измерениях, следует упомянуть о том, что значения, наносимые на оси, могут иметь различные уровни детализации. Например, нас может интересовать суммарная стоимость заказов, сделанных клиентами в разных странах, либо суммарная стоимость заказов, сделанных иногородними клиентами или даже отдельными клиентами. Естественно, результирующий набор агрегатных данных во втором и третьем случаях будет более детальным, чем в первом. Заметим, что возможность получения агрегатных данных с различной степенью детализации соответствует одному из требований, предъявляемых к хранилищам данных, — требованию доступности различных срезов данных для сравнения и анализа.
Поскольку в рассмотренном примере в общем случае в каждой стране может быть несколько городов, а в городе — несколько клиентов, можно говорить об иерархиях значений в измерениях. В этом случае на первом уровне иерархии располагаются страны, на втором — города, а на третьем — клиенты рис. 3.
Рис. 3. Иерархия в измерении, связанном с географическим положением клиентов
Отметим, что иерархии могут быть сбалансированными (balanced), как, например, иерархия, представленная на рис. 3, а также иерархии, основанные на данных типа "дата—время", и несбалансированными (unbalanced).
Типичный пример несбалансированной иерархии — иерархия типа "начальник—подчиненный" ( ее можно построить, например, используя значения поля Salesperson исходного набора данных из рассмотренного выше примера), представлен на рис. 4.
Рис. 4. Несбалансированная иерархия
Иногда для таких иерархий используется термин Parent-child hierarchy.
Существуют также иерархии, занимающие промежуточное положение между сбалансированными и несбалансированными (они обозначаются термином ragged — "неровный"). Обычно они содержат такие члены, логические "родители" которых находятся не на непосредственно вышестоящем уровне (например, в географической иерархии есть уровни Country, City и State, но при этом в наборе данных имеются страны, не имеющие штатов или регионов между уровнями Country и City; (рис. 5).
Рис. 5. "Неровная" иерархия
Отметим, что несбалансированные и "неровные" иерархии поддерживаются далеко не всеми OLAP-средствами. Например, в Microsoft Analysis Services 2000 поддерживаются оба типа иерархии, а в Microsoft OLAP Services 7.0 — только сбалансированные. Различным в разных OLAP-средствах может быть и число уровней иерархии, и максимально допустимое число членов одного уровня, и максимально возможное число самих измерений.
Нелинейные регрессионные методы
Поиск зависимости целевых переменных от остальных ведется в форме функций какого-то определенного вида. Например, в одном из наиболее удачных алгоритмов этого типа - методе группового учета атрибутов (МГУА) зависимость ищут в форме полиномов. По всей видимости, этот метод дает более статистически значимые результаты, чем нейронные сети. К тому же полученная формула зависимости, полином, в принципе поддается анализу и интерпретации (хотя на практике все же бывает слишком сложна для этого). Это делает данный метод достаточно перспективным для анализа российских финансовых и корпоративных данных. В настоящее время из продающихся в России систем МГУА реализован лишь в системе NeuroShell компании Ward Systems Group.
Один из подходов к созданию систем поддержки принятия решений нового поколения
Одним из рациональных подходов к постановке задачи разработки системы интеллектуальной поддержки принятия решений масштаба корпоративного предприятия является подход, ориентированный на интеграцию двух связанных информационных технологий: технологии построения информационных хранилищ (ИХ) и технологии интеллектуального анализа данных.
OLAP на клиенте и на сервере
Многомерный анализ данных может быть произведен с помощью различных средств, которые условно можно разделить на клиентские и серверные OLAP-средства.
Клиентские OLAP-средства представляют собой приложения, осуществляющие вычисление агрегатных данных (сумм, средних величин, максимальных или минимальных значений) и их отображение, при этом сами агрегатные данные содержатся в кэше внутри адресного пространства такого OLAP-средства.
Если исходные данные содержатся в настольной СУБД, вычисление агрегатных данных производится самим OLAP-средством. Если же источник исходных данных— серверная СУБД, многие из клиентских OLAP-средств посылают на сервер SQL-запросы, содержащие оператор GROUP BY, и в результате получают агрегатные данные, вычисленные на сервере.
Как правило, OLAP-функциональность реализована в средствах статистической обработки данных (из продуктов этого класса на российском рынке широко распространены продукты компаний StatSoft и SPSS) и в некоторых электронных таблицах. В частности, неплохими средствами многомерного анализа обладает Microsoft Excel 2000. С помощью этого продукта можно создать и сохранить в виде файла небольшой локальный многомерный OLAP-куб и отобразить его двух- или трехмерные сечения.
Многие средства разработки содержат библиотеки классов или компонентов, позволяющие создавать приложения, реализующие простейшую OLAP-функциональность (такие, например, как компоненты DecisionCube в Borland Delphi и Borland C++Builder). Помимо этого многие компании предлагают элементы управления ActiveX и другие библиотеки, реализующие подобную функциональность.
Отметим, что клиентские OLAP-средства применяются, как правило, при малом числе измерений (обычно рекомендуется не более шести) и небольшом разнообразии значений этих параметров, — ведь полученные агрегатные данные должны умещаться в адресном пространстве подобного средства, а их количество растет экспоненциально при увеличении числа измерений. Поэтому даже самые примитивные клиентские OLAP-средства, как правило, позволяют произвести предварительный подсчет объема требуемой оперативной памяти для создания в ней многомерного куба.
Многие (но не все!) клиентские OLAP- средства позволяют сохранить содержимое кэша с агрегатными данными в виде файла, что, в свою очередь, позволяет не производить их повторное вычисление. Отметим, что нередко такая возможность используется для отчуждения агрегатных данных с целью передачи их другим организациям или для публикации. Типичным примером таких отчуждаемых агрегатных данных является статистика заболеваемости в разных регионах и в различных возрастных группах, которая является открытой информацией, публикуемой министерствами здравоохранения различных стран и Всемирной организацией здравоохранения. При этом собственно исходные данные, представляющие собой сведения о конкретных случаях заболеваний, являются конфиденциальными данными медицинских учреждений, которые ни в коем случае не должны попадать в руки страховых компаний и тем более становиться достоянием гласности.
Идея сохранения кэша с агрегатными данными в файле получила свое дальнейшее развитие в серверных OLAP-средствах, в которых сохранение и изменение агрегатных данных, а также поддержка содержащего их хранилища осуществляются отдельным приложением или процессом, называемым OLAP-сервером. Клиентские приложения могут запрашивать подобное многомерное хранилище и в ответ получать те или иные данные. Некоторые клиентские приложения могут также создавать такие хранилища или обновлять их в соответствии с изменившимися исходными данными.
Преимущества применения серверных OLAP-средств по сравнению с клиентскими OLAP-средствами сходны с преимуществами применения серверных СУБД по сравнению с настольными: в случае применения серверных средств вычисление и хранение агрегатных данных происходят на сервере, а клиентское приложение получает лишь результаты запросов к ним, что позволяет в общем случае снизить сетевой трафик, время выполнения запросов и требования к ресурсам, потребляемым клиентским приложением. Отметим, что средства анализа и обработки данных масштаба предприятия, как правило, базируются именно на серверных OLAP-средствах, например, таких как Oracle Express Server, Microsoft SQL Server 2000 Analysis Services, Hyperion Essbase, продуктах компаний Crystal Decisions, BusinessObjects, Cognos, SAS Institute.Поскольку все ведущие производители серверных СУБД производят (либо лицензировали у других компаний) те или иные серверные OLAP-средства, выбор их достаточно широк и почти во всех случаях можно приобрести OLAP-сервер того же производителя, что и у самого сервера баз данных.
Отметим, что многие клиентские OLAP-средства (в частности, Microsoft Excel 2000, Seagate Analysis и др.) позволяют обращаться к серверным OLAP-хранилищам, выступая в этом случае в роли клиентских приложений, выполняющих подобные запросы. Помимо этого имеется немало продуктов, представляющих собой клиентские приложения к OLAP-средствам различных производителей.
OLAP-серверы могут хранить многомерные данные разными способами, которые мы и обсудим в следующем разделе.
Ответственность
Несомненно, IT-отдел предприятия является главным звеном, ответственным за функционирование систем бизнес-аналитики. На вопрос, кто несет ответственность за аналитические системы на предприятии, 73% респондентов указали, что ответственность лежит на отдельной группе специалистов. Почти половина (41%) указала, что эта группа является структурной единицей IT-отдела, ответственной за работу хранилища данных; остальные 40% указали, что эта группа состоит как из IT-специалистов, так и из бизнес-персонала. По всем рассмотренным компаниям, у IT-группы, ответственной за хранилище данных, около 30% рабочего времени выделено на обслуживание систем бизнес-аналитики.
На вопрос о полномочиях принятия решения о приобретении, 39% респондентов указали, что высшее управленческое звено IT-отдела одобрило приобретение аналитических систем, а примерно половина указала, что подобное решение исходило со стороны различных отделов предприятия. Далее, конкретные лица BI-инициатив также оказались распределенными среди многочисленных отделов с отсутствем явно выраженного шаблона. Весьма удивительно, что BI-инициативы часто выдвигаются заказчиками (40%) и бизнес-партнерами (22%).
PivotTable Service, OLE DB for OLAP и ADO MD
Приложения, предназначенные для чтения OLAP-данных, при взаимодействии с аналитическими службами обязательно используют PivotTable Service — библиотеки, загружаемые в адресное пространство клиентского приложения. Эти библиотеки автоматически устанавливаются вместе с аналитическими службами (независимо от того, какая именно их часть установлена — клиентская или серверная), а также вместе с Microsoft Office 2000. В состав Microsoft SQL Server 2000 входит также инсталляционное приложение для установки PivotTable Service на компьютер, на котором не установлены ни аналитические службы, ни Microsoft Office.
PivotTable Service можно использовать в любой 32-разрядной версии Windows для просмотра серверных OLAP-кубов, а также для создания, модификации и чтения локальных OLAP-кубов, созданных в клиентском приложении, реализуя таким образом клиентскую OLAP-функциональность. Эти библиотеки реализуют кэширование в клиентском приложении данных, полученных как с OLAP-сервера, так и из реляционных источников данных. Помимо этого они позволяют осуществлять кэширование данных и на OLAP-сервере, повышая тем самым производительность работы с ним в случае обращения к одним и тем же данным нескольких пользователей.
Для взаимодействия с PivotTable Service клиентское приложение может использовать OLE DB for OLAP — расширение универсального механизма доступа к данным OLE DB, позволяющее обращаться к многомерным данным, а также ADO MD — библиотеки, представляющие собой надстройку над OLE DB for OLAP и являющиеся COM-серверами для доступа к многомерным данным, удобными для применения в клиентских приложениях.
Отметим, что спецификация OLE DB for OLAP является открытой. Это означает, что можно создавать и другие OLAP-серверы, поддерживающие OLE DB for OLAP (либо разрабатывать OLE DB-провайдеры к уже имеющимся OLAP-средствам), а также создавать клиентские приложения, обращающиеся к любым таким источникам данных с помощью PivotTable Service, OLE DB for OLAP и ADO MD.
Пользователи Delphi могут найти примеры применения OLE DB for OLAP и ADO MD в нашей статье "Borland Delphi и расширения ADO".
Предметно-ориентированные аналитические системы
Такие системы очень разнообразны, поэтому рассмотрим здесь один из наиболее типичных и важных классов этих систем, а именно системы анализа финансовых рынков, построенные на основе методов технического анализа. Технический анализ представляет собой совокупность нескольких десятков методов прогноза динамики цен и выбора оптимальной структуры инвестиционного портфеля, основанных на различных эмпирических моделях динамики рынка. Эти методы могут быть весьма просты (как, например, методы, использующие вычитание трендового значения), а могут иметь достаточно сложную математическую основу - скажем фрактальную математику или спектральный анализ. Поскольку, как правило, вся теория уже "зашита" в эти системы, а не выводится на основании истории рынка, то требования статистической значимости выводимых моделей и возможности их интерпретации для них не имеют смысла. Заметим лишь, что многие из рассматриваемых систем ориентированы на работу на западных рынках, не учитывают наших реалий и поэтому не очень пригодны для применения в России. Третьему требованию они удовлетворяют в большей степени, чем другие обсуждаемые классы систем, оперируют в терминах предметной области, понятных трейдерам и финансовым аналитикам, обычно имеют специализированные интерфейсы для загрузки финансовых данных и обладают другими преимуществами специализированных систем. На рынке имеется великое множество программ этого класса. Как правило, они довольно дешевы (обычно 300-1000 долл.). Из тех, что можно приобрести в России, назовем MetaStock (компания Equis International), SuperCharts (Omega Research), Candlestick Forecaster (IPTC), Wall Street Money (Market Arts).
Приложения Microsoft Office
Из других клиентских приложений, не входящих в состав аналитических служб, но часто используемых для просмотра OLAP-кубов, следует назвать приложения Microsoft Office, в частности Microsoft Excel. С помощью Excel можно обращаться к серверным OLAP-кубам, получая их двух- и трехмерные сечения на листах рабочих книг Excel в виде сводных таблиц, а также создавать локальные OLAP-кубы в виде файлов на основе реляционных данных, доступных с помощью OLE DB (рис. 3).
Рис. 3. Применение Excel в качестве OLAP-клиента
Кроме того, в состав Microsoft Office Web Components входит элемент управления ActiveX PivotTable List, позволяющий реализовать сходную функциональность как в обычном Windows-приложении, так и на HTML-странице, предназначенной для применения внутри корпоративной сети (рис. 4).
Рис. 4. Применение элемента управления PivotTable List в качестве OLAP-клиента
Подробнее о применении Microsoft Office в качестве клиентских приложений для аналитических служб мы расскажем в одной из следующих статей данного цикла.
Пользователи Delphi могут также обратиться к нашим статьям «Delphi, Excel и OLAP» и «Использование Web-компонентов Microsoft Office. Часть 2» (КомпьютерПресс № 12’2000), в которых рассматриваются примеры создания клиентских приложений с использованием Excel и Microsoft Office Web Components.
Отметим, что помимо Microsoft Office существуют и другие коммерческие продукты, предназначенные для обращения к OLAP-данным и создания OLAP-кубов. Кроме того, как мы уже говорили, можно создавать свои собственные приложения, использующие PivotTable Service, OLE DB for OLAP и ADO MD (рис. 5).
Рис. 5. Приложение, использующее PivotTable Service и OLE DB for OLAP
Примеры реализации информационных систем с использованием OLAP
Чтобы утверждения о необходимости и повсеместном распространении OLAP не казались голословными, рассмотрим несколько примеров решения задач с помощью OLAP-инструментов крупными зарубежными предприятиями.
Наш первый пример - одна из крупнейших американских энергетических компаний, Duke Energy, чьи активы превышают 20 миллиардов, а число сотрудников составляет 22 000 человек, работающих в различных подразделениях компании по всему миру. Сферой деятельности компании являются энергетическое обеспечение, обслуживание трубопроводов и поставки электрической энергии, природного газа и сжиженного природного газа. На момент внедрения OLAP компания предполагала выйти на нерегулируемый правительством энергетический рынок и отвоевать себе определенный кусок мирового энергетического бизнеса.
В процессе подготовки к этому новому этапу отдел управления информацией Duke Energy прорабатывал различные возможности применения использовавшихся компанией технологий для управления изменившимися информационными потребностями предприятия и обеспечения ему достойного места на рынке и соответствующего развития. В конечном счете, вопрос заключался в обеспечении своих конечных пользователей доступом к информации, хранящейся в корпоративных базах данных. Специалисты по управлению информацией выяснили, что в процессе принятия решений всем подразделениям, начиная с финансовых отделов и заканчивая кадровыми, исключительно важно иметь доступ к такой информации тогда и там, где она им необходима.
Система, которую Duke Energy использовал до этого момента, была сложной в плане использования и без серьезного вмешательства специалистов по управлению информацией не обеспечивала необходимый предприятию уровень точности и своевременности данных. Планируя апгрейд имеющихся систем поддержки принятия решений таким образом, чтобы сотрудники финансовых и других нетехнических подразделений компании могли наиболее полно использовать корпоративные данные, Duke Energy принял решение о внедрении OLAP-системы.
Была выбрана система поддержки принятия решений от Business Objects. В результате ее внедрения, данные, находящиеся в оперативной базе PeopleSoft и витрине данных IBM DB2 HRMS стали доступны для OLAP-анализа и разнообразных запросов и отчетов различных подразделений компании. Решение использует RDTs (Шаблоны быстрого развертывания, Rapid Deployment Templates), содержащие образцы отчетов, которые пользователи без специальных технических знаний могут настраивать по своему усмотрению для генерации незапланированных запросов к данным и отчетов.
В данном случае компания определила, что предложение Business Objects наилучшим образом отвечает ее потребностям. Но это не значит, что другие решения в чем-то хуже выбранного. Каждое предприятие, принявшее решение о внедрении OLAP, в первую очередь рассматривает оптимальность предложений различных поставщиков применительно к своим собственным проблемам и нуждам. Например, та же фирма Cognos успешно поставляет свои продукты таким серьезным клиентам, как Министерство обороны США и компании Boeing. Являясь клиентом Cognos с 1996 года, Министерство обороны постоянно обновляет имеющиеся системы, дополняя их новыми возможностями и разработками. В ноябре прошлого года финансовым подразделением Министерства (DFAS) была приобретена система бизнес-репортинга и анализа с новыми визуализационными возможностями (Cognos Visualizer), стоимостью 1 миллион долларов. Новое интранет-решение поддерживает инициативу "Business of DFAS", применяющую бизнес-терминологию к работе правительственного агентства, и объединяет данные из множества разрозненных систем, делая их доступными для тысяч сотрудников DFAS и других агентств Министерства через защищенный Интернет-портал. "Визуализатор" преобразует сложные данные в понятную удобную для использования информацию, отображая ее с использованием богатой графики, разнообразных презентационных возможностей и функций оценки данных. Роберт Эш (Robert Ashe), первый вице-президент Cognos, называет данное решение "ядром "электронного Правительства" (e-Government)", обеспечивающего федеральным агентствам возможность использовать Интернет для упрощения и ускорения доступа к необходимой им информации.
Главный специалист по информации DFAS Вэнс Козларич (Vance Kauzlarich) заявил, что процесс принятия решений в его подразделении нуждался в объемном представлении задач и факторов, влияющих на работу Агентства. Внедрение OLAP-технологии позволило создать такую картину для конечных пользователей, получивших в итоге возможность сформировать углубленное представление о работе Агентства, что в свою очередь, будет способствовать улучшению управления и принятия решений соответствующими сотрудниками.
Перед Boeing Company стояла несколько иная задача. Так как все самолеты собраны на заказ и включают до нескольких миллионов различных компонентов, сотрудникам требовалось серьезное бизнес-аналитическое (BI) решение для обработки данных таких существенных объемов. В рамках специальной программы по созданию инфраструктуры для репортинга в сфере принятия решений, 16 июля 2001 года в подразделении коммерческой авиации (Boeing Commercial Airplane unit) начато внедрение продукта Cognos Impromptu Web Reports, с помощью которого 11 500 сотрудников подразделения смогут генерировать через Интернет отчеты к базе данных по накладным и спецификациям на компоненты летательных аппаратов. Руководители Boeing Company полагают, что новое решение сэкономит значительное количество человеко-часов, ранее затрачивавшихся на создание таких отчетов вручную. Все вместе это закономерно будет способствовать улучшению процесса принятия решений.
Дабы не ограничиваться исключительно компаниями, OLAP-продукты которых описаны в предыдущей статье данной рубрики, рассмотрим еще одного крупного поставщика OLAP. Компания MicroStrategy, продукты которой в области OLAP остались за рамками предыдущей статьи данной рубрики, как и большинство лидеров этого рынка, также предлагает специализированные решения для отдельных областей бизнеса - финансов, страхования, здравоохранения, правительственных организаций и др. - на базе MicroStrategy Business Intelligence Platform. Одно из таких решений нашло применение в области энергетики.
Компания KeySpan, крупнейший на северо- востоке США поставщик природного газа, имеющий подразделения в Бруклине, Бостоне и на Лонг-Айленде, управляющий рядом сервисных энергетических компаний и более чем 13 000 сотрудников, использует MicroStrategy Narrowcast Server для обеспечения Нью-Йоркских домовладельцев и предприятий достаточным количеством энергии для отопления и подогрева воды. Narrowcast Server, являющийся ключевым компонентом MicroStrategy Business Intelligence Platform, предоставляет пользователям мощные аналитические возможности и интеллектуальную систему предупреждения. В частности, система посылает предупреждения о снижении или повышении расхода газа относительно проектного на соответствующие адреса электронной почты и пейджеры. Клиенты KeySpan, "продавцы", поставляющие газ конечным пользователям, могут подключиться к Экстранет компании для просмотра и анализа проектного и реального использования газа и принятия обоснованных решений относительно объемов газа, необходимых для передачи по трубопроводам в каждый конкретный день. KeySpan использует технологии MicroStrategy для анализа таких факторов, как исторические данные и погодные условия, чтобы спланировать объемы поставок газа. Narrowcast Server четыре раза в день сравнивает фактический поток газа с запланированным ранее в тот же день и отсылает отчет о неплановых ситуациях по электронной почте или пейджеру соответствующему клиенту KeySpan и оперативным подразделениям, контролирующим вентили трубопровода. Таким образом компании-поставщики могут оптимизировать объемы поставляемого потребителям газа в зависимости от ряда различных факторов.
Для примеров были намеренно выбраны организации циклопических размеров, построившие на основе OLAP-технологий суперсложные информационные системы, стоившие им фантастических затрат. Эти примеры наводят на мысль, что OLAP - вовсе не бесполезная игрушка для сумасшедших ученых-аналитиков, как считают некоторые российские ИТ-специалисты и бизнесмены, а стандартная технология ведения бизнеса, неотъемлимая часть инфраструктуры современной организации.
Распространенность
Предназначение систем бизнес-интеллекта больше не ограничено элитными пользователями из руководителей высшего звена. Теперь бизнес-интеллект затрагивает всю иерархию предприятия. В прошлом, системы бизнес-аналитики были предназначены для обслуживания руководителей и их штата, и предназначались главным образом для анализа финансовых вопросов. Хотя администраторы (75%) и линейное руководство (72%) относятся к категории высших пользователей, конторский персонал рассматривается в качестве пользователей систем бизнес-аналитики в 52% компаний. Сорок пять % компаний теперь поддерживают работу более ста пользователей, а 25 % - более 750 пользователей.
Реализация
Как правило, реализацией проектов интеллектуальных систем занимается внутренний IT-штат, и руководство ожидает немедленной реализации проекта, сопровождающееся быстрой окупаемостью. Респонденты указывают, что внутренний IT-штат действительно включен в реализацию проектов бизнес-интеллекта (70%) и что вовлеченность IT-специалистов будет постоянно увеличиваться (66%). Напротив, только 23% указали, что системные интеграторы включены в реализацию подобных проектов, и лишь 33% указали, что участие системных интеграторов увеличится. Удивительным результатом является то, что лишь 8% используют сервис-провайдеров для реализации конкретного сервиса бизнес-интеллекта; однако 33% ожидают, что сервис-провайдеры увеличат свое участие.
На вопрос о соответствующем возврате капиталовложений для инвестиций в системы бизнес-интеллекта, респоденты (66% лиц, занимающихся финансовым планированием) указали, что проекты внедрения систем бизнес-интеллекта должны иметь срок возврата инвестиций меньше одного года.
Рисунок 2: Приложения бизнес-интеллекта
Репозитарий аналитических служб
При создании описаний OLAP-кубов с помощью библиотек SQL DSO эти описания, или метаданные, сохраняются в репозитарии. Сами же данные сохраняются в каталоге, указанном при установке Analysis Services (впоследствии его местоположение можно изменить).
По умолчанию репозитарий аналитических служб представляет собой базу данных Access msmdrep.mdb, расположенную в каталоге Microsoft Analysis Services\Bin, который при необходимости можно перенести и в базу данных Microsoft SQL Server. Текущая версия аналитических служб не поддерживает сохранение репозитария в базах данных других СУБД, в то время как само исходное реляционное хранилище данных может содержаться в любой СУБД, доступной с помощью универсальных механизмов доступа к данным OLE DB и ODBC.
Создание приложений для чтения и записи в репозитарий с помощью средств, отличных от библиотек SQL DSO, не рекомендуется, так как структура репозитария не документирована и может быть изменена в последующей версии аналитических служб.
В следующей статье данного цикла мы рассмотрим процесс создания многомерной базы данных и OLAP-кубов с помощью Analysis Manager.
Рыночные ожидания
Рынок систем бизнес-интеллекта находится в полном расцвете сил и быстро растет. В недавнем прошлом, этот рынок был маленьким сегментом других рынков, таких как управление базами данных и инструментальные средства генерации отчетов. Теперь же рынок BI быстро растет, в соответствии с возрастанием интереса к таким приложениям бизнес-интеллекта, как CRM. Большинство респондентов (89%) ожидают рост рынка бизнес-интеллекта, а 23% ожидают взрывобразного роста в недалеком будущем. Буквально каждый опрошенный утверждал о финансовой выгоде от применения приложений бизнес-интеллекта, а 50% ответило, что эта выгода "весьма значительна".
30% опрошенных указали, что их бюджет на системы бизнес-интеллекта составляет около одного миллиона долларов или превышает эту сумму. 6% компаний имеют BI-бюджет 50 миллионов долларов или более. Нет никакой очевидной корреляции между BI-бюджетом и промышленностью. У 25% компаний бюджет систем бизнес-интеллекта имеет постоянный здоровый годовой рост на 30% или более, и 8% опрошенных ожидают удвоения бюджета в ближайшие два или три года.
Системы рассуждений на основе аналогичных случаев
Идея систем case based reasoning - CBR - крайне проста. Для того чтобы сделать прогноз на будущее или выбрать правильное решение, эти системы находят в прошлом близкие аналоги наличной ситуации и выбирают тот же ответ, который был для них правильным. Поэтому этот метод еще называют методом "ближайшего соседа" (nearest neighbour). Системы CBR показывают очень хорошие результаты в самых разнообразных задачах. Главный их минус заключается в том, что они вообще не создают каких-либо моделей или правил, обобщающих предыдущий опыт, - в выборе решения они основываются на всем массиве доступных исторических данных, поэтому невозможно сказать, на основе каких конкретно факторов CBR системы строят свои ответы. Примеры систем, использующих CBR, - KATE tools (Acknosoft, Франция), Pattern Recognition Workbench (Unica, США).
Службы преобразования данных
Источником данных для кубов OLAP, как правило, является реляционное хранилище данных. Сами по себе аналитические службы не содержат средств для пополнения реляционного хранилища данными из оперативных баз данных, с которыми работают пользователи. Однако такие средства содержат многие современные серверные СУБД.
В частности, в Microsoft SQL Server средства для переноса данных из одной реляционной СУБД в другую с возможным их преобразованием, которые можно применять и для пополнения хранилищ данных, называются службами преобразования данных (Data Transformation Services, DTS). Службы преобразования данных могут быть использованы не только с Microsoft SQL Server, но и с любыми другими источниками данных, доступными через универсальный механизм доступа к данным OLE DB (более подробное описание OLE DB и ADO вы найдете в книге «Базы данных для всех», которая будет выпущена издательством «КомпьютерПресс» этим летом).
Отметим, что DTS позволяют использовать дополнительные модули расширения (plug-ins) и в состав аналитических служб входит одно из таких расширений, позволяющее обновлять OLAP-кубы.
Состояние рынка систем бизнес-интеллекта
Основанная на телефонных интервью со 100 компаниями, это исследование анализирует тенденции важных изменений рынка приложений бизнес-интеллекта (BI - business intelligence). Спонсором этой публикации является DM Review, чья база данных подписчиков насчитывает более 72 тысяч профессионалов, работающих в области информационных технологий. В ходе опроса, бизнес- и IT-менеджерам задавался вопрос, вовлечены ли они непосредственно в работу с существующими BI-системами или планируют существенные капиталовложения в BI-системы на ближайший год.
Движущая сила изменений на рынке бизнес-интеллекта - электронная коммерция с ее цифровой экономикой мгновенных глобальных транзакций, требующей интеграции наследуемых систем. Компании вынуждены заново продумать и реорганизовать свои бизнес-процессы как часть процесса миграции в мир электронной коммерции. Потребности в структурированных сведениях о заказчиках, поставщиках, дистрибуторах, партнерах и конкурентах становятся все более и более острыми. Именно поэтому бизнес-интеллект стал центральным компонентом для любой эффективной инициативы электронной коммерции. В понятии бизнес-интеллекта включены такие современнейшие технологии, как управление взаимоотношениями с клиентами, анализ логистических цепочек, автоматизация продаж, дистрибутивные каналы и технологические прогнозы.
По общему убеждению, главная цель бизнес-интеллекта состоит в более мудром и за счет этого более гладком выполнении бизнес-процессов.
Давайте рассмотрим, что стоит за этим утверждением.
С точки зрения исторической перспективы, рынок бизнес-интеллекта традиционно был сосредоточен на поддержке принятия управленческих решений, с использованием технологии хранения данных, запросов/репортинга, многомерного анализа, добычи данных и информационных порталов.
В прошлом десятилетии этот набор технологий хорошо нам послужил. Бизнес-интеллект уменьшил риск и время принятия решений в областях бизнеса, имеющих дело с нетрадиционными, непредвиденными и запутанными ситуациями.
Вследствие этого успеха, рынок бизнес-интеллекта находится в постоянном напряжении, вызванном необходимостью поддержки самых разнообразных направлений - управления взаимоотношениями с клиентами, передовых вертикальных решений для таких областей, как телекоммуникации и здравохранение, и таких новейших технологий, как управление знаниями и интеллектуальный анализ текстовых данных.
Некоторые думают, что системы бизнес-интеллекта будут фрагментироваться на небольшие приложения и затем внедряться в конечные системы, тем самым навсегда исчезнув из поля зрения IT-специалистов. Другие специалисты находятся в неуверенности относительно динамики развития систем бизнес-интеллекта в наступающие годы. Следовательно, есть огромная неуверенность в рядах IT-специалистов, планирующих и реализующих системы бизнес-интеллекта, и в рядах поставщиков, разрабатывающих интеллектуальные продукты и сервисы.
Наши результаты подтверждают несколько традиционных понятий бизнес-интеллекта и некоторые отчетливо просматриваемые тенденции. Однако, эти результаты достаточно неожиданны, а иногда противоположны требованиям, предъявляемым промышленностью.
Советы практикам бизнес-интеллекта
Вот некоторые советы практикам систем бизнес-интеллекта, основанные на результатах нашего исследования.
Исследуйте пути концентрирования и распространения аналитической информации для заказчиков, поставщиков и других бизнес-партнеров. Как эта информация может упростить их работу, тем самым улучшив отношение к вашей компании? Исследуйте, как внешние источники данных могут расширять функциональность хранилища данных. Определите и задокументируйте проблемы конфиденциальности, которые влияют на работу вашей компании, и старайтесь внедрять промышленные стандарты. Постоянно улучшайте уровень навыков внутреннего IT-штата в соответствиями с концепциями и практикой бизнес-интеллекта. Рассмотрите возможность предоставления функциональных возможностей бизнес-интеллекта со стороны сервис-провайдеров. Проанализируйте полную архитектуру предприятия с точки зрения интеллектуальных систем, особенно в управлении метаданными и бизнес-процессами. Рассмотрите возможности вашей системной архитектуры к гладкому масштабированию. Быстро растущие интеллектуальные системы зачастую требуют адекватного увеличения ресурсов.Аналогично, мы можем посоветовать поставщикам систем бизнес-интеллекта:
Упрощайте свои продукты в области разработки и установки, старайтесь держаться в пределах способностей и возможностей типичного IT-штата. IT-штат должен быть уверен, что они смогут освоить ваш продукт, тем самым незамедлительно принося прибыль совей компании. Упрощайте использование ваших продуктов, реализуйте наиболее общие функции, ориентируясь на пользователей средних способностей и даже еще ниже. Не следует упрощать продукт путем ограничения его функциональности. Пытайтесь достигнуть сбалансированного, простого, но эффективного дизайна, с естественным интерфейсом, понятным каждому пользователю, имеющему хоть какое-то знание предметной области. Рассмотрите возможность поставки вашего продукта в качестве некоторой разновидности сервиса, предоставляемого сервис-провайдером. Разрабатывайте ваш продукт так, чтобы он мог быть гибко сконфигурирован и встроен в инфраструктуру сервис-провайдера.На текущий момент это небольшой сегмент рынка, но тем не менее обладающий значительным потенциалом роста. Обдумайте ваше ценовое предложение таким образом, чтобы вы могли четко и ясно доказать заказчику, что ваш продукт имеет период окупаемости меньше года. Изучите отношения с IT-группой, ответственной за хранилище данных. Поймите, кто является лидером в выдвижении инициатив бизнес-интеллекта и кто вовлечен в принятие решений для реализации интеллектуальных системы. Если ваше приложение носит специализированный характер (независимо от его изумительной прибыльности), сделайте акцент на разумной интеграции с другими системами предприятия. Аргументированно продемонстрируйте, что ваше решение будет работать совместно с другими продуктами, образуя последовательную и непротиворечивую архитектуру предприятия. Проектируйте ваши продукты и сервисы так, чтобы они были расширяемы и масштабируемы. Они должны служить базисом для гладкого развития функциональности будущих решений и обеспечивать твердый фундамент для быстрого роста. Разрабатывайте ваши приложения таким образом, чтобы обеспечить гибкую политику секретности и обеспечения разумных меры защиты.
Современная роль приложений бизнес-интеллекта
В качестве заключения следует отметить, что это исследование создает картину жизненно важной и исчерпывающей роли бизнес-интеллекта в современном предприятии глобального масштаба. Бизнес-интеллект больше не ограничен рамками вашего хранилища данных. Мы наблюдаем развитие этой концепции в значительно более богатое, широкое и всестороннее понятие, невообразимое несколько лет тому назад.
