Моя страница в одноклассниках зайти на страницу уже зарегистрирована: Одноклассники социальная сеть саркисян. Одноклассники – Моя страница войти прямо сейчас

Страница

Содержание

Ошибка на миллион: что может пойти не так при построении хранилища данных

  • Главная
  • Управление
  • ИТ в бизнесе

Автор Яна Ларькина

Создание корпоративного хранилища данных — сложный и затратный процесс. Ошибки на старте и во время реализации проекта могут привести к неконтролируемому росту расходов, а также технологическим и экономическим потерям для бизнеса.

Корпоративное хранилище данных (Data Warehouse, DWH) необходимо для запуска проектов в области бизнес-аналитики. Данные поступают в хранилище из различных источников — информационных систем, приложений, внешних систем.

Таким образом, хранилище данных становится единым источником проверенной информации компании. С помощью аналитических инструментов компании извлекают из собранной в DWH информации ценные для бизнеса сведения для повышения эффективности решений, принимаемых в различных подразделениях – от менеджмента и членов правления до бухгалтерии, казначейства, отдела кадров и других службах. Аналитика помогает решать множество бизнес-задач — от оценки клиентской базы и продуктов до бюджетирования и составления консолидированной отчетности.

Многие крупные компании понимают ценность бизнес-аналитики и необходимость создания корпоративного хранилища данных. Однако практически все сталкиваются с проблемами, приводящими к увеличению бюджета проекта и затягиванию сроков реализации. Разберем наиболее «дорогие» ошибки при построении DWH.

Ошибка № 1: непонимание бизнес-целей

Это главная ошибка, которая может привести к срыву проекта и необходимости начинать всё с нуля.

При построении хранилища данных следует идти от потребностей бизнеса. Это означает, что важно привлечь будущих пользователей — сотрудников, которые будут работать с информацией и строить аналитические отчеты. В зависимости от их задач выбираются архитектура и способ реализации конечного решения. В противном случае проектная команда загружает в хранилище данные по своему усмотрению и в том виде, который считает оптимальным. Время и усилия потрачены, а результата нет — пользователи не могут полноценно работать с хранилищем и получать требуемый результат.

Поэтому первым делом нужно определить перечень ключевых сущностей, которые необходимо загрузить для того, чтобы покрыть потребности бизнеса в полном объеме. Без вовлечения будущих пользователей на старте проекта это вряд ли удастся.

Ошибка № 2: неправильная модель данных

Далее необходимо выбрать оптимальную модель данных, которая будет соответствовать определенным на старте проекта бизнес-целям. При этом она не должна быть сложной как на этапе проектирования, так и на этапе эксплуатации.

Один из значимых рисков — выбор модели данных, которая используется редко. В этом случае будет сложно найти архитекторов, которые успешно внедряли такие решения. Чтобы разобраться в методологии, где всегда присутствует множество нюансов, специалистам придется потратить время. И это уже удорожает проект.

Если нет широкого опыта применения модели данных в корпоративных хранилищах, то во время реализации проекта могут возникать неприятные сюрпризы. Например, процедура загрузки данных из систем источников может оказаться слишком сложной и будет требовать колоссального количества времени. Могут возникнуть проблемы с обучением команды — на это придется отвлекать ресурсы опытных специалистов.

Выходом из ситуации может послужить упрощение модели до определенного уровня, однако нередко это ведет к потере достоинств, в силу которых она изначально была выбрана. В итоге компания не только теряет деньги и срывает сроки проекта, но получает решение, которое будет тяжело и дорого поддерживать в будущем.

Принятие неверного решения на этапе выбора модели данных может стоить крайне дорого, а риски становятся непрогнозируемыми. Поэтому важно привлекать максимально компетентных специалистов на стадии предпроектного обследования и моделирования хранилища данных.

Ошибка № 3: некорректная пирамида специалистов

Построение корпоративного хранилища данных или замена устаревшего DWH на новое решение — это чаще всего большой мультивендорный проект. К примеру, на одном из таких проектов у нас работает больше 300 человек, из которых около 100 — сотрудники нашей компании.

Для достижения запланированного результата важно не только подобрать людей с нужными компетенциями, но и соблюдать баланс проектных ролей. Например, для снижения затрат в команду привлекают больше начинающих разработчиков и аналитиков. Это может стать проблемой: опытные специалисты, вместо того чтобы решать сложные задачи, вынуждены тратить время на обучение новичков, а после обучения — постоянно контролировать их работу. Процесс затягивается, изначально запланированная экономия на ФОТ превращается в лишние расходы.

Как избежать проблем

Чтобы соблюсти сроки проекта и добиться нужного результата с первого раза, рекомендую придерживаться еще нескольких важных правил:

  • Источники данных для хранилища лучше определить на старте проекта исходя из бизнес-потребностей. 

  • Пробелы в имеющихся данных проще закрыть, если сразу задокументировать их местоположение, структуру и качество. Такой порядок определяет бизнес-правила для их преобразования в соответствии с требованиями хранилища.

  • В команду должны входить «спонсоры» проекта из высшего руководства, а также сотрудники, которые будут работать с данными. Стандартные отчеты и KPI, необходимые им для выполнения задач, важно определить в начале проекта.

  • Из разных сценариев применения хранилища данных для пилотного проекта стоит выбрать один-два с высокой ценностью для бизнеса. 

  • Опыт технологического партнера по организации хранилищ данных должен соответствовать потребностям компании — в этом случае удастся избежать типичных проблем. 

  • Решение должно быть гибким. Когда работать с ним будет все больше подразделений и сотрудников, появится необходимость в построении витрин данных и масштабировании хранилища. Изначально гибкая платформа сможет удовлетворить растущие потребности. 

Журнал IT Expert

Опубликовано 20.01.2023

Об авторах

Яна Ларькина

Менеджер компании Axenix (бывшая Accenture)

Предыдущая
Обязательная маркировка товаров: как грамотно распорядиться данными

Хотите узнавать о новых материалах первыми?

Подписывайтесь на рассылку

Новостная лента

Главное за неделю

Нажимая на кнопку, я принимаю условия соглашения.

О конфигурации СХД для Big Data

ПО RAIDIX для внедрения программно-определяемых СХД позволяет снизить расходы и потенциальные риски, связанные с возможным дефицитом «железа».

ИТ в бизнесе, 29.04.22

Успешное внедрение HPE SimpliVity в пивоваренной компании “Балтика”

Как перевели ИТ-инфраструктуры филиалов компании к единому стандарту и обеспечили переход на централизованное резервное копирование данных.

Hewlett Packard EnterpriseИТ в бизнесе, 02.03.22

Конвейер для данных

По сути, Data Fabric — это архитектура, упрощающая и автоматизирующая работу с данными, в основе которой лежат искусственный интеллект и машинное обуч…

Григорий РудницкийИТ в бизнесе, 28.01.22

Хранение данных: быстрый доступ и вариативность развертывания

То, что пока еще в коробке и должно решить проблемы сегодня, желательно потом масштабировать, а пока даже непонятно, как быстро и насколько широко

Ольга МельникDellИТ в бизнесе, 11.08.20

Загрузить ещё1 2 3 4 5 »» Следующая →

Власти обеспокоены нехваткой зерна: станет ли это проблемой в новом году

Владимир Путин 17 января выразил обеспокоенность активным экспортом российского зерна. По мнению президента, в случае неурожая зерна в этом году России его может не хватить. Forbes разбирался, насколько реальны эти опасения

Выступая на совещании по экономическим вопросам 17 января, президент Владимир Путин поручил премьеру Михаилу Мишустину взять на контроль ситуацию с зерном в стране. «Нельзя позволить вытащить все за границу: несмотря на все логистические ограничения и по фрахту, и по страховке … это же влет пойдет, уже идет», — сказал Путин, добавив, что России нужны «стабильные резервы».

Президент объяснил, что его опасения возникли после беседы с лидером Туркменистана Сердаром Бердымухамедовым. Из разговора глава России узнал, что в Центральной Азии необычно холодная зима с температурами минус 25 °C в Туркменистане и минус 23 °C в Узбекистане. «Что у нас здесь будет происходить? Мы тоже не можем наверняка определить», — сказал президент России.

Риски кажутся преувеличенными

«Пока высказанные опасения не кажутся реальными, — считает директор аналитического агентства «СовЭкон» Андрей Сизов. — Если говорить о будущем российском урожае, то пока перспективы неплохие. Есть некоторое сокращение посевных площадей, но в целом состояние посевов нормальное. Мы прогнозируем, что будет получено примерно 86 млн т пшеницы. Это, конечно, ниже рекордов, но выше среднего для последних лет уровня».

Росстат 13 января обновил предварительные данные по урожаю 2022 года, повысив оценки по объему производства зерновых культур по сравнению с предыдущим отчетом 28 декабря. Общий сбор зерна в чистом весе увеличен до 153,83 млн т с 150,7 млн т, пшеницы — до 104,44 млн т с 102,7 млн т в декабрьском прогнозе. Это новый рекордный урожай после полученного в 2017 году, когда было собрано 135,5 млн т зерна, включая 86 млн т пшеницы.

В следующем сезоне урожай будет значительно ниже нынешнего, полагает президент Российского зернового союза Аркадий Злочевский. «Но и в следующем сезоне риска практически нет, — говорит он. — В любом случае мы произведем столько, что даже с учетом экспортного потенциала производство значительно превысит потребление».

Материал по теме

Экспорт растет

Еще недавно российские официальные лица жаловались на препятствия, которые западные санкции создали российскому зерновому экспорту. И действительно, в первые месяцы 2022-2023 сельскохозяйственного года, начавшегося 1 июля, экспорт замедлился. Экспортеры пытались адаптироваться к ограничениям со стороны западных банков, страховых компаний и фрахтовщиков, не желавших рисковать и попадать под санкции. Но потом приспособились к создавшейся ситуации, и уже с октября экспорт стал расти.

По последним данным аналитического центра «Русагротранса», имеющимся в распоряжении журнала «поле.рф», экспорт пшеницы в декабре 2022 года, включая страны ЕАЭС, составил 4,54 млн т по сравнению с 3,26 млн т год назад и 4,76 млн т в ноябре. «Русагротранс» прогнозирует рекордный для января экспорт пшеницы в начале 2023 года — около 3,6 млн т.

«Экспорт идет довольно бодро, что не типично для этого времени года, когда традиционно происходит падение из-за погодных условий, — говорит Сизов из «СовЭкона». — Мы все последние месяцы понемногу — на несколько сотен тысяч тонн — повышаем прогнозы по экспорту». «СовЭкон» сейчас прогнозирует экспорт зерна в сезоне 2022-2023 года в объеме 55,1 млн т, пшеницы —  44,1 млн т.

Предыдущий рекорд по экспорту был поставлен в 2017-2018 сельскохозяйственном году, когда общий экспорт зерновых культур составил 52,4 млн т, пшеницы — 40,4 млн т.  

Институт конъюнктуры аграрного рынка (ИКАР) в январе повысил прогноз экспорта зерна до 55,5 млн т по сравнению с декабрьской оценкой в 53,5 млн т, пшеницы — до 45,5 млн т с предыдущих 44 млн т. Министерство сельского хозяйства России оценивает объем экспорта зерна в сезоне 2022-2023 сельскохозяйственного года в объеме 55-60 млн т. Минсельхоз пока не дает отдельного прогноза по экспорту пшеницы. Международный совет по зерну в январе повысил прогноз по российскому экспорту зерна до 50,3 млн т с прежнего 49,3 млн т, пшеницы — до 42,1 млн т с 41,1 млн т.

Материал по теме

Огромные переходящие запасы

«Запасы зерна к концу сезона будут огромными, и образование дефицита практически невозможно, — говорит Злочевский из РЗС. — Чтобы сбалансировать рынок, нам нужно было бы экспортировать 65 млн т зерна. По инфраструктурным возможностям мы можем экспортировать 60 млн с небольшим. И все равно у нас останутся достаточно большие переходящие запасы».

Внутреннее потребление зерна в России в последние годы составляло около 80 млн т.

«Мы ожидаем, что переходящие рыночные запасы пшеницы на конец сезона 2022/23 годов составят 16,2 млн т, еще 2,9 млн т будет в государственном интервенционном фонде, — рассказывает Сизов из «СовЭкона». — То есть запасы будут рекордными за все постсоветское время». Эксперт напомнил, что к концу предыдущего сезона переходящие запасы составляли 8 млн т. Генеральный директор ИКАР Дмитрий Рылько оценил переходящие запасы пшеницы более чем в 17 млн т. «Даже если мы выберем [экспортную] квоту, на рынке останется свыше 17 млн т пшеницы — притом что обычно к концу сезона запасы складываются на уровне 9-10 млн т», — сказал он в интервью «Российской газете». Квота на экспорт зерна из России в размере 25,5 млн т будет действовать с 15 февраля по 30 июня.

Международный совет по зерну оценивает общие переходящие запасы российского зерна на конец 2022-2023 сельскохозяйственного года в 24,6 млн т, в том числе пшеницы в 19 млн т.

Материал по теме

Будут ли новые ограничения

«Высказывания президента могут привести к каким-то ужесточениям режима экспорта, официальным или не официальным, сейчас трудно судить, к каким именно, — полагает Сизов из «СовЭкона». — Возможно, мы увидим и увеличение закупок в интервенционный фонд».

«Скорее всего, какие-то шаги после этого поручения будут предприняты, — полагает Злочевский из РЗС. — Хотя у рынка нет потребности в дополнительных ограничениях, уже и нынешних достаточно. Не знаю, что придумает Минсельхоз, но ведь галочку надо поставить, что поручение выполнено».

«На наш взгляд, президент скорее подвел итог дискуссии по поводу целесообразности экспортных ограничений, чем анонсировал новые, — комментируют в Союзе экспортеров зерна. — Никаких послаблений не планируется, национальная продовольственная безопасность в приоритете, механизм экспортных ограничений справляется со своей задачей».

Нельзя сказать, что сейчас зерно экспортируется бесконтрольно. Кроме квот, Россия также использует плавающие пошлины на экспорт зерна. Их размер рассчитывается еженедельно на основе цен экспортных контрактов, которые регистрируются на Московской бирже. Пошлина на экспорт пшеницы с 18 по 24 января включительно составит 4719,4 рубля за тонну (для сравнения, с 11 до 17 января она была 4766,3 рубля за тонну).

Регистрация класса

— UTSA One Stop