Банк ВТБ внедрил Hadoop и PostgreSQL для работы с большими данными

Возврат к списку

12.07.2017     
В начале июля завершился пилотный проект по внедрению инструментов больших данных с использованием свободного ПО. 

В организации была запущена система формирования аналитической и управленческой отчетности на открытой платформе Hadoop с применением технологии обработки данных Apache Spark и Apache Zeppelin. В качестве реляционной СУБД была использована PostgreSQL, сообщается на портале CNews. 

По словам управляющего директора департамента транзакционного бизнеса банка ВТБ Андрея Новакова, PostgreSQL не является непосредственной частью системы и может быть заменена на другую базу данных.

Сама единая аналитическая система транзакционного бизнеса получила название ГАУСС (GAUSS) – Global Transaction Business Analytic Unified Source & System. Она применяется для построения отчетности, а в дальнейшем планируется использовать ее для оценки различных рисков (кредитных, клиентских, партнерских), для моделирования целевых коммерческих предложений и выявления мошеннических схем и т.д. Система работает на кластерах, состоящих из множества узлов. На случай выхода из строя одного из них, предусмотрено дублирование и поддержка нескольких рабочих копий данных. 

«Hadoop был выбран для построения системы, так как его работа основана на принципе параллельной обработки данных. Это позволяет увеличить скорость формирования отчетности и построения прогнозов. Система отличается отказоустойчивостью и возможностью параллельной работы пользователей и программистов одновременно», – пояснили в банке. 

Пилотный проект по внедрению ГАУСС начался в ноябре 2016 года, а его ключевой этап завершился в мае 2017 года. С этого момента была проведена аналитическая работа с базами данных банка и сформированы массивы информации за 2014-2016 гг. 
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года. Планируется, что в ближайшем будущем в систему начнут поступать данные из альтернативных источников и будут разработаны необходимые аналитические формы для целей моделирования и мониторинга продаж продуктов транзакционного бизнеса. 

Стоит отметить, что система ГАУСС в группе ВТБ была реализована по методу гибкой разработки Scrum. Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени. 

Источник: http://infostart.ru/journal/news/tekhnologii/bank-vtb-vnedril-hadoop-i-postgresql-dlya-raboty-s-bolshimi-dannymi_648162/

Комментарии
1. в п (panvartan) 12.07.17 16:49 Сейчас в теме
ура, студенты сдали курсовик
Angealtor; корум; +2 Ответить
2. Александр Ярошенко (teller) 13.07.17 07:10 Сейчас в теме
В целом оптимистичная заметка , но
По итогам было принято решение расширить функциональность системы к сентябрю 2017 года.
- наверно первоначальная функциональность не позволяет использовать систему на практике.
Как считают в банке, использование традиционных подходов могло бы растянуть проект на год, то есть, проект занял бы в два раза больше времени.
т.е. традиционными методами с ноября 2016 до октября 2017 а модным методом с ноября до мая а потом еще до сентября , и это назвали
занял бы в два раза больше времени
Оставьте свое сообщение