Редакция Нетологии собрала и кратко законспектировала самые интересные статьи по Big Data за январь.

«На каком железе анализировать огромный вал информации», habr.сom

Авторы блога компании МТС рассказали, какие технологии позволяют им хранить и обрабатывать большие данные без огромных вложений и чтобы хватало ресурсов для аналитики.

Источники данных:

базовые станции с абонентской базой более 78 миллионов клиентов;
исторические данные, на которых обучаются Data Science модели;
данные из классического хранилища по различным событиям — пользовательским и сетевым.

Задача. Хранить данные с тысячи серверов из регионов и получить возможности аналитики. Для этого нужно оборудование с достаточным ресурсом, количеством ядер CPU и объемом свободной оперативной памяти на узлах.

Тесты оборудования:

2016 год — накопитель Intel DC P3700

Исходные данные теста в 2016 году

Результаты теста в 2016 году

2017 год — серверные Intel Optane SSD на базе памяти 3D XPoint

Исходные данные теста в 2017 году

Результаты теста в 2017 году

Вывод. Результаты тестирования Intel DC P3700 не удовлетворили потребности компании. Оборудование Intel Optane SSD на базе памяти 3D XPoint с увеличенной производительностью подошло для решения поставленных задач. Чем больше данных анализировали в компании, тем эффективнее работало оборудование.

«SAP HANA: где и как эффективно использовать big data и машинное обучение», habr.сom

Автор блога компании SAP проанализировали несколько кейсов с конференций SAP HANA Digital Fest и SAP Data Halloween и рассказали, где SAP HANA поможет работать с большими данными.

В местах массового скопления людей, например, в аэропортах. SAP HANA может прогнозировать пиковые нагрузки, быстро принимать и обрабатывать большой поток данных, пересчитывать нужное количество сотрудников и оборудования онлайн. За счет этого можно избежать сбоев в системах аэропорта из-за чрезмерной нагрузки и таких ситуаций, когда:

происходят сбои на информационных табло;
из-за сбоев в системах регистрации на стойках собираются очереди;
на подъезде к аэропорту образуются пробки;
из-за неправильных расчетов смен сотрудников и поломок турникетов, рамок и другого оборудования скапливаются очереди на досмотр и паспортный контроль.

Обучение в онлайн-университете: курс «Аналитик данных»

В ритейле. Система помогает ритейлерам собирать и анализировать информацию о клиентах, чтобы:

делать им персональные предложения, например, скидки и бонусы, и стимулировать к покупке;
повышать лояльность к компании;
нагонять трафик;
поднимать маржу;
избавляться от неликвида.

SAP HANA собирает статистику о покупателях, прогнозируют их покупки и реакции. Когда клиент приходит в магазин, срабатывает система распознавания лиц. Информация попадает в приложения, которые вычисляют, что нужно предложить покупателю, и передают информацию менеджменту и маркетингу.

На промышленных предприятиях, где нужно предотвращать ЧП. При помощи камер, датчиков и системы предупреждения SAP HANA выполняет задачи виртуального охранника:

контролирует, как одет сотрудник на входе на объект;
открывает турникет, только если у работника есть вся нужная экипировка;
следит за движениями сотрудников на объектах, сигнализирует о падениях и других травмах;
проверяет допуски к опасным и секретным установкам.

В благотворительности. Система может взаимодействовать с блокчейном и защищать транзакции-пожертвования. Благодаря ей денежные потоки распределяются прозрачно, а меценаты могут проследить, на что потратили их деньги.

«История больших данных — часть 1», соmputerra.ru

Пользователь Владимир Хазов NetApp рассказал, как развивались Big Data.

Древний мир. Первобытные люди записывали информацию на костях, предположительно, чтобы вести торговую активность. В Вавилоне, Александрии и других древних государствах хранили информацию в книгах в библиотеках.

XVII век. Джо Грант описал теорию, в которой использование аналитики позволяет предупреждать об эпидемии бубонной чумы.

XIX век. Ричард Миллер Девинс создал термин Business Intelligence и рассказал, как ему помогло структурирование и анализ информации о деловой активности. Герман Холлерит создал табулятор — устройство с перфокартами, которое помогло ускорить перепись населения Америки и провести ее за 3 месяца вместо 10 лет.

Вторая мировая война. Британские ученые создали машину анализа данных Colossus, чтобы расшифровывать сообщения противника.

Конец XX — начало XXI века. Математики выделили три направления, на которых нужно сосредоточиться для управления данными: Volume, Velocity и Variety. Позже они стали основой для описательной модели Big Data 3V.

Расшифровка концепции 3V

Сегодня. Сформировалось понимание и задачи Big Data:

не всегда большой объем данных говорит о системе;
чтобы поддерживать актуальность и ценность данных, нужно быстро обрабатывать их;
нужно находить связь между любыми данными, вне зависимости от их структурированности;
система должна быть хорошо масштабируемой, чтобы обрабатывать весь поступающий поток информации.

Читать еще: «Как повысить продажи в три раза с помощью Big Data и машинного обучения»

Мнение автора и редакции может не совпадать. Хотите написать колонку для «Нетологии»? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.