Российские исследователи представили новый фреймворк для работы с большими данными

Российские исследователи представили новый фреймворк для работы с большими данными

21.01.2021      19859

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

ИИ-модели для социальных и бизнес-процессов

На платформе разработчики создали отраслевые модели, которые повысят продуктивность работы предприятий и помогут сократить расходы. Решение может точно прогнозировать цены на железнодорожные услуги, находить заколонные циркуляции на нетфтедобывающих скважинах, планировать логистику для их обслуживания и пр.

В руководстве оператора использование платформы рассматривается на примере задачи загрузки железнодорожных вагонов на металлообрабатывающем предприятии. Платформа позволяет рассчитать оптимальный график доставки грузов с учетом возможного дефицита сырья, цен на перевозки и выполнение работ. Аналогичный подход можно применить практически к любому бизнес-процессу: построить балансовые модели, составить расписание, сформировать ценообразование и др.

Простота и доступность

Для работы на платформе не нужны дополнительное ПО, специальные знания или навыки программирования.

Системные требования для работы с платформой невысоки: стандартный компьютер с Windows XP, процессор Pentium 4, 2 ГБ оперативной памяти.

Персональный компьютер пользователя должен иметь доступ к серверу, на котором развернуто программное обеспечение программного комплекса и подключен к интернету. Программа работает через браузер, и тяжелые вычисления не нагружают систему.

 

 

Суть разработки

Платформа создает цифровых двойников промышленных систем и моделирует их поведение. Процессы построения систем, их обучения и проверки моделей бизнес-процессов унифицированы. В работе можно использовать неструктурированные данные из различных источников. Платформа поддерживает гибридное моделирование: модели на основе данных сочетаются с классическими причинно-следственными вариантами. С ее помощью можно легко управлять бизнес-процессами, оптимизировать и прогнозировать результаты их выполнения.

Платформа поставляется с инструментами подготовки и кросс-валидации статических и динамических данных, 200 готовыми моделями машинного обучения и математическими функциями. На их основе можно создавать сложные проекты. Писать модели можно с нуля или на базе имеющихся, управлять параметрами и сразу видеть результат изменений.

В графическом представлении есть только два типа объектов: модели и данные, – а также связи между ними. Можно взять готовую модель и, например, построить оптимальное расписание с произвольным числом работ и ресурсов. А результаты представить в виде диаграммы Ганта – соответствующий инструмент встроен в платформу.

Модели и процессы можно выгрузить в SCADA, продолжить работу с данными в Excel или объединить несколько моделей в один проект, чтобы обрабатывать сложные цепочки динамических данных. Кроме того, в платформе предусмотрена возможность отделить облачные сервисы и интегрировать их в существующую ИТ-инфраструктуру.

Фреймворк для композитных моделей

Разработчики также представили фреймворк FEDOT для генеративного автоматического машинного обучения. С его помощью можно создавать сложные композитные модели.

Генеративное автоматическое машинное обучение позволяет выращивать модели на основе данных – улучшать и усложнять их в процессе работы, создавать новые цепочки обработки и композиции решений. Внутри FEDOT реализован собственный язык описания задачи. Он поможет сконфигурировать фреймворк и добиться оптимальных результатов.

Ядро FEDOT конфигурируется под разные классы задач: модели системной динамики, предсказательное или имитационное моделирование и др. В репозитории на GitHub также есть библиотека умных композиционных алгоритмов. Они нужны для идентификации моделей на основе данных, к которым предъявляются разные требования. Доступны и отдельные модели для решения физических, социо-финансовых, гидрометеорологических и других задач.

С FEDOT можно получить модель с нужной сложностью, качеством, интерпретируемостью, запустить моделирование, приостановить идентификацию модели, а позднее возобновить ее. С фреймворком доступна интеграция различных решений на Python с открытым исходным кодом – это многократно расширяет его возможности.

Острые темы также не обошли стороной 

Пандемия COVID-19 и способы борьбы с ней продолжают оставаться в центре внимания. Разработчики из НЦКР также внесли свой вклад в решение этих задач. Они использовали платформу для создания модели распространения инфекционных болезней на примере COVID-19. Полученные результаты помогут в разработке превентивных мер и способов остановить распространение заболевания.

 

 

Система может спрогнозировать эффективность тотального карантина – как изменится ситуация с количеством заболевших, выздоровевших и смертельных исходов в случаях действия, отсутствия или усиления карантинных мер:

 

 

Видеопрезентация ключевых возможностей платформы



Источник: https://infostart.ru/journal/news/tekhnologii/rossiyskie-issledovateli-predstavili-novyy-freymvork-dlya-raboty-s-bolshimi-dannymi_1365555/
Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. chg 22.01.21 05:54 Сейчас в теме
Интересно конечно будет ознакомиться, но заявление:
Решение может точно.........

Мягко скажем не корректное, а если откровенно то профанское.

ЗЫ: ещё и регистрация не работает, просто супер платформа.
2. Артано 731 23.01.21 12:44 Сейчас в теме
(1)То дерьма не подвезут, то вёдра украдут
Оставьте свое сообщение

См. также

Центробанк назначил оператора единой автоматизированной системы страхования

Новость Страхование ИТ-новость

3 марта 2023 года Центробанк принял решение об учреждении АО «Национальная страховая информационная система».

вчера в 09:30    391    user1915009    1       

1

GitHub открыл доступ к сервису для проверки безопасности репозиториев

Новость GitHub ИТ-новость

Бесплатный сервис GitHub для проверки безопасности репозиториев позволяет защитить публичные проекты от утечки конфиденциальных данных. Ранее эта услуга была доступна только владельцам лицензии на GitHub Advanced Security, работающие в облаке GitHub Enterprise Cloud.

07.03.2023    1324    VKuser24342747    1       

1

Минпромторг подготовил план перехода объектов КИИ на российское ПО

Новость Импортозамещение ИТ-новость

В проекте документа ведомство предлагает поэтапное внедрение отечественных разработок в госкомпаниях и промышленных предприятиях. Полный переход намечен на 2024 год.

20.02.2023    2044    VKuser24342747    0       

3

Магазин приложений RuStore объявил о завершении бета-теста

Новость Импортозамещение ИТ-новость Минцифры

В релизной версии маркетплейса стала доступна консоль разработчика на английском языке. Загружать приложения в магазин станет проще для иностранных издателей.

16.02.2023    1900    VKuser24342747    3       

1

СУБД Postgres Pro Enterprise начала поддерживать быструю миграцию с Oracle

Новость ИТ-новость Разработка

Релиз российской системы включает все возможности открытой PostgreSQL 15 и облегченной версии СУБД компании — Postgres Pro Standard 15, а также функцию маскировки данных для их конфиденциальной передачи и улучшенное резервное копирование.

10.02.2023    1963    VKuser24342747    2       

1

«Сбер» начнет использовать российские TLS-сертификаты для платежного шлюза

Новость Безопасность ИТ-новость Минцифры

Банк запланировал переход на сертификаты, выпущенные Национальным удостоверяющим центром (НУЦ) Минцифры, на 30 января 2023 года. Клиентам необходимо добавить на свои серверы корневой сертификат ведомства.

30.01.2023    2455    VKuser24342747    1       

2

Минцифры подготовило правила отказа от передачи биометрических данных

Новость ИТ-новость Минцифры

Гражданин имеет право отказаться от сбора и распространения своих биометрических данных. Отказ можно оформить в МФЦ только при личном присутствии.

24.01.2023    1876    VKuser24342747    0       

1

Банки смогут получить право на передоверие полномочий по электронной подписи

Новость ИТ-новость Цифровая подпись Цифровая экономика

Комитет Госдумы рекомендует принять соответствующий законопроект. Документ позволит компаниям финансового сектора использовать электронную подпись наравне с другими организациями.

20.01.2023    1611    VKuser24342747    0       

1

«ВКонтакте» начал поддерживать получение уведомлений от Госуслуг

Новость Госуслуги ИТ-новость Мессенджеры Налоги

Оповещения с Единого портала госуслуг будут отображаться в Вконтакте и приложении «VK Мессенджер». Кроме того, стала доступна оплата штрафов ГИБДД прямо в VK.

19.01.2023    1860    VKuser24342747    0       

1

Минцифры подготовило правила аккредитации госорганов на владение информсистемами для биометрии

Новость Законодательство ИТ-новость Минцифры

Проект постановления содержит требования к Цетробанку и госорганам, а также к сторонним организациям, которые будут привлекаться ведомствами в качестве операторов. Требования согласованы с ФСБ.

19.01.2023    1818    VKuser24342747    0       

1

Утвержден профстандарт специалиста по информационной безопасности

Новость Безопасность ИТ-новость

Новый профстандарт вступит в силу 1 сентября 2023 года. А пока у работодателей в кредитно-финансовой сфере есть время проанализировать трудовой функционал специалистов по ИБ и при необходимости уточнить его.

17.01.2023    2785    user1816563    0       

2

Национальная система пространственных данных начала работу в России

Новость ИТ-новость Цифровая экономика

Пилотный проект по запуску цифровой платформы стартовал в четырех регионах РФ. При помощи системы можно получать актуальные данные о земле и недвижимости, пользоваться электронными сервисами.

12.01.2023    2826    VKuser24342747    0       

3

Госдума рассмотрит законопроект о цифровом рубле

Новость Законодательство ИТ-новость Цифровая экономика

Документ определяет выпуск и обращение цифрового рубля на территории России, назначает оператора нового платежного средства и его полномочия и обязанности по сохранности денег пользователей.

11.01.2023    4623    VKuser24342747    2       

2

Оператором Единой биометрической системы стал «Центр Биометрических Технологий»

Новость ИТ-новость

Ранее за работу платформы отвечал «Ростелеком». На «Центр Биометрических Технологий» возложены задачи по развитию в России цифровых технологий идентификации и аутентификации, в том числе на основе биометрических персональных данных.

22.12.2022    3008    VKuser24342747    2       

1

GitHub бесплатно проверит репозитории на наличие секретных токенов

Новость GitHub Безопасность ИТ-новость

ИТ-хостинг запустил систему сканирования общедоступных репозиториев, чтобы предотвратить случайное раскрытие конфиденциальной информации, такой как учетные данные и токены аутентификации.

22.12.2022    2661    VKuser24342747    1       

1

GitHub к концу 2023 года введет обязательную двухфакторную аутентификацию

Новость GitHub Безопасность ИТ-новость

Веб-хостинг потребует от всех пользователей, загружающих код, включить двухфакторную аутентификацию (2FA) для дополнительной защиты своих аккаунтов.

21.12.2022    2889    VKuser24342747    0       

1

Госдума рассмотрит законопроект о провайдере для госсайтов

Новость Государственные, бюджетные структуры Законодательство ИТ-новость

Документ предусматривает запрет на размещение государственных информационных ресурсов на хостингах, не включенных в специальный реестр. Сейчас около 20% ресурсов госорганов размещены на иностранных площадках.

20.12.2022    2330    VKuser24342747    1       

1

«Яндекс» открыл доступ к фреймворку Yatagan для сборки Android-приложений

Новость ИТ-новость Яндекс Разработка

Инструмент свободно распространяется через GitHub. Перед публикацией в открытом доступе фреймворк долгое время применялся во внутренних проектах компании. Решение основано на API Dagger.

16.12.2022    3470    VKuser24342747    1       

3

В России появится национальная издательская система вместо иностранных аналогов

Новость Импортозамещение ИТ-новость

Программный комплекс будет создан на базе существующего отечественного решения Axiocat. Сейчас это приложение не внесено в Единый реестр российского ПО, хотя применяется некоторыми компаниями.

15.12.2022    2496    VKuser24342747    0       

1

Google рассказала о проблемах и преимуществах поддержки разработки на Rust в Android 13

Новость Google ИТ-новость Языки программирования

По итогам внедрения поддержки разработки на Rust снизилось число уязвимостей, связанных с управлением памятью. Инженеры считают, что основное внимание нужно уделить написанию нового кода, а не переписыванию старого.

14.12.2022    2475    VKuser24342747    0       

3

Банки обяжут принимать оплату по картам «Мир» с QR-кодом в смартфоне

Новость Банки ИТ-новость

Оператор платежной системы «Мир» разослал российским банкам документ с требованием обеспечить прием платежей по новой технологии. Первый этап внедрения завершится в апреле 2023 года.

14.12.2022    2653    VKuser24342747    1       

2

Госдума рассмотрит законопроект о создании Национального удостоверяющего центра

Новость Законодательство Интернет ИТ-новость

Информационная система позволит российским сайтам получать сертификаты безопасности без участия иностранных организаций. Для их выдачи будет применяться отечественная криптография.

09.12.2022    2402    VKuser24342747    0       

0

Госдума планирует отложить срок обязательного перехода на машиночитаемые доверенности

Новость Законодательство ИТ-новость

Госдума в первом чтении одобрила законопроект, который продлевает переходный период для машиночитаемых доверенностей. Еще полгода организации смогут не применять МЧД при использовании электронных подписей.

08.12.2022    2686    VKuser24342747    0       

1

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    3467    VKuser24342747    11       

3

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    2932    VKuser24342747    0       

1