Российские исследователи представили новый фреймворк для работы с большими данными

Российские исследователи представили новый фреймворк для работы с большими данными

21.01.2021      19017

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

ИИ-модели для социальных и бизнес-процессов

На платформе разработчики создали отраслевые модели, которые повысят продуктивность работы предприятий и помогут сократить расходы. Решение может точно прогнозировать цены на железнодорожные услуги, находить заколонные циркуляции на нетфтедобывающих скважинах, планировать логистику для их обслуживания и пр.

В руководстве оператора использование платформы рассматривается на примере задачи загрузки железнодорожных вагонов на металлообрабатывающем предприятии. Платформа позволяет рассчитать оптимальный график доставки грузов с учетом возможного дефицита сырья, цен на перевозки и выполнение работ. Аналогичный подход можно применить практически к любому бизнес-процессу: построить балансовые модели, составить расписание, сформировать ценообразование и др.

Простота и доступность

Для работы на платформе не нужны дополнительное ПО, специальные знания или навыки программирования.

Системные требования для работы с платформой невысоки: стандартный компьютер с Windows XP, процессор Pentium 4, 2 ГБ оперативной памяти.

Персональный компьютер пользователя должен иметь доступ к серверу, на котором развернуто программное обеспечение программного комплекса и подключен к интернету. Программа работает через браузер, и тяжелые вычисления не нагружают систему.

 

 

Суть разработки

Платформа создает цифровых двойников промышленных систем и моделирует их поведение. Процессы построения систем, их обучения и проверки моделей бизнес-процессов унифицированы. В работе можно использовать неструктурированные данные из различных источников. Платформа поддерживает гибридное моделирование: модели на основе данных сочетаются с классическими причинно-следственными вариантами. С ее помощью можно легко управлять бизнес-процессами, оптимизировать и прогнозировать результаты их выполнения.

Платформа поставляется с инструментами подготовки и кросс-валидации статических и динамических данных, 200 готовыми моделями машинного обучения и математическими функциями. На их основе можно создавать сложные проекты. Писать модели можно с нуля или на базе имеющихся, управлять параметрами и сразу видеть результат изменений.

В графическом представлении есть только два типа объектов: модели и данные, – а также связи между ними. Можно взять готовую модель и, например, построить оптимальное расписание с произвольным числом работ и ресурсов. А результаты представить в виде диаграммы Ганта – соответствующий инструмент встроен в платформу.

Модели и процессы можно выгрузить в SCADA, продолжить работу с данными в Excel или объединить несколько моделей в один проект, чтобы обрабатывать сложные цепочки динамических данных. Кроме того, в платформе предусмотрена возможность отделить облачные сервисы и интегрировать их в существующую ИТ-инфраструктуру.

Фреймворк для композитных моделей

Разработчики также представили фреймворк FEDOT для генеративного автоматического машинного обучения. С его помощью можно создавать сложные композитные модели.

Генеративное автоматическое машинное обучение позволяет выращивать модели на основе данных – улучшать и усложнять их в процессе работы, создавать новые цепочки обработки и композиции решений. Внутри FEDOT реализован собственный язык описания задачи. Он поможет сконфигурировать фреймворк и добиться оптимальных результатов.

Ядро FEDOT конфигурируется под разные классы задач: модели системной динамики, предсказательное или имитационное моделирование и др. В репозитории на GitHub также есть библиотека умных композиционных алгоритмов. Они нужны для идентификации моделей на основе данных, к которым предъявляются разные требования. Доступны и отдельные модели для решения физических, социо-финансовых, гидрометеорологических и других задач.

С FEDOT можно получить модель с нужной сложностью, качеством, интерпретируемостью, запустить моделирование, приостановить идентификацию модели, а позднее возобновить ее. С фреймворком доступна интеграция различных решений на Python с открытым исходным кодом – это многократно расширяет его возможности.

Острые темы также не обошли стороной 

Пандемия COVID-19 и способы борьбы с ней продолжают оставаться в центре внимания. Разработчики из НЦКР также внесли свой вклад в решение этих задач. Они использовали платформу для создания модели распространения инфекционных болезней на примере COVID-19. Полученные результаты помогут в разработке превентивных мер и способов остановить распространение заболевания.

 

 

Система может спрогнозировать эффективность тотального карантина – как изменится ситуация с количеством заболевших, выздоровевших и смертельных исходов в случаях действия, отсутствия или усиления карантинных мер:

 

 

Видеопрезентация ключевых возможностей платформы



Источник: https://infostart.ru/journal/news/tekhnologii/rossiyskie-issledovateli-predstavili-novyy-freymvork-dlya-raboty-s-bolshimi-dannymi_1365555/
Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. chg 22.01.21 05:54 Сейчас в теме
Интересно конечно будет ознакомиться, но заявление:
Решение может точно.........

Мягко скажем не корректное, а если откровенно то профанское.

ЗЫ: ещё и регистрация не работает, просто супер платформа.
2. Артано 728 23.01.21 12:44 Сейчас в теме
(1)То дерьма не подвезут, то вёдра украдут
Оставьте свое сообщение

См. также

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    1299    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    1217    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    1485    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    1218    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    1183    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    1657    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    2402    VKuser24342747    14       

OpenAI опубликовала код системы распознавания речи Whisper

Новость Искусственный интеллект ИТ-новость

OpenAI открыла исходный код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT. Нейросеть используется для перевода речи в текст.

28.09.2022    2709    VKuser24342747    0       

Вторая версия среды разработки для плат Arduino вышла из бета-теста

Новость ИТ-новость Микроэлектроника

Arduino IDE 2.0 получила стабильную версию, в которой появилась поддержка автодополнения кода и темная тема. Разработка заняла несколько лет. Программа распространяется бесплатно.

23.09.2022    2681    VKuser24342747    0       

Основатель движения свободного ПО выпустил руководство по языку C

Новость Linux ИТ-новость Языки программирования

Ричард Мэттью Столлман, основатель Фонда свободного программного обеспечения, представил руководство по языку C и расширениям GNU. Пособие доступно всем желающим и предназначено как для опытных, так и начинающих программистов.

19.09.2022    2269    VKuser24342747    0       

«Ростелеком» предложил создать национальную экосистему на базе «Авроры»

Новость Импортозамещение ИТ-новость Мобильные приложения

Провайдер считает, что государственная мобильная экосистема поможет обеспечить технологическую независимость и экономический подъем страны. А ОС «Аврора» наиболее перспективная разработка для достижения этих целей.

15.09.2022    2173    VKuser24342747    5       

Яндекс выложил в открытый доступ инструмент для разработки мобильных приложений

Новость ИТ-новость Мобильные приложения Яндекс

Фреймворк DivKit от Яндекса стал доступен как open source решение. Инструмент позволяет менять интерфейс приложений без скачивания обновлений и значительно ускоряет мобильную разработку.

02.09.2022    1882    VKuser24342747    0       

Группа компаний «Астра» представила собственную мобильную ОС

Новость Linux ИТ-новость Мобильные приложения

Доработанная ОС Astra Linux Special Edition может быть запущена на большом числе мобильных устройств, в том числе на планшетах и смартфонах с процессорами на архитектурах ARM, «Эльбрус» и x86-64.

25.08.2022    1518    VKuser24342747    1       

В России разработаны меры для решения проблемы нехватки ИТ-специалистов

Новость ИТ-новость

Вице-премьер Дмитрий Чернышенко сообщил, что сейчас экономике страны не хватает 1 млн ИТ-специалистов. Способы преодоления дефицита закреплены в программе нацпроекта «Цифровая экономика»

05.08.2022    1666    VKuser24342747    11       

Яндекс открыл доступ к фреймворку для создания приложений с микросервисной архитектурой

Новость GitHub ИТ-новость Яндекс

Инструмент Userver опубликован как бесплатное open source решение. Яндекс уже несколько лет эффективно его использует в своих приложениях Go, «Еда», «Лавка», «Доставка» и другие. Фреймворк находится в стадии бета – переезда на открытую разработку.

02.08.2022    2525    VKuser24342747    19       

Бизнес сможет использовать повышающий коэффициент для расходов на покупку ПО

Новость ИТ-новость

Принят закон, который позволяет компаниям учитывать расходы на отечественные программы и радиоэлектронное оборудование с коэффициентом 1,5. Решения должны быть включены в соответствующие реестры и относиться к ИИ.

26.07.2022    2289    VKuser24342747    0       

Минэкономразвития тестирует миграцию с Windows 10 на Astra Linux

Новость ИТ-новость

Министерство проводит эксперимент, в ходе которого сотрудники используют российскую ОС Astra Linux вместо Windows 10. По словам главы департамента, эксперимент проходит успешно.

11.07.2022    1849    VKuser24342747    0       

Вышла версия открытого текстового редактора Vim 9.0

Новость ИТ-новость

В приложение добавлен скриптовый язык с поддержкой компилируемых функций для создания плагинов, улучшена проверка правописания и автодополнения, предоставлен выбор цветовых схем.

07.07.2022    2013    VKuser24342747    0       

 «Яндекс» открыл доступ к SmartCaptcha и нейросети по генерации текстов 

Новость ИТ-новость Яндекс

Компания открыла доступ к алгоритму SmartCaptcha, который защищает сайт от спама и DDoS-атак, а также к проекту YaLM 100B, способному писать тексты на английском и русском языках. 

29.06.2022    2273    VKuser24342747    0       

«Яндекс» предложил разработчикам пройти диагностику технических навыков

Новость Кадровые агентства, подбор персонала ИТ-новость Яндекс

Компания запустила сервис, при помощи которого можно получить оценку своих технических навыков от специалистов «Яндекса». Тестирование включает онлайн-интервью и решение задач с реальных собеседований. 

27.06.2022    2194    VKuser24342747    1       

GitHub открыл доступ всем разработчикам к ИИ-помощнику Copilot по подписке

Новость GitHub Искусственный интеллект ИТ-новость

Github Copilot стал общедоступным, но для его использования пользователю репозитория нужно приобрести подписку. Хотя некоторые разработчики могут пользоваться инструментом бесплатно.

24.06.2022    3874    VKuser24342747    1       

В России планируют учредить Федерацию спортивного программирования

Новость ИТ-новость

Минцифры и Минспорта подписали меморандум, в котором закреплено сотрудничество ведомств по развитию в стране спортивного программирования и проведение первого официального чемпионата.

21.06.2022    2773    VKuser24342747    6       

Microsoft окончательно прекратила поддержку Internet Explorer

Новость Интернет ИТ-новость

Microsoft прекратила выпуск обновлений для своего браузера Internet Explorer, а с августа начнет удалять приложение из актуальных версий Windows. Эксперты полагают, что из-за этого пострадает много бизнес-пользователей.

17.06.2022    3275    VKuser24342747    4       

В России начал работу отечественный сервис мониторинга сбоев

Новость Импортозамещение Интернет ИТ-новость

Российская компания BrandAnalytics запустила платформу «Детектор сбоев», предназначенную для отслеживания работоспособности сайтов и сервисов, в том числе русскоязычных.

16.06.2022    2127    VKuser24342747    0       

Минцифры запустило систему отслеживания поддельных сайтов

Новость Безопасность Интернет ИТ-новость

Информационная система под названием «Антифишинг» способна обнаруживать мошеннические веб-ресурсы, которые выглядят как официальные сайты госорганов, компаний и соцсетей.

14.06.2022    2974    VKuser24342747    0