Подразделение Google DeepMind обучило ИИ играть в Quake лучше людей

Подразделение Google DeepMind обучило ИИ играть в Quake лучше людей

21.06.2019      18304

Подразделение Google DeepMind поделилось успехами в разработке ботов, способных играть в Quake III Arena. ИИ научился играть на уровне человека и стал практически непобедим.

Погоня за флагом

Quake III Arena Capture the Flag – трехмерная многопользовательская игра от первого лица и сложная мультиагентная среда. Агент – программный компонент, решающий определенные задачи. Мультиагентные среды для решения сложной задачи используют системы, состоящие из множества взаимодействующих агентов.

На основе Quake III Arena Capture the Flag проводилось обучение ИИ с подкреплением. Боты взаимодействуют с товарищами по команде и демонстрируют высокую производительность.

Исследователи создали парк игроков искусственного интеллекта, которые освоили режим Quake III Capture the Flag, сыграв 450 тыс. матчей, используя технологию обучения DeepMind на случайно сгенерированных картах.

Сложность задачи

Сложность обучения бота-геймера заключается в том, что отдельные агенты должны действовать независимо, но при этом взаимодействовать с другими.

Исследователи выделили три принципа обучения ИИ для решения такой задачи:

  • вместо того, чтобы обучать одного агента, ученые работали с группой, которая учится, играя друг с другом;
  • каждый агент изучает собственный сигнал вознаграждения. Обучение с подкреплением на внутренних поощрениях используется, чтобы выработать совместную тактику;
  • агенты работают в двух временных масштабах – быстром и медленном – чтобы развить способность использовать память и генерировать согласованные последовательности действий.

Схема архитектуры For The Win объединяет повторяющиеся нейронные сети в быстрых и медленных временных масштабах, включает в себя модуль общей памяти и изучает преобразование игровых очков во внутреннее вознаграждение.

 

Схема архитектуры For The Win

 

Точки на графике ниже – шаблоны поведенческих реакций, которые изучают боты. Точки окрашиваются в соответствии с ситуацией, и цветные кластеры указывают, как агенты представляют себе ключевые фрагменты игрового аспекта. Чем ближе две точки находятся в пространстве, тем более организованно и согласованно поведение игровых ботов.

 

График показывает, как агенты представляют себе игровой мир

 

Механика игры

Две команды соревнуются на карте, чтобы захватить флаг противника и защитить собственный. Команда, захватившая наибольшее количество флагов в течение пяти минут, одерживает победу.

Об игре у ботов была та же информация, что и у людей. Всем предоставили изображение игровой локации на экране и информацию о выигрыше. Боты выучили стратегию и научились работать в команде, так что смогли последовательно побеждать противников-людей.

Турнир

Исследователи провели турнир, в котором участвовали 40 людей-игроков. Они случайным образом объединялись с ИИ в одну команду или выступали в качестве противников. Команда профессиональных тестеров противостояла ботам двадцать часов подряд, но победить смогла только в 25% случаев.

Боты научились играть так хорошо, что команда из человека и бота смогла победить команду из двух ботов только в 21% случаев. Карты составлялись случайным образом, но боты научились запоминать расположение объектов, что и способствовало успеху.

Чтобы уравнять шансы с людьми, исследователи ограничили скорость реакции ботов до человеческого уровня, но боты все равно превзошли людей-игроков в 79% случаев. При этом ИИ изучает поведение игроков: следование за товарищами по команде и походы на базу противника.

 

Три примера автоматически обнаруженного поведения, которое демонстрируют обученные агенты

 

Другие достижения ИИ от Google

Ранее Google создал другой непобедимый ИИ. В декабре 2017 года AlphaZero и шахматный движок Stockfish сыграли 100 партий в шахматы. Искусственный интеллект Google победил в 28 партиях, 72 партии закончились ничьей. В 2018 году нейросеть-геймер от Google впервые разгромила человека в стратегии StarCraft II

Победы в играх – не главные цели разработки искусственного интеллекта. Шахматы и аркады – это тестовые площадки, от которых корпорация переходит к серьезным проектам. Задача ИИ в будущем – замена человеческого труда и выполнение исследований, недоступных человеческому разуму. Например, Google презентовал ИИ, который поможет диагностировать офтальмологические болезни

Подробнее о разработке



Источник: https://infostart.ru/journal/news/tekhnologii/podrazdelenie-google-deepmind-obuchilo-ii-igrat-v-quake-luchshe-lyudey_1081433/
Автор:
Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. ResAndDev 21.06.19 17:14 Сейчас в теме
"Убить всех человеков! Слава роботам!" ("Футурама")
vakham; arakelyan; D_e_X_T_e_R; SKravchenko; +4 Ответить
2. 3vs 21.06.19 17:20 Сейчас в теме
Да, видимо скоро робот София скажет "кожаные ублюдки, вам не место на этой планете"...
arakelyan; +1 Ответить
3. GreenDragon 23.06.19 22:20 Сейчас в теме
(2) смотришь на ботов в WoT и закрадываются сомнения...
Оставьте свое сообщение

См. также

«Сбер» начнет использовать российские TLS-сертификаты для платежного шлюза

Новость Безопасность ИТ-новость Минцифры

Банк запланировал переход на сертификаты, выпущенные Национальным удостоверяющим центром (НУЦ) Минцифры, на 30 января 2023 года. Клиентам необходимо добавить на свои серверы корневой сертификат ведомства.

30.01.2023    1693    VKuser24342747    1       

Минцифры подготовило правила отказа от передачи биометрических данных

Новость ИТ-новость Минцифры

Гражданин имеет право отказаться от сбора и распространения своих биометрических данных. Отказ можно оформить в МФЦ только при личном присутствии.

24.01.2023    1152    VKuser24342747    0       

Банки смогут получить право на передоверие полномочий по электронной подписи

Новость ИТ-новость Цифровая подпись Цифровая экономика

Комитет Госдумы рекомендует принять соответствующий законопроект. Документ позволит компаниям финансового сектора использовать электронную подпись наравне с другими организациями.

20.01.2023    991    VKuser24342747    0       

«ВКонтакте» начал поддерживать получение уведомлений от Госуслуг

Новость Госуслуги ИТ-новость Мессенджеры Налоги

Оповещения с Единого портала госуслуг будут отображаться в Вконтакте и приложении «VK Мессенджер». Кроме того, стала доступна оплата штрафов ГИБДД прямо в VK.

19.01.2023    1116    VKuser24342747    0       

Минцифры подготовило правила аккредитации госорганов на владение информсистемами для биометрии

Новость Законодательство ИТ-новость Минцифры

Проект постановления содержит требования к Цетробанку и госорганам, а также к сторонним организациям, которые будут привлекаться ведомствами в качестве операторов. Требования согласованы с ФСБ.

19.01.2023    1098    VKuser24342747    0       

Утвержден профстандарт специалиста по информационной безопасности

Новость Безопасность ИТ-новость

Новый профстандарт вступит в силу 1 сентября 2023 года. А пока у работодателей в кредитно-финансовой сфере есть время проанализировать трудовой функционал специалистов по ИБ и при необходимости уточнить его.

17.01.2023    1810    user1816563    0       

Национальная система пространственных данных начала работу в России

Новость ИТ-новость Цифровая экономика

Пилотный проект по запуску цифровой платформы стартовал в четырех регионах РФ. При помощи системы можно получать актуальные данные о земле и недвижимости, пользоваться электронными сервисами.

12.01.2023    1947    VKuser24342747    0       

Госдума рассмотрит законопроект о цифровом рубле

Новость Законодательство ИТ-новость Цифровая экономика

Документ определяет выпуск и обращение цифрового рубля на территории России, назначает оператора нового платежного средства и его полномочия и обязанности по сохранности денег пользователей.

11.01.2023    3883    VKuser24342747    2       

Оператором Единой биометрической системы стал «Центр Биометрических Технологий»

Новость ИТ-новость

Ранее за работу платформы отвечал «Ростелеком». На «Центр Биометрических Технологий» возложены задачи по развитию в России цифровых технологий идентификации и аутентификации, в том числе на основе биометрических персональных данных.

22.12.2022    2527    VKuser24342747    2       

GitHub бесплатно проверит репозитории на наличие секретных токенов

Новость GitHub Безопасность ИТ-новость

ИТ-хостинг запустил систему сканирования общедоступных репозиториев, чтобы предотвратить случайное раскрытие конфиденциальной информации, такой как учетные данные и токены аутентификации.

22.12.2022    1933    VKuser24342747    1       

GitHub к концу 2023 года введет обязательную двухфакторную аутентификацию

Новость GitHub Безопасность ИТ-новость

Веб-хостинг потребует от всех пользователей, загружающих код, включить двухфакторную аутентификацию (2FA) для дополнительной защиты своих аккаунтов.

21.12.2022    2167    VKuser24342747    0       

Госдума рассмотрит законопроект о провайдере для госсайтов

Новость Государственные, бюджетные структуры Законодательство ИТ-новость

Документ предусматривает запрет на размещение государственных информационных ресурсов на хостингах, не включенных в специальный реестр. Сейчас около 20% ресурсов госорганов размещены на иностранных площадках.

20.12.2022    1804    VKuser24342747    1       

«Яндекс» открыл доступ к фреймворку Yatagan для сборки Android-приложений

Новость ИТ-новость Яндекс Разработка

Инструмент свободно распространяется через GitHub. Перед публикацией в открытом доступе фреймворк долгое время применялся во внутренних проектах компании. Решение основано на API Dagger.

16.12.2022    2654    VKuser24342747    1       

В России появится национальная издательская система вместо иностранных аналогов

Новость Импортозамещение ИТ-новость

Программный комплекс будет создан на базе существующего отечественного решения Axiocat. Сейчас это приложение не внесено в Единый реестр российского ПО, хотя применяется некоторыми компаниями.

15.12.2022    1873    VKuser24342747    0       

Google рассказала о проблемах и преимуществах поддержки разработки на Rust в Android 13

Новость Google ИТ-новость Языки программирования

По итогам внедрения поддержки разработки на Rust снизилось число уязвимостей, связанных с управлением памятью. Инженеры считают, что основное внимание нужно уделить написанию нового кода, а не переписыванию старого.

14.12.2022    1906    VKuser24342747    0       

Банки обяжут принимать оплату по картам «Мир» с QR-кодом в смартфоне

Новость Банки ИТ-новость

Оператор платежной системы «Мир» разослал российским банкам документ с требованием обеспечить прием платежей по новой технологии. Первый этап внедрения завершится в апреле 2023 года.

14.12.2022    2129    VKuser24342747    1       

Госдума рассмотрит законопроект о создании Национального удостоверяющего центра

Новость Законодательство Интернет ИТ-новость

Информационная система позволит российским сайтам получать сертификаты безопасности без участия иностранных организаций. Для их выдачи будет применяться отечественная криптография.

09.12.2022    1957    VKuser24342747    0       

Госдума планирует отложить срок обязательного перехода на машиночитаемые доверенности

Новость Законодательство ИТ-новость

Госдума в первом чтении одобрила законопроект, который продлевает переходный период для машиночитаемых доверенностей. Еще полгода организации смогут не применять МЧД при использовании электронных подписей.

08.12.2022    2058    VKuser24342747    0       

GitHub опубликовал статистику по языкам и проектам за 2022 год

Новость ИТ-новость Языки программирования Разработка

В статистическом отчете репозитория названы самые популярные языки программирования среди пользователей платформы, а также данные об активности аудитории сервиса.

01.12.2022    2550    VKuser24342747    11       

Инспекторы смогут проводить дистанционные проверки через смартфон

Новость ИТ-новость Мобильные приложения

Минэкономразвития представило мобильное приложение, которое позволит осуществлять надзорные мероприятия бизнеса без посещения офиса. Программа работает через Госуслуги.

28.11.2022    2407    VKuser24342747    0       

«Яндекс» представил бесплатный сервис для быстрого поиска в облаке

Новость ИТ-новость Облачные технологии

Сервис Managed Service for OpenSearch от платформы Yandex Cloud предназначен для оптимизации поисковых систем и проверки стабильности и безопасности работы приложений. Услуга доступа в режиме Public Preview.

24.11.2022    3249    VKuser24342747    1       

В декабре начнут действовать новые правила регистрации доменов .RU и .РФ

Новость ИТ-новость Роскомнадзор

С 12 декабря Роскомнадзор получит право прекращать делегирование домена, если он оформлен нелегально, или на сайте содержится запрещенная в России информация.

23.11.2022    2335    VKuser24342747    1       

Stack Overflow запустил проект для оффлайн-доступа к форуму

Новость ИТ-новость Разработка

Проект под названием Overflow Offline позволяет скачать актуальную версию архива вопросов и ответов по разработке ПО. По объему данных база форума уступает только «Википедии».

02.11.2022    2283    VKuser24342747    1       

Минцифры запустило магазин российского ПО из реестра ИТ-решений

Новость Импортозамещение ИТ-новость

Маркетплейс «Руссофт» стал доступен для всех пользователей. С его помощью можно подобрать программы от отечественных разработчиков для решения корпоративных задач бизнеса.

21.10.2022    2596    VKuser24342747    4       

В ноябре начнется создание российского государственного аналога GitHub

Новость ИТ-новость

Правительство озвучило дату запуска эксперимента по разработке отечественного репозитория ПО. Исходники программ, в том числе разработанных для госорганов, будут публиковаться в нем под открытой лицензией.

19.10.2022    3512    VKuser24342747    14