В Google научились увеличивать изображения в 16 раз с восстановлением деталей

В Google научились увеличивать изображения в 16 раз с восстановлением деталей

09.09.2021      8760

Раньше увеличить видео с камер наблюдения в десятки раз получалось только у героев фильмов. Но теперь такая возможность существует и в реальной жизни – инженеры Google разработали прорывную технологию масштабирования изображений.

Из одного пикселя – шестнадцать

Исследователи команды Brain Team опубликовали статью «Создание высокоточных изображений с использованием диффузных моделей» в блоге Google AI, который посвящен разработкам в сфере искусственного интеллекта.

Концепцию диффузных моделей впервые предложили в 2015 году. До недавнего времени они уступали глубоким генеративным моделям, но сейчас специалисты представили впечатляющие результаты применения новых подходов.

Brain Team создала модели машинного обучения и натренировала их превращать фотографии с низким разрешением в максимально детализированные изображения. Исследователи использовали сразу несколько технологий. Например, в диффузных моделях SR3 сверхвысокое разрешение достигается посредством повторного уточнения.

 

 

Модель SR3 обучается процессу искажения изображений, при котором к оригинальной картинке низкого разрешения постепенно добавляется шум (пиксели случайных цветов, расположенные в произвольных местах). В какой-то момент на фото останется только чистый шум – все оригинальные пиксели замещаются.

Если модель понимает, как это произошло, то она с высокой точностью сможет реализовать обратную процедуру – убрать шум с изображения, а также повысить его разрешение. Результат работы технологии:

 

 

Специалисты обнаружили, что SR3 хорошо работает при масштабировании портретов и естественных изображений. При 8-кратном увеличении лиц коэффициент смешения модели достигает 50%: это значит, что в половине случаев оригинальное фото высокого разрешения не отличить от увеличенного. Существующие методы обеспечивают сходные результаты лишь в 34% случаев.

Исследователи улучшили SR3 и получили CDM – условно-классовую диффузную модель. Фактически это целый каскад моделей машинного обучения: первая генерирует данные с низким разрешением, а каждая следующая постепенно его повышает.

CDM обучили на выборке фотографий сети ImageNet. В наборе примеров можно увидеть, как каскадно масштабируются изображения: от картинки 32×32 пикселя до 64×64 пикселей, а затем до 256x256 пикселей. Снимок размером 64×64 пикселя может быть увеличен до 256×256 пикселей, а затем до 1024×1024 пикселей.

 

 

Потенциал решения

Технология поможет улучшить качество самых разных изображений – от старых кинолент до звонков по видеосвязи, от исторических фото прошлых веков до результатов медицинских исследований.

В Google признали, что модели порой ошибаются и неверно воспроизводят детали. Например, на восстановленном изображении высокого разрешения может не оказаться тонкой оправы очков или других изящных деталей – и как раз за счет этого человек поймет, что фото не оригинальное. Но результаты, представленные в репозиториях моделей, открывают широкие возможности для масштабирования фото и видео и дальнейшего развития технологий машинного обучения.

Репозиторий SR3
Репозиторий CDM



Источник: https://infostart.ru/journal/news/tekhnologii/v-google-nauchilis-uvelichivat-izobrazheniya-v-16-raz-s-vosstanovleniem-detaley_1512758/
Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vipetrov2 10.09.21 07:17 Сейчас в теме
Это по сути дорисовывание, а не увеличение. Для улучшения качества старых фильмов это очень хорошо. А вот для профессиональной деятельность это все баловство, например, для расследования увидеть на фото плохого качества из 10х10 пикселей лицо не выйдет.
Фотокамеры смартфонов уже давно этим занимаются, там реальные оптические камеры на 3-5М пикселей, а дают изображения на 16М пикселей, в итоге лица у всех, как из пластилина. Кому то нравится, прыщей, морщин не видно, но это уже не фотография, а художественный рисунок.
user790708; +1 Ответить
2. Xershi 1266 10.09.21 08:59 Сейчас в теме
(1) так название метода об этом и говорит.
В целом отличный инструмент.
3. dka80 20 10.09.21 13:43 Сейчас в теме
(1)
реальные оптические камеры на 3-5М пикселей, а дают изображения на 16М пикселей

это так, но не совсем так. Действительно, реальных пикселей там примерно в 2,33 раза меньше, чем заявлено. Но это связано с тем, что один реальный пиксель обрабатывается тремя цветовыми пикселями. На хабре была хорошая статья про это.
Оставьте свое сообщение

См. также

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

вчера в 10:13    3540    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    4139    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    5621    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    5012    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    4016    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    3910    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    4617    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    5118    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    4063    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    4304    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    5276    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    4064    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    2397    SKravchenko    0       

Adobe Photoshop и Illustrator стали доступны онлайн

Новость

У популярных графических редакторов появились веб-версии. Они позволяют редактировать фото, не устанавливая требовательные к ресурсам приложения на компьютер или смартфон, и включают достаточно широкий набор инструментов.

11.11.2021    3532    user1015646    0       

Что нового в SQL Server 2022

Новость СУБД MS SQL ИТ-новость Новости компаний

Microsoft на ежегодной конференции Microsoft Ignite анонсировала предварительную версию SQL Server 2022 – теперь СУБД включает интеграцию с базой Azure SQL, службой аналитики Azure Synapse Analytics и платформой управления данными Azure Purview.

11.11.2021    7262    SKravchenko    0       

«Сбер» представил нейросеть для генерации картинок по описанию

Новость Искусственный интеллект ИТ-новость

Сервис ruDALL-E способен генерировать изображения с нуля по текстовому описанию на русском языке. Авторы полагают, что модель будет полезна для создания рекламного, архитектурного и промышленного дизайна.

11.11.2021    4800    VKuser24342747    10       

Правительство собирается определить главный российский процессор

Новость Импортозамещение ИТ-новость

Минцифры и Минпромторг намерены выбрать приоритетную российскую микропроцессорную платформу. Разработчики отечественного ПО будут обязаны поддерживать ее.

10.11.2021    4576    VKuser24342747    4       

Первая стабильная версия Microsoft Edge стала доступна для Linux

Новость Linux Интернет ИТ-новость

В репозиториях Linux на портале Microsoft появилась стабильная версия браузера Edge. Пакет под названием microsoft-edge-stable_95 доступен для пользователей Ubuntu, Debian, Fedora и openSUSE.

10.11.2021    5005    VKuser24342747    0       

Microsoft выпустит версию Windows 11 для слабых компьютеров

Новость Windows ИТ-новость

Microsoft намерена представить ОС Windows 11 SE для устройств начального уровня. Для работы операционной системы будет достаточно ноутбука на базе процессора Intel Celeron.

08.11.2021    4111    VKuser24342747    3       

Нейросеть GitHub Copilot стала доступна в Neovim и разработках JetBrains

Новость GitHub Искусственный интеллект ИТ-новость

Ассистент программиста GitHub Copilot, генерирующий код при помощи ИИ, включен в последние версии редактора кода Neovim, а также в IDE IntelliJ и PyCharm от компании JetBrains.

08.11.2021    7301    VKuser24342747    1       

Правительство совместно с ИТ-компаниями подготовили кодекс этики в сфере ИИ

Новость Искусственный интеллект ИТ-новость

Правительство, «Сбер», «Яндекс», VK и другие российские компании подготовили документ, который содержит рекомендации для бизнеса по морально-этическим вопросам использования ИИ.

03.11.2021    4818    VKuser24342747    8       

Аналитики Gartner назвали 12 наиболее перспективных технологий в 2022 году

Новость Аналитика ИТ-новость

Компания Gartner составила список технологий и стратегий, которые уже будут применяться в 2022 году и окажут наиболее существенное влияние на бизнес-среду в ближайшие несколько лет.

03.11.2021    4947    VKuser24342747    2       

Российская компания создала технологию для борьбы с поддельными QR-кодами

Новость Безопасность ИТ-новость

Разработчики из Pro Control создали некопируемый QR-код, поддерживающий двухфакторную систему проверки. Он содержит внутреннюю матрицу, которую нельзя размножить.

02.11.2021    5712    VKuser24342747    0       

Минцифры создаст приложение для чиновников с мессенджером и облачным хранилищем

Новость Безопасность ИТ-новость Мессенджеры Минкомсвязь Мобильные приложения Облачные технологии Цифровая экономика

Минцифры намерено разработать для госслужащих суперприложение, в котором будет доступен набор защищенных инструментов связи. Стоимость реализации проекта – чуть менее 500 млн рублей.

29.10.2021    5234    VKuser24342747    1       

Энтузиаст нашел способ установить Google Play на Windows 11

Новость Windows Android ИТ-новость Мобильные приложения

Пользователь ADeltaX сумел обойти ограничения предварительной версии Windows 11 и установить на устройство магазин Google Play, который позволил запускать любые Android-приложения на ПК.

29.10.2021    8177    VKuser24342747    0