Искусственный интеллект научился находить проблемы в коде

Искусственный интеллект научился находить проблемы в коде

27.04.2021     

Исследователи из МТИ (Массачусетского технологического института) разработали систему глубокого машинного обучения для поиска проблем в коде ПО. Она станет основой инструментов автоматического анализа, которые помогут найти и устранить слабые места в IDE для создания программ.

Разработка изнутри

Многие программисты используют интегрированные среды разработки (IDE) вроде Visual Studio или Eclipse, чтобы писать код продуктивнее. В таких средах автоматически предлагаются подходящие фрагменты кода: типы данных, функции объектов и т.д. 

Для подбора вариантов внутри IDE используются сложные языковые модели, обученные на миллионах примеров реальных фрагментов кода – например, с GitHub. Но такие системы имеют множество встроенных уязвимостей – так часто бывает при обучении на больших наборах данных без учителя, в отсутствие четко установленных правил и инструкций.

Хакеры могут манипулировать входными данными таких моделей. В результате IDE будут предлагать разработчикам варианты, из-за которых в коде появляются уязвимости. Новая система машинного обучения должна предотвратить это.

Новый подход

Шашанк Шрикант, аспирант факультета электротехники и информатики МТИ совместно с исследовательницей института Уной-Мэй О’Рейли и специалистом IBM Сиджи Лю описали автоматизированный метод поиска слабых мест в моделях обработки кода и их переподготовки. Такой подход должен повысить устойчивость IDE к хакерским атакам.

Ученые утверждают, что модели обработки кода в IDE обмануть легко. Достаточно, например, переименовать переменную, вставить ложный оператор вывода на экран или внести другие незначительные изменения в программный код, который модель попытается обработать.

В результате IDE сможет принять вредоносное ПО за безопасное и не выдаст никаких предупреждений. А функции автоматического дополнения строк станут предлагать неверные или потенциально опасные варианты. Разработчик, скорее всего, даже не будет подозревать, что IDE изменилась.

Похожая проблема есть и у моделей компьютерного зрения. Исследователи МИТ показали, что если изменить несколько ключевых пикселей во входном изображении, система может, например, спутать свиней с самолетами и черепах с винтовками.

 

В зеленой рамке показана верно распознанная черепаха, в красных – черепахи, распознанные как винтовки, в черных – как другие предметы (ни черепахи, ни винтовки)

 

Как и у передовых моделей распознавания естественного языка, у моделей обработки кода есть один существенный недостаток: они являются экспертами в области статистических отношений между словами и фразами, но смутно понимают их истинное значение. Например, языковая модель OpenAI GPT-3 может писать прозу, и только человек сможет понять, бессмысленный текст она выдает или гениальный.

Алгоритм, который предложил Шрикант и его коллеги, действует иначе. Сначала он находит места в программе, где добавление или замена текста могут спровоцировать наиболее серьезные ошибки. Затем алгоритм определяет, какие изменения будут здесь опаснее всего.

Исследователи признают, что их модель пока далека от совершенства. В трети случаев она неверно распознавала единственное потенциально опасное исправление, в половине примеров ошибалась хотя бы раз, когда в код вносили пять подозрительных правок. Но все же исследователи говорят о положительной динамике: модель способна учиться на своих ошибках и со временем начнет лучше понимать и глубже анализировать программный код.



Источник: https://infostart.ru/journal/news/tekhnologii/iskusstvennyy-intellekt-nauchilsya-nakhodit-problemy-v-kode_1433191/
Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. nvv1970 27.04.21 21:36 Сейчас в теме
Знакомство с 1С будет его последним днём ))
2. chg 28.04.21 02:56 Сейчас в теме
(1)ИИ просто уничтожит код 1С посчитав его полностью не правильным
3. nvv1970 28.04.21 08:39 Сейчас в теме
(2) расовые предрассудки.
"За что они нас не любят?" (С)
Оставьте свое сообщение

См. также

Базовые функции Google Workspace стали доступны для бесплатных учетных записей

Новость Google ИТ-новость Новости компаний

14 июня Google разместила в своем блоге статью с информацией о том, что базовые функции Google Workspace становятся бесплатными.

18.06.2021    1222    capitan    0       

Компьютеры Mac на Intel не получат ряд новых функций macOS Monterey

Новость Mac OS ИТ-новость Новости компаний

Apple опубликовала пресс-релиз с описанием функций новой ОС – macOS Monterey. Согласно превью, новые отдельные функции будут доступны только для устройств с чипом M1.

17.06.2021    1017    SKravchenko    0       

Инсайдеры раскрыли дизайн Windows 11

Новость Windows ИТ-новость Новости компаний

Компания Microsoft не раз заявляла, что Windows 10 станет последней представительницей семейства. Но в итоге от успешного бренда решили не отказываться. Пришел черед Windows 11. Инсайдеры показали, как она будет выглядеть.

17.06.2021    1375    user1015646    7       

В России начала работу крупнейшая в Европе квантовая магистраль

Новость ИТ-новость Телекоммуникации

РЖД протестировала и ввела в эксплуатацию вторую по протяженности в мире квантовую магистраль длиной в 700 километров. К 2024 году организация планирует увеличить длительность сети в 10 раз.

16.06.2021    1228    VKuser24342747    1       

Visual Studio Code стал поддерживать работу с удаленными репозиториями без клонирования

Новость GitHub ИТ-новость

Открытая среда разработки Visual Studio Code теперь позволяет работать с удаленными репозиториями GitHub напрямую. Для этого появилось специальное расширение Remote Repositories.

15.06.2021    1579    user1015646    0       

Платформа Yandex.Cloud прошла добровольную аттестацию на соответствие требованиям 152‑ФЗ

Новость Безопасность ИТ-новость Яндекс

В апреле 2021 года платформа Yandex.Cloud прошла внешний аудит. Теперь клиенты сервиса могут обрабатывать в облаке любые категории персональных данных, включая биометрические и специальные.

11.06.2021    1314    capitan    1       

Google I/O 2021: главные анонсы конференции для разработчиков

Новость Android Google ИТ-новость Мобильные приложения Новости компаний

Начало лета богато на конференции для разработчиков программного обеспечения. Одно из крупнейших событий международного уровня – Google I/O 2021. В этом году оно прошло в онлайн-формате и принесло больше анонсов, чем обычно.

11.06.2021    1575    user1015646    0       

«Яндекс» внедрил генеративную нейросеть для поиска ответов

Новость Искусственный интеллект ИТ-новость Яндекс

«Яндекс» представил новую версию своего поисковика Y1. В числе прочих изменений – использование машинного обучения для генерации подзаголовков объектных ответов и классификации сниппетов. 

11.06.2021    1380    VKuser24342747    0       

Microsoft выложила сборку OpenJDK в открытый доступ

Новость ИТ-новость Новости компаний Языки программирования

Сборка проекта OpenJDK, подготовленная специалистами Microsoft, теперь доступна всем желающим. Решение с открытым исходным кодом можно загрузить в традиционном формате и в Docker-контейнере.

10.06.2021    1407    user1015646    0       

Составлен список из 10 самых полезных репозиториев GitHub

Новость GitHub ИТ-новость

Яш Тивари, специалист по обучению начинающих разработчиков, опубликовал подборку важных репозиториев GitHub. Их изучение поможет развить навыки программирования и пройти собеседование в крупную ИТ-компанию.

10.06.2021    2143    VKuser24342747    0       

Российские компании совместно с Gigabyte наладят выпуск серверного оборудования

Новость ИТ-новость

«Яндекс», «Ланит», «ВТБ» и Gigabyte договорились о создании завода по выпуску серверов и компонентов на территории России. Фабрика может начать выпускать продукцию уже в 2022 году.

10.06.2021    1275    VKuser24342747    0       

Консорциум Всемирной паутины создал комитет по развитию WebExtensions

Новость Интернет ИТ-новость

Организация Консорциум Всемирной паутины W3C создала WebExtensions Community Group (WECG) для разработки единых стандартов браузерных расширений. В комитет вошли представители крупных ИТ-компаний.

09.06.2021    1059    VKuser24342747    0       

Google разработал сервис для наглядного отслеживания зависимостей проекта

Новость Google ИТ-новость

Инструмент Open Source Insights позволяет визуализировать граф зависимостей для пакетов. Благодаря сервису можно своевременно обнаруживать проблемы с безопасностью модулей.

09.06.2021    1561    VKuser24342747    0       

10 лучших языков программирования в 2021 году по версии InformationWeek

Новость ИТ-новость Языки программирования

Журнал InformationWeek выпустил топ языков программирования, востребованных среди корпоративных ИТ. Рейтинг составлен на основе нескольких источников сбора и анализа данных. В рейтинг InformationWeek попало десять языков программирования.

08.06.2021    1462    SKravchenko    0       

«Яндекс» разрешил пользователям удалять данные о себе

Новость ИТ-новость Яндекс

«Яндекс» открыл доступ к инструменту просмотра и удаления сведений, накопленных организацией о пользователе. Поддерживаются не все сервисы, но компания обещает постепенно расширять список.

07.06.2021    1732    VKuser24342747    0       

Компания Virtuozzo бесплатно раздает дистрибутив vzLinux на замену CentOS

Новость Linux ИТ-новость

Операционная система может стать полноценной заменой CentOS, который перестанет поддерживаться с конца 2021 года. Разработала ОС компания с российскими корнями.

03.06.2021    3052    VKuser24342747    0       

«Яндекс» предоставит бизнесу доступ к сервису обогащенных ответов

Новость Интернет ИТ-новость Яндекс

Сторонние компании смогут создавать блоки для дополнительной информации о своем сайте, которая будет ранжироваться в поисковой выдаче. Таким образом «Яндекс» устраняет нарушения, обнаруженные ФАС.

03.06.2021    2150    VKuser24342747    1       

Google официально выпускает ОС Fuchsia для умных дисплеев Nest Hub

Новость Android Google ИТ-новость Мобильные приложения

Google сообщил, что обновление коснется владельцев первого поколения Nest Hub. Новая ОС Fuchsia заменит существующее программное обеспечение на основе Cast OS.

02.06.2021    1750    SKravchenko    0       

В Amazon Web Services добавили новую систему запуска и управления контейнерами

Новость Дата-центры ИТ-новость Новости компаний

Компания Amazon открыла общий доступ к ECS Anywhere. Это расширение ECS (Elastic Container Service) для управления контейнеризированными приложениями. Оно обеспечивает быстрое развертывание AWS-приложений в любой вычислительной среде.

02.06.2021    1986    user1015646    1       

Microsoft представила релизную версию менеджера пакетов winget

Новость Windows Автоматизация ИТ-новость

В Windows 10 в ближайшем обновлении будет добавлена утилита Windows Package Manager 1.0. Она позволяет управлять пакетами на устройстве, обновлять их и копировать настройки на новый компьютер.

01.06.2021    2988    VKuser24342747    0       

Microsoft добавила в Teams презентации, вебинары и приложения

Новость ИТ-новость Новости компаний

Microsoft открыл бесплатный доступ к вебинарам и презентациям PowerPoint Live в сервисе Teams. Также на ежегодной конференции Build компания рассказала о возможностях создания приложений на базе мессенджера.

31.05.2021    1494    user1015646    0       

Microsoft разработала систему автодополения кода на базе нейросети GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний Языки программирования

Платформа Microsoft Power Apps получила функцию автоматической генерации кода на языке Power Fx. Пользователю достаточно словами описать команду, и программа выдаст подходящую формулу.

28.05.2021    1694    VKuser24342747    0       

Энтузиаст создал дистрибутив Linux для записи на дискету

Новость Linux ИТ-новость

Польский разработчик Кшиштоф Кристиан Янковски сделал дистрибутив Floppinux, который помещается на 3,5-дюймовую дискету. Современная операционная система работает на любых компьютерах старше 1989 года.

27.05.2021    2066    VKuser24342747    5       

В России создадут госстандарт для ИИ

Новость Искусственный интеллект ИТ-новость

Российские власти предлагают утвердить ГОСТ для разработок в сфере искусственного интеллекта. В Росстандарте уверены: ГОСТы ускорят развитие инноваций и добросовестной конкуренции в сфере ИИ.

27.05.2021    3278    user1015646    5       

Разработчики Sublime Text представили версию приложения 4.0

Новость ИТ-новость

В обновлении Sublime Text улучшен интерфейс текстового редактора, добавлена поддержка новых языков программирования, доработан механизм автодополнения и внесены изменения в условия лицензирования.

27.05.2021    1678    VKuser24342747    0