Искусственный интеллект научился находить проблемы в коде

Искусственный интеллект научился находить проблемы в коде

27.04.2021      11102

Исследователи из МТИ (Массачусетского технологического института) разработали систему глубокого машинного обучения для поиска проблем в коде ПО. Она станет основой инструментов автоматического анализа, которые помогут найти и устранить слабые места в IDE для создания программ.

Разработка изнутри

Многие программисты используют интегрированные среды разработки (IDE) вроде Visual Studio или Eclipse, чтобы писать код продуктивнее. В таких средах автоматически предлагаются подходящие фрагменты кода: типы данных, функции объектов и т.д. 

Для подбора вариантов внутри IDE используются сложные языковые модели, обученные на миллионах примеров реальных фрагментов кода – например, с GitHub. Но такие системы имеют множество встроенных уязвимостей – так часто бывает при обучении на больших наборах данных без учителя, в отсутствие четко установленных правил и инструкций.

Хакеры могут манипулировать входными данными таких моделей. В результате IDE будут предлагать разработчикам варианты, из-за которых в коде появляются уязвимости. Новая система машинного обучения должна предотвратить это.

Новый подход

Шашанк Шрикант, аспирант факультета электротехники и информатики МТИ совместно с исследовательницей института Уной-Мэй О’Рейли и специалистом IBM Сиджи Лю описали автоматизированный метод поиска слабых мест в моделях обработки кода и их переподготовки. Такой подход должен повысить устойчивость IDE к хакерским атакам.

Ученые утверждают, что модели обработки кода в IDE обмануть легко. Достаточно, например, переименовать переменную, вставить ложный оператор вывода на экран или внести другие незначительные изменения в программный код, который модель попытается обработать.

В результате IDE сможет принять вредоносное ПО за безопасное и не выдаст никаких предупреждений. А функции автоматического дополнения строк станут предлагать неверные или потенциально опасные варианты. Разработчик, скорее всего, даже не будет подозревать, что IDE изменилась.

Похожая проблема есть и у моделей компьютерного зрения. Исследователи МИТ показали, что если изменить несколько ключевых пикселей во входном изображении, система может, например, спутать свиней с самолетами и черепах с винтовками.

 

В зеленой рамке показана верно распознанная черепаха, в красных – черепахи, распознанные как винтовки, в черных – как другие предметы (ни черепахи, ни винтовки)

 

Как и у передовых моделей распознавания естественного языка, у моделей обработки кода есть один существенный недостаток: они являются экспертами в области статистических отношений между словами и фразами, но смутно понимают их истинное значение. Например, языковая модель OpenAI GPT-3 может писать прозу, и только человек сможет понять, бессмысленный текст она выдает или гениальный.

Алгоритм, который предложил Шрикант и его коллеги, действует иначе. Сначала он находит места в программе, где добавление или замена текста могут спровоцировать наиболее серьезные ошибки. Затем алгоритм определяет, какие изменения будут здесь опаснее всего.

Исследователи признают, что их модель пока далека от совершенства. В трети случаев она неверно распознавала единственное потенциально опасное исправление, в половине примеров ошибалась хотя бы раз, когда в код вносили пять подозрительных правок. Но все же исследователи говорят о положительной динамике: модель способна учиться на своих ошибках и со временем начнет лучше понимать и глубже анализировать программный код.



Источник: https://infostart.ru/journal/news/tekhnologii/iskusstvennyy-intellekt-nauchilsya-nakhodit-problemy-v-kode_1433191/
Автор:
Ксения Шестакова Обозреватель


Комментарии
В избранное Подписаться на ответы Сортировка: Дата
1. nvv1970 27.04.21 21:36 Сейчас в теме
Знакомство с 1С будет его последним днём ))
2. chg 28.04.21 02:56 Сейчас в теме
(1)ИИ просто уничтожит код 1С посчитав его полностью не правильным
3. nvv1970 28.04.21 08:39 Сейчас в теме
(2) расовые предрассудки.
"За что они нас не любят?" (С)
Оставьте свое сообщение

См. также

Российская ОС «Аврора» получила крупное обновление до версии 4.0

Новость ОС ИТ-новость Мобильные приложения Новости компаний

Компания «Открытая мобильная платформа» выпустила мобильную операционную систему «Аврора» 4.0. Релиз включает более 300 улучшений, из них 40 – важные нововведения.

вчера в 15:47    6137    VKuser24342747    0       

Российские банки запустили систему переводов без номера телефона и карты

Новость Банки Безопасность ИТ-новость

Новая технология позволяет клиентам банков переводить деньги на ближайшие устройства при помощи Bluetooth и AirDrop без указания реквизитов карты или счета, а также телефонного номера.

02.12.2021    5141    VKuser24342747    3       

Сотрудники Минцифры протестируют сервисы VK для госслужащих

Новость ИТ-новость Минкомсвязь Цифровая экономика

Компания VK разработала набор приложений для автоматизации работы госслужащих. Первыми получат возможность опробовать мессенджер, файлообменник, почту и другие сервисы чиновники из Минцифры.

02.12.2021    6550    VKuser24342747    0       

Лаборатория Касперского представила бесплатную ОС

Новость ОС Безопасность ИТ-новость Новости компаний

«Лаборатория Касперского» выпустила собственную операционную систему. На базе KasperskyOS можно создать решения, которые защищены от многих видов кибератак.

01.12.2021    5939    user1015646    1       

«Яндекс» представил сервис для сканирования документов

Новость ИТ-новость Новости компаний Яндекс

В приложениях «Яндекс.Почта» и «Яндекс.Диск» появился новый сервис «Сканер». Он при помощи искусственного интеллекта обрабатывает фотографию документа, улучшает ее качество и выдает в результате «отсканированный» файл.

01.12.2021    6731    VKuser24342747    1       

OpenAI открывает доступ к API GPT-3

Новость Искусственный интеллект ИТ-новость Новости компаний

Компания OpenAI предоставила доступ к API (прикладному программному интерфейсу) алгоритмов обработки естественного языка GPT-3. Это открывает новые возможности для экспериментов с умными системами, которые могут имитировать человеческие возможности – например, писать стихи или отвечать на вопросы.

29.11.2021    4703    user1015646    0       

Компания JetBrains представила легковесный редактор Fleet

Новость ИТ-новость Новости компаний

Разработчики нового продукта пообещали своим пользователям поддержку инструментов коллективной разработки, удаленный доступ к проектам, а также возможность трансформации редактора в полноценную IDE.

29.11.2021    4957    ЕленаЧерепнева    8       

Разработчики Astra Linux создали аналог Microsoft Active Directory

Новость Linux Безопасность Импортозамещение ИТ-новость Новости компаний

Группа компаний «Астра» представила службу ALD Pro, которая замещает в российской ОС Astra Linux решение Microsoft Active Directory. Поддержку этой функции от системы часто требуют госзаказчики.

29.11.2021    5833    VKuser24342747    1       

Специальный алгоритм очистит данные переписи населения

Новость Искусственный интеллект ИТ-новость

В России завершился первый этап Всероссийской переписи населения. Росстат будет в автоматическом режиме очищать собранные данные от продублированных записей при помощи российской BI-системы.

26.11.2021    5933    VKuser24342747    0       

В офисах Google появились универсальные роботы

Новость Автоматизация ИТ-новость Новости компаний

Офисы Google в Маунтин Вью, штат Калифорния, теперь станут гораздо чище. К уборке привлекли универсальных роботов, разработанных X Company, которая, как и поисковый гигант, входит в состав холдинга Alphabet.

25.11.2021    5635    user1015646    2       

Вышло крупное обновление для TypeScript с автодополнением кода

Новость ИТ-новость Языки программирования

Команда разработки TypeScript представила версию языка под номером 4.5. В ней улучшена производительность технологии, расширены возможности автодополнения и упрощено переподключение библиотек.

24.11.2021    8962    VKuser24342747    4       

GitHub назвал три ключевых тренда в разработке за 2021 год

Новость GitHub Аналитика ИТ-новость

GitHub провел традиционное ежегодное исследование Octoverse, чтобы определить основные направления развития ИТ-индустрии. В 2021 году актуальными стали вопросы быстрого написания кода и подготовки документации.

24.11.2021    9225    VKuser24342747    0       

Рособрнадзор прекратит использовать Windows при проведении ЕГЭ

Новость Импортозамещение ИТ-новость

Единый государственный экзамен к концу 2024 года будет проходить без использования ОС Windows во всех местах, где можно сдать тестирование. Вместо нее будет установлена российская система.

23.11.2021    6430    VKuser24342747    5       

Google выпустил версию браузера Chrome 96

Новость Интернет ИТ-новость Новости компаний

Новая актуальная версия Google Chrome 96 получила расширение инструментов для веб-разработчиков и экспериментальные функции в мобильной версии.

23.11.2021    5655    VKuser24342747    1       

Через Госуслуги компании подтвердили 13,3 млн корпоративных SIM-карт

Новость Безопасность ИТ-новость Телекоммуникации

Министерство цифрового развития сообщило, что компании соблюдают новые требования закона «О связи» и уже зарегистрировали на портале госуслуг 13,3 млн рабочих SIM-карт.

22.11.2021    7651    VKuser24342747    1       

Visual Studio 2022 и .NET 6: что нового

Новость ИТ-новость Новости компаний Языки программирования

Microsoft выпустила свежий релиз одной из самых популярных сред разработки. Вместе с Visual Studio 2022 представили обновленную платформу .NET 6.

22.11.2021    9314    user1015646    0       

Программист разработал поисковую систему без слежки за пользователями

Новость Безопасность Интернет ИТ-новость

Бывший разработчик из компании Salesforce Ричард Сокер открыл публичный доступ к своему поисковому сервису You. В нем нет никаких трекеров личных данных и рекламных материалов.

18.11.2021    6243    VKuser24342747    3       

«Сбер» обучил нейросеть ruGPT-3 генерировать программный код

Новость Искусственный интеллект ИТ-новость Новости компаний

Новая функция самой большой генеративной AI-модели для русского языка получила название JARVIS. Сейчас сервис способен работать с языками программирования Java, Python и JavaScript.

18.11.2021    6240    VKuser24342747    2       

Университет Иннополис создал уникальный российский индустриальный блокчейн

Новость Блокчейн ИТ-новость

В России разработан блокчейн InnoChain, который предназначен для использования в закрытых сетях. С его помощью можно подписывать договоры и планировать объемы продаж.

17.11.2021    6780    VKuser24342747    0       

В Dropbox появились «автоматизированные папки» и новая система тегов

Новость ИТ-новость Облачные технологии

Dropbox добавил в свой облачный сервис функции, которые позволят автоматизировать работу с общими папками и файлами. К ним относятся автоматизированные папки, автоматизированная панель инструментов, соглашения об именах и многофайловая организация.

17.11.2021    6367    SKravchenko    1       

Microsoft выпустит платформу Defender for Business

Новость ИТ-новость Новости компаний

Microsoft Defender for Business станет частью комплексного решения Microsoft 365 Business Premium, которое объединяет Microsoft Teams и Office 365 с основными инструментами безопасности для малого и среднего бизнеса.

16.11.2021    4287    SKravchenko    0       

Adobe Photoshop и Illustrator стали доступны онлайн

Новость

У популярных графических редакторов появились веб-версии. Они позволяют редактировать фото, не устанавливая требовательные к ресурсам приложения на компьютер или смартфон, и включают достаточно широкий набор инструментов.

11.11.2021    5371    user1015646    0       

Что нового в SQL Server 2022

Новость СУБД MS SQL ИТ-новость Новости компаний

Microsoft на ежегодной конференции Microsoft Ignite анонсировала предварительную версию SQL Server 2022 – теперь СУБД включает интеграцию с базой Azure SQL, службой аналитики Azure Synapse Analytics и платформой управления данными Azure Purview.

11.11.2021    10415    SKravchenko    0       

«Сбер» представил нейросеть для генерации картинок по описанию

Новость Искусственный интеллект ИТ-новость

Сервис ruDALL-E способен генерировать изображения с нуля по текстовому описанию на русском языке. Авторы полагают, что модель будет полезна для создания рекламного, архитектурного и промышленного дизайна.

11.11.2021    6895    VKuser24342747    10       

Правительство собирается определить главный российский процессор

Новость Импортозамещение ИТ-новость

Минцифры и Минпромторг намерены выбрать приоритетную российскую микропроцессорную платформу. Разработчики отечественного ПО будут обязаны поддерживать ее.

10.11.2021    6253    VKuser24342747    4