Вход
Регистрация
SoftPower

Как обманывают искусственный интеллект?

Можно ли обмануть искусственный интеллект_Монтажная область 2.jpg

В фантастической драме-антиутопии «Особое мнение» главный герой, убегающий от копов, приходит к хирургу-подпольщику, чтобы тот пересадил ему глазные яблоки другого человека. Эта операция нужна человеку, чтобы скрыться под чужим именем от «большого брата» — биометрических камер, установленных повсюду в городе. Сегодня обмануть искусственный интеллект проще, чем в фильме, пугающем мрачным будущим в киберпанке. И цели тех, кто делает это, — прозаичнее. Рассказываем, как можно ввести компьютер в заблуждение и что надо делать, чтобы у вас так не случилось.

Обмануть компьютерное зрение

Алгоритмы, способные распознавать объекты, уже представлены во многих сферах нашей жизни. Камеры на автодорогах «видят» номера машин, в метро — отслеживают забытые сумки, на улицах — выхватывают лица прохожих и проверяют их по базе МВД. Есть нейросети, которым не нужны «глаза» в виде камер. Они анализируют графические изображения. Подобные «умные алгоритмы» широко используются для диагностики различных болезней, от сердечно-сосудистых заболеваний до рака. 

Алгоритм, управляющий беспилотным автомобилем, должен «видеть» с помощью камер и по внутренним картам, дорожную разметку, пешеходов, другие машины, мотоциклы, мелких животных, препятствия и так далее. Разберем способы обмана на его примере. 

Чтобы научить автопилота узнавать дорожные знаки, его обучают на большом наборе данных (датасете). Это часто гигабайты изображений и видео. Чтобы беспилотник понимал знак «Стоп», нужно показать ему десятки тысяч таких знаков: чистых, пыльных, грязных, слегка покореженных, наполовину закрытых деревьями... 

Следующая цель — научить адекватно реагировать на то, что он «видит», останавливаться перед нужным знаком или на красный сигнал светофора, как это делает обычный водитель. Нетрудно понять, насколько важно, чтобы алгоритм корректно работал — от этого зависит общая безопасность. И если злоумышленники захотят его обмануть, то у них есть несколько проверенных способов.

Способ первый. Подменить датасет

Насколько умен будет алгоритм — не перепутает ли он знаки, зависит от качества датасета. Если он недостаточно большой, некорректный — система будет ошибаться. Но даже если с набором данных все хорошо, то при желании и слабой защищенности злоумышленники могут хакнуть его и «покормить» алгоритм ложными данными — adversarial examples. 

В результате беспилотник будет воспринимать знак «Стоп», допустим, как поворот налево и действовать соответственно. Причем, это качество он может проявить не на этапе тестирования, а в непредсказуемый момент. 

Способ второй. Показать компьютеру «ложную картинку», чтобы не узнал… 

Злоумышленники могут вмешаться не только на стадии обучения, но и в период полноценной работы. Например, дать беспилотнику ложную картинку по пути следования. Это не значит, что хакеры пойдут зарисовывать дорожные знаки. Есть возможность удаленно вмешаться в работу системы и наложить на изображение какого-либо объекта цветной шум. В таком случае машина может просто не заметить знак или проинтерпретировать его рандомным образом. 

Здесь исследование, доказывающее, что такая помеха способна исказить восприятие искусственного интеллекта. Ученые из института Карнеги использовали очки с разноцветной оправой, чтобы ввести алгоритм, распознающий лица, в заблуждение. У авторов эксперимента получилось выдавать себя за других людей почти со 100% результатом. 

… или, чтобы не отличил от копии другого человека 

В 2018 году журналист Forbes распечатал на 3D-принтере гипсовую копию своей головы и попытался авторизоваться с ее помощью на смартфонах пяти моделей. Это LG G7 ThinQ, Samsung S9, Samsung Note 8, OnePlus 6 и iPhone X. Четыре попытки были успешными — не поддался только iPhone X. 

Сегодня биометрические системы, распознающие по лицу, используются не только в смартфонах, но и для доступа на какие-либо объекты — от секретных производств до банковских помещений, а также в аккаунты с конфиденциальной информацией. Нетрудно догадаться, что если злоумышленники получат биометрические данные любого авторизованного сотрудника компании, то могут попробовать использовать их для несанкционированного входа. 

Как эти данные окажутся у них? Например, в результате кибератак число утечек персональных данных растет с каждым годом. И хотя разработчики говорят, что создают меры защиты, не позволяющие открыть «умную» дверь по чужой фотографии или слепку отпечатка пальцев, мы знаем, что полностью неуязвимых систем не бывает.

Способ третий. Остаться незамеченным 

Польский дизайнер Ева Новак разработала маску-очки для защиты от технологии распознавания лиц. Аксессуар, правда, скорее привлечет к вам внимание, чем позволит остаться незамеченным в толпе. Зато алгоритм DeepFace, «узнающий» пользователей Facebook, не распознал в нем Новак. 

Сегодня в крупных городах мира, в том числе и в Москве, становится больше биометрических камер, установленных по инициативе властей. Не все в восторге от «большого брата», уже есть разные разработки, позволяющие избежать слежки — от приложений с картами, где нанесены все «умные» камеры и рекомендованы маршруты, до специальной «бликующей» одежды. 

В мире появляется все больше кейсов, которые называют киберпанк-протестами. В июне в Гонконге участники протестов направляли на такие камеры мощные лазеры и «ослепляли» их. По всей видимости, таких примеров будет больше. Но сегодня нас в первую очередь интересует, как не дать злоумышленникам обмануть алгоритмы, чтобы получить доступ к конфиденциальной информации или внести изменения в программы.

Как не допустить утечек информации и обмана ИИ

Многие утечки происходят потому что технические специалисты ставят слабые пароли, забывают закрывать доступ к хранилищам, компрометируют их из-за некорректных настроек при организации совместной работы. Для администраторов таких систем существуют свои правила кибергигиены, к которым относится использование защиты конфиденциальных данных.

Например, у компании IBM есть семейство продуктов для защиты информации — IBM Security Guardium. Решения выполняют весь спектр задач по информационной безопасности. Это поиск и классификация уязвимостей, указание возможных источников угроз, автоматическая блокировка доступа, рекомендации по устранению потенциальных проблем и помощь в шифровке данных. 

Как именно работают эти инструменты

Одно из решений IBM Security Guardium - Data Protection for Databases. Оно следит за тем, кто и как использует данные, и какие операции с ними проводит. Например, сообщает про необычные операции, вроде массового копирования, изменения или удаления файлов. При этом, как только инструмент замечает подозрительное поведение пользователя, он может заблокировать ему доступ к потоку данных.

Некоторые решения по своей функциональности похожи на работу пентестера — специалиста, который ищет уязвимости. Vulnerability Assessment сканирует системы в поисках «слабых мест», находит их и предлагает способы устранения. Например, можно применить инструмент Data Encryption, который позволяет зашифровать важную информацию. Продукты семейства IBM Security Guardium легко объединять друг с другом и таким образом повышать уровень защиты. 

Любые проверки систем с помощью инструментов IBM Security Guardium проводятся как по запросу, так и в автоматическом режиме. По результатам анализа формируются подробные и визуально удобные отчеты. Решения совместимы с любой IT-инфраструктурой и могут быть адаптированы и масштабированы по мере ее развития.

Количество киберугроз продолжит увеличиваться в будущем. Даже если ваша компания еще не сталкивалась с попытками взлома, все может измениться в любой момент. Сегодня такие решения как IBM Security Guardium — это уже не дополнительная страховка, а объективная необходимость для бизнеса.

Лента новостей

Самое читаемое

SoftPowerТОП-5 нестандартных программных решений российских разработчиков: от «перехвата» пьяных сотрудников до таск-менеджера для создателей медиаSoftPowerСофт персоны. Какими приложениями и софтом пользуется Олег Бармин, основатель Agenda Media, предприниматель, популярный российский блогерАкции и скидкиСкидка 700 рублей на Office Для Дома и Бизнеса 2016 Новости SyssoftИтоги квизов «Системного софта» за вторую половину сентябряSoftPowerМебельщики XXI века: как заработать миллион, не выпуская из рук рубанок и ноутбукSoftPowerГид по созданию канала на YouTube: где монтировать видео и что еще нужно знать начинающему и продвинутому автору?Записи вебинаровАкронис: резервное копирование, восстановление и защита данныхЗаписи вебинаровОсновы мониторинга с PRTGЗаписи вебинаровAdobe для малых предприятийЗаписи вебинаровNetApp Как всё работает технологии, фичи, самые продвинутые СХД Тренды в развитии flash и NVMeАкции и скидкиБалансировщики нагрузки Kemp: 2 по цене 1 Новости Syssoft«Системный софт» стартует новую стажировку для менеджеров по продажамЗаписи вебинаровОбнаружение, управление, защита и учет при помощи Ivanti Endpoint Manager
SoftPowerWindows когда-то приучила нас кликать мышкой и раскладывать пасьянс. Почему эта ОС до сих пор остается популярной?SoftPowerЧто нужно знать о корпоративной почте? Почему свой домен лучше и как не стать спамером?SoftPowerКак спам может разрушить ваш бизнес? И какой софт нужен, чтобы защититься от него?Анонсы вебинаровAdobe Stock: перфекционизм в лицензировании изображений Новости SyssoftСертификаты для участников сентябрьских квизов «Системного софта» Новости вендоровРешения «Росплатформы» получили сертификаты ФСТЭК РоссииSoftPowerКак купить софт выгодноSoftPowerКак планировать работу, перестать прокрастинировать и срывать дедлайны? Полезные приложения для фрилансеров (и не только)Акции и скидкиСкидки на Altium Designer Новости Syssoft«Системный софт» расширил портфель отечественного ПОАкции и скидкиСкидки на Solid Edge Electrical DesignSoftPowerТОП-5 нестандартных программных решений российских разработчиков: от «перехвата» пьяных сотрудников до таск-менеджера для создателей медиаSoftPowerСофт персоны. Какими приложениями и софтом пользуется Олег Бармин, основатель Agenda Media, предприниматель, популярный российский блогерЗаписи вебинаровПереход на Windows 10 и управление обновлениями с помощью System Center и Microsoft IntuneАкции и скидкиСкидка 700 рублей на Office Для Дома и Бизнеса 2016 Новости SyssoftИтоги квизов «Системного софта» за вторую половину сентября

Похожие новости

Подборка софта: шесть полезных решений для архитектурного бюро

Профессия архитектора часто воспринимается как одна из самых романтичных: построить особняк, превратить бывшую промзону в общественное пространство… Но «лирика» всегда идет об руку с серьезными умениями: начертить детальный план, предусмотреть влияние погодных явлений, рассчитать стоимость проекта и др. Благодаря разработчикам софта часть процессов удалось упростить и автоматизировать, но теперь профессионалу необходимо уметь пользоваться специализированным ПО. Сотрудники архитектурных бюро рассказали SoftPower, какие программы помогают им в работе.


3917