Обновление: Apple упомянула о второй проверке сервера, и профессиональная компания, занимающаяся компьютерным зрением, описала возможность того, что это может быть описано в разделе «Как может работать вторая проверка» ниже.
После того, как разработчики реконструировали его части, ранняя версия системы Apple CSAM была эффективно обманута, чтобы пометить невинное изображение.Однако Apple заявила, что у нее есть дополнительные меры предосторожности, чтобы этого не произошло в реальной жизни.
Последняя разработка произошла после того, как алгоритм NeuralHash был опубликован на сайте разработчиков с открытым исходным кодом GitHub, каждый может с ним поэкспериментировать…
Все системы CSAM работают путем импорта базы данных известных материалов о сексуальном насилии над детьми из таких организаций, как Национальный центр пропавших без вести и эксплуатируемых детей (NCMEC).База данных предоставляется в виде хэшей или цифровых отпечатков с изображений.
Хотя большинство технологических гигантов сканируют фотографии, загруженные в облако, Apple использует алгоритм NeuralHash на iPhone клиента для генерации хеш-значения сохраненной фотографии, а затем сравнивает его с загруженной копией хеш-значения CSAM.
Вчера разработчик заявил, что перепроектировал алгоритм Apple и опубликовал код на GitHub — это утверждение было фактически подтверждено Apple.
В течение нескольких часов после выпуска GitHib исследователи успешно использовали алгоритм для создания преднамеренного ложного срабатывания — двух совершенно разных изображений, которые генерировали одно и то же значение хеш-функции.Это называется столкновением.
Для таких систем всегда есть риск коллизий, потому что хеш — это, конечно, сильно упрощенное представление изображения, но удивительно, что кто-то может так быстро сгенерировать изображение.
Преднамеренное столкновение здесь — всего лишь доказательство концепции.У разработчиков нет доступа к базе данных хэшей CSAM, что потребовало бы создания ложных срабатываний в системе реального времени, но это доказывает, что атаки столкновений в принципе относительно просты.
Apple фактически подтвердила, что алгоритм лежит в основе ее собственной системы, но сообщила материнской плате, что это не окончательная версия.Компания также заявила, что никогда не собиралась держать это в секрете.
Apple сообщила Motherboard в электронном письме, что версия, проанализированная пользователем на GitHub, является общей версией, а не окончательной версией, используемой для обнаружения iCloud Photo CSAM.Apple заявила, что также раскрыла алгоритм.
«Алгоритм NeuralHash [...] является частью подписанного кода операционной системы, [и] исследователи безопасности могут проверить, соответствует ли его поведение описанию», — говорится в документе Apple.
Далее компания сообщила, что есть еще два шага: запуск вторичной (секретной) системы сопоставления на собственном сервере и проверка вручную.
Apple также заявила, что после того, как пользователи преодолеют порог в 30 совпадений, второй закрытый алгоритм, работающий на серверах Apple, проверит результаты.
«Этот независимый хэш был выбран, чтобы исключить возможность того, что ошибочный NeuralHash соответствует зашифрованной базе данных CSAM на устройстве из-за враждебного вмешательства изображений, отличных от CSAM, и превышает порог совпадения».
Брэд Дуайер из Roboflow нашел способ легко различить два изображения, опубликованных в качестве доказательства концепции атаки столкновением.
Мне любопытно, как эти изображения выглядят в CLIP аналогичного, но другого экстрактора нейронных функций OpenAI.CLIP работает аналогично NeuralHash;он берет изображение и использует нейронную сеть для генерации набора векторов признаков, которые сопоставляются с содержимым изображения.
Но сеть OpenAI отличается.Это общая модель, которая может отображать изображения и текст.Это означает, что мы можем использовать его для извлечения понятной человеку информации об изображении.
Я пропустил два изображения столкновений выше через CLIP, чтобы увидеть, не обманули ли его.Короткий ответ - нет.Это означает, что Apple должна иметь возможность применять вторую сеть извлечения признаков (например, CLIP) к обнаруженным изображениям CSAM, чтобы определить, являются ли они реальными или поддельными.Гораздо сложнее генерировать изображения, обманывающие две сети одновременно.
Наконец, как упоминалось ранее, изображения проверяются вручную, чтобы подтвердить, что они являются CSAM.
Исследователь безопасности сказал, что единственный реальный риск заключается в том, что любой, кто хочет досадить Apple, может дать ложные срабатывания рецензентам.
«Apple на самом деле разработала эту систему, поэтому хеш-функцию не нужно держать в секрете, потому что единственное, что вы можете сделать с «не CSAM как CSAM», — это раздражать группу реагирования Apple некоторыми ненужными изображениями, пока они не внедрят фильтры для устранения анализ Этот мусор в конвейере — ложные срабатывания», — сказал Motherboard в онлайн-чате Николас Уивер, старший научный сотрудник Института международных компьютерных наук Калифорнийского университета в Беркли.
Конфиденциальность является проблемой, вызывающей все большее беспокойство в современном мире.Следите за всеми отчетами, касающимися конфиденциальности, безопасности и т. д., в наших рекомендациях.
Бен Лавджой — британский технический писатель и редактор ЕС для 9to5Mac.Он известен своими колонками и дневниковыми статьями, в которых он изучает свой опыт работы с продуктами Apple с течением времени, чтобы получить более подробные обзоры.Еще он пишет романы, есть два технических триллера, несколько короткометражных фантастических фильмов и романтическая комедия!
Время публикации: 20 августа 2021 г.