from 01.01.2022 until now
The article discusses the results of a scientific study conducted by the author's team and devoted to the consideration of the issues of determining whether it is possible to identify signs of intra-frame editing of video images made using neural networks (video clips). This study is an event within the framework of a set of measures to improve the level of scientific and technical support for the activities of forensic units of the Ministry of Internal Affairs of Russia. In the paper, a hypothesis is put forward and substantiated about the availability of opportunities for detecting video fakes, which is confirmed by the results of theoretical, experimental, expert and patent studies.
artificial intelligence, neural networks, in-frame editing, deepfake, expertise, deepfake, detection, crime.
Введение
Нейросетевые технологии на фоне их общедоступности в виде приложений и программного обеспечения с открытым исходным кодом позволяют обычному человеку без применения специальных познаний и навыков создавать поддельные видеоизображения (видеодипфейки), которые все чаще стали использоваться при решении криминальных задач. Спектр противоправных целей, для достижения которых используются видеодипфейки, в настоящее время достаточно широк и составляет совокупность действий по применению поддельных видеоизображений, направленных в частности на дезинформирование граждан и манипулирование их мнением в различных противоправных направлениях; клевету; мошенничество; вымогательство; незаконное изготовление и оборот порнографических материалов и т. д. Данная тема получила широкое освещение в юридической литературе, например в работах М. Б. Добробабы [1], О. Б. Дроновой [2], Н. Р. Красовской [3; 4], Е. С. Лариной [5], С. В. Лемайкиной [6]. Здесь же отметим, что ввиду новизны данного технического феномена и отсутствия цели по освещению технологических принципов, методов, способов и приемов создания видеодипфейков в данной работе предлагается ракурс рассмотрения и изложения материала сместить в сторону изучения формирующегося опыта выявления синтетических видеоизображений, выполненных с помощью нейросетей.
В настоящее время перед правоохранительными органами в целом встала задача по поиску новых форм, методов и средств совершенствования научно-технического обеспечения и расширения перечня инструментария экспертно-криминалистических подразделений МВД России, способного обеспечить выявление синтетических медиа в частности. Практическая реализация такой задачи стала возможной благодаря проведению фундаментальных научных исследований и опытно-конструкторских работ, в результате которых на вооружение экспертно-криминалистических подразделений ставятся разработанные новейшие образцы техники.
Вопросами координации разработки, постановки и снятия со снабжения оперативной, криминалистической, досмотровой и поисковой специальной техники, проведения научно-исследовательских, опытно-конструкторских и технологических работ и иными направлениями научно-технической деятельности в качестве головного научно-технического подразделения МВД России занимается Научно-производственное объединение «Специальная техника и связь» (далее – «СТиС») МВД России. Это обусловлено основными целями «СТиС» МВД России, к числу которых следует отнести: проведение прикладных поисковых научных исследований, создание научной и научно-технической продукции для нужд МВД России; координация научно-технической деятельности в системе МВД России; осуществление закупок научно-исследовательских, опытно-конструкторских и технологических работ в рамках государственного оборонного заказа и т. д.
В целях повышения уровня научно-технического обеспечения деятельности экспертно-криминалистических подразделений МВД России под общим руководством «СТиС» МВД России во взаимодействии с ЭКЦ МВД России, выступающим одним из основных функциональных заказчиков научно-технической продукции, а также при участии авторского коллектива (О. Н. Чередник, С. В. Степанов, А. А. Кукурин) из числа сотрудников Акционерного общества «Научно-промышленная компания «Высокие технологии и стратегические системы» (в составе группы компаний
«К-Технологии») была проведена научно-исследовательская работа «Исследование возможных способов выявления признаков внутрикадрового монтажа видеоизображений (далее – ВКМ), выполненного с помощью нейронных сетей (шифр Зеркало (Верблюд))» (далее – НИР).
Основная часть
Объектом исследования выступили способы выявления признаков внутрикадрового монтажа видеоизображений, выполненного с помощью нейронных сетей.
Методологию исследования составило использование таких методов, как аугментация данных (в компьютерном зрении); линейный дискриминантный анализ; машинное обучение; численные методы; метод мешка слов (BOW); метод опорных векторов; метод k-ближайших соседей (k-NN); регрессионный анализ; спектральный анализ; линейный дискриминантный анализ (LDA); метод опорных векторов (SVM).
Важно отметить, что большое количество методов, применяемых для решения искомых задач, не дает необходимой достоверности. При поддержке принятия решения результаты анализа можно использовать всего лишь как возможные варианты. Процессы обеспечения доверия
и оценки качества систем искусственного интеллекта требуют
постоянной проверки и реализации на всех стадиях жизненного цикла изделия.
В качестве основной цели НИР было определено повышение уровня научно-технического обеспечения деятельности экспертно-криминалистических подразделений МВД России по линии производства видеотехнических экспертиз и исследований.
Для достижения данной цели были поставлены следующие задачи:
– определить признаки ВКМ видеоизображений, выполненного с помощью нейронных сетей и способы их выявления;
– разработать техническое задание (далее – ТЗ) на проведение опытно-конструкторской работы (далее – ОКР) по созданию аппаратно-программного комплекса для выявления признаков ВКМ видеоизображений, выполненного с помощью нейронных сетей.
Выполнение НИР было запланировано в два этапа: теоретические исследования и экспериментальные исследования в следующем порядке:
а) проведение теоретических исследований (патентное исследование, осуществление поиска дополнительных методов обнаружения признаков ВКМ),
б) проведение экспериментальных исследований (исследование применения подходов, выделенных на первом этапе; проектирование модели системы обнаружения признаков ВКМ; исследование дополнительных методов обнаружения ВКМ),
в) проведение экспертных исследований (анализ материалов первого этапа, проведение исследований в экспертных группах, анализ результатов экспертного исследования);
г) разработка проекта ТЗ на ОКР;
д) закрытие этапа (подготовка отчета по второму этапу; согласование отчетных материалов, проведение научно-технического совета).
Данный порядок обусловил дальнейший ход изложения наиболее значимых результатов проведенного исследования.
Основные способы выявления признаков видеодипфейков, изготовленных с использованием нейросетей, условно можно классифицировать на классические (анализ: визуальный, характеристик видеофайла и его структуры, медиаконтейнера, видеопотока, служебной информации, бит-кадров, яркости и цвета; выявление объектов с нарушением линейной перспективы; изучение особенностей глаз, зубов, контуров лиц и др.) и нейросетевые (BOW; CFFN и CNN; использование матриц различий между соседними кадрами для обнаружения фейков с помощью RNN и LSTM; анализ пространственно-временных особенностей видеопотока с помощью CNN и LSTM).
Для проведения практической части исследования были отобраны модели различной архитектуры, имеющие в своей основе нейронные сети сверточного типа, наиболее
подходящего для работы с изображениями.
Почти во всех подходах используется техника «Перенос обучения». Суть техники состоит в том, что обучение модели нейросети проходит в два этапа. На первом этапе модели обучаются на больших, общедоступных, многократно проверенных датасетах, например Imagenet, для классификации изображений. Таким образом, они обучаются выделять наиболее полные признаковые описания входных объектов, а также получают релевантные «представления об окружающем мире». На втором этапе предобученные модели дообучаются для решения конкретной задачи. При проведении исследования были использованы такие модели, как модель на основе MesoNet; модель на основе Xcetption; модель на основе EfficientNet; модель на основе ResNet+LSTM и др.
Теоретические исследования
В ходе проведения патентных исследований в целях выявления существующих способов выявления признаков ВКМ видеоизображений, выполненного с помощью нейронных сетей, были изучены российские базы данных изобретений, полезных моделей, заявок на изобретения, программного обеспечения за период с 2002 по 2022 годы. В результате было выявлено 56 правоустанавливающих документов, что позволило подтвердить наличие запатентованных способов и методов выявления признаков ВКМ. Особый интерес вызвали патенты «Лаборатории кибербезопасности Сбера» (№ 2774624, № 2768797), содержащие информацию о способах и устройствах, позволяющих выявлять признаки ВКМ видеоизображений, выполненных с использованием нейронных сетей. Здесь же отметим, что в отечественной практике какого-либо программного обеспечения, использующего указанные патенты, не выявлено.
Экспертные исследования
В рамках проведения экспертных исследований были проведены мероприятия по установлению существующих возможностей проведения исследования видеодипфейков в наиболее распространенных видеоформатах наряду с определением эффективности обнаружения видеофейков экспертами как с использованием специализированного инструментария, так и без такового.
В ходе экспериментальных исследований (рис. 1) были использованы такие модели нейронных сетей сверточного типа, как MesoNet, Xception, EfficientNet, ResNet+LSTM.
В исследовании приняло участие 70 экспертов-видеотехников экспертно-криминалистических подразделений МВД России (32 из которых приняли участие в двух этапах); использованы 264 датасета, включающие в себя манипуляции следующих видов: внесение изменений в изображение путем замены объектов; повышение разрешения некоторых объектов на изображении.
Рис. 1. Результаты экспертных исследований
Как отмечено в таблице 1, каждому эксперту были рассчитаны следующие показатели: «Precision» (показывает точность определения фейков, доля фейков среди всех видео, помеченных как «фейк»); «Recall» (показывает охват фейков, доля правильно помеченных фейков среди предложенных в датасете); «F1» (мера для сравнения результатов, среднее гармоническое двух предыдущих метрик).
В результате эксперимента в экспертных группах из 32 экспертов, участвовавших в обоих этапах, 15 показали положительные результаты по определению замены объектов. При этом у экспертов среднее значение показателя «Precision» составило 84 %, в лучшем случае – 90 %; значение показателя «Recall» - 50 %, в лучшем случае – 73 %; показателя «F1» – 56 %, в лучшем случае – 78 %.
В результате проведенных экспертных исследований было установлено, что на практике существует возможность проведения исследования видеодипфейков; количество экспертов, обладающих соответствующими компетенциями по выявлению видеодипфейков, крайне ограничено, так же как и количество имеющегося в их распоряжении инструментария.
В завершение НИР было подготовлено соответствующее ТЗ на ОКР, заключительный отчет о НИР.
Выводы и заключение
Проведенное исследование позволило сделать следующие ключевые выводы:
– теоретические исследования позволили определить диагностические признаки, указывающие на наличие ВКМ видеоизображений и выявить способы обнаружения видеодипфейков;
– патентные исследования указали на наличие патентов на способы и изделия, функционал которых способен решить задачу по выявлению дипфейков, и на отсутствие программного софта, использующего данные патенты;
– экспериментальные исследования позволили выявить способность нейроклассификаторов с высокой степенью точности обнаруживать признаки видеодипфейков;
– в ходе НИР разработан прототип, способный выявлять видеодипфейки на более качественном уровне, в отличие от уровня обнаружения экспертами, использование которого существенно облегчает работу экспертов.
Изучение зарубежных передовых практик проведения экспертных исследований по линии обнаружения видеодипфейков в рамках НИР показало, что реализуемость алгоритмов выявления дипфейков с помощью нейроклассификаторов зависит от уровня их обучения и дообучения на различных датасетах и собственных данных.
Также приходится констатировать, что использование нейронных сетей для выявления видеодипфейков выступает назревшей потребностью в деятельности экспертов при производстве видеотехнических экспертиз. Однако при этом речь идет не о полной замене эксперта, а наоборот. В данном случае нейросети, составляющие основу аппаратно-программного комплекса, выступят вспомогательным инструментом в руках экспертов, где итоговое решение в любом случае будет приниматься человеком.
В качестве дополнения отдельно следует отметить, что разработанный в рамках НИР прототип аппаратно-программного решения вызвал научный интерес и практическую востребованность в деятельности иных ведомств правоохранительного блока, в том числе неоднократно использовался при выявлении признаков видеодипфейков, используемых в противоправных целях.
1. Dobrobaba M.B. Deepfakes as a threat to human rights // Lex Russica (Russian Law). 2022. Vol. 75. No. 11 (192). pp. 112-119.
2. Dronova O.B. The prospect of creating modern technical means of detecting defects // In the collection: Forensic examination: Russian and international experience. Materials of the VI International Scientific and Practical Conference. 2022. pp. 189-194.
3. Krasovskaya N.R. Technologies of manipulation of consciousness when using deepfakes as an instrument of information warfare in the political sphere / N.R. Krasovskaya, A.A. Gulyaev // Power. 2020. vol. 28. No. 4. pp. 93-98.
4. Krasovskaya N.R. Fake news and deepfakes as psychotechnologies of modern information warfare // Humanitarian problems of military affairs. 2020. No. 2 (23). pp. 191-194.
5. Larina E.S. The criminal life of deepfakes / E.S. Larina, V.S. Ovchinsky // Information wars. 2022. No. 3 (63). pp. 69-73.
6. Lomakina S.V. Topical issues of countering the use of deepfakes technology // Jurist-Pravoved. 2022. No. 3 (102). pp. 175-178.
