Алгоритмы соцсетей подталкивают подростков к вредному контенту

Китайские исследователи проанализировали почти 187 тысяч роликов на платформах Douyin и Kwai и обнаружили, что подростки регулярно сталкиваются с небезопасным контентом. Более того, алгоритмы рекомендаций способны активно продвигать такие видео даже пользователям, которые специально их не ищут. Youth.kz ознакомился с главными выводами докладчиков.

Суть работы

Шаосюань Чжоу, Яфэй Сунь и Цзин Чжан из Научно-технического университета Китая, а также Сянхан Ми из Университета Монаша (Австралия) провели масштабное исследование популярных видеоплатформ Douyin и Kwai и пришли к тревожному выводу: подростки регулярно сталкиваются с потенциально опасным контентом, причем алгоритмы способны продвигать такие ролики даже тем пользователям, которые их специально не ищут.

В течение шести месяцев ученые анализировали работу рекомендательных систем двух крупнейших китайских сервисов коротких видео. Всего было изучено более 186 тысяч видеороликов и свыше 51 тысячи комментариев.

Вредный контент встречается чаще, чем кажется

Авторы исследования ввели понятие «потенциально вредные подростковые видео» − материалы, которые могут негативно влиять на психику, поведение или систему ценностей несовершеннолетних.

Среди обнаруженных роликов встречались видео с сексуализированным изображением несовершеннолетних, опасными челленджами, пропагандой вредных привычек, сценами самоповреждения и насилия, а также контентом, связанным с вовлечением подростков в сомнительные или незаконные действия.

По данным ученых, около 6% всех роликов, попавших в рекомендации тестовых подростковых аккаунтов, относились к категории потенциально вредных. Наиболее распространенной оказалась сексуализированная эксплуатация несовершеннолетних − на нее пришлось более половины всех выявленных случаев.

Алгоритмам не нужен активный поиск

Одним из главных открытий стало то, что опасный контент может распространяться без прямого интереса со стороны пользователя.

Для исследования ученые создали специальные аккаунты, имитирующие поведение подростков разного возраста. Часть аккаунтов просто просматривала ленту, а часть совершала типичные действия − ставила лайки, подписывалась на популярные страницы и смотрела комментарии.

Выяснилось, что даже пассивное взаимодействие способно существенно изменить рекомендации. Например, после просмотра комментариев под вредными видео доля аналогичного контента в ленте некоторых аккаунтов выросла более чем в десять раз уже в течение суток.

Это говорит о том, что алгоритмы воспринимают даже минимальный интерес как сигнал для дальнейшего продвижения похожих материалов.

Подростки видят риск, но привыкают к нему

Параллельно исследователи провели опрос 683 подростков в возрасте от 12 до 17 лет.

Большинство участников признались, что регулярно сталкиваются с опасными роликами. Многие видели видео с рискованными трюками, пропагандой курения и алкоголя, агрессивным поведением или сексуализированным контентом.

При этом значительная часть подростков заявила, что такие материалы почти не вызывают у них дискомфорта. Исследователи считают это тревожным сигналом: постоянное присутствие вредного контента в ленте приводит к его постепенной нормализации и восприятию как привычного элемента цифровой среды.

Создатели контента научились обходить модерацию

Авторы работы также изучили методы, которыми пользуются создатели сомнительных роликов.

Одной из распространенных практик стала так называемая «семантическая маскировка», когда опасные действия описываются безобидными словами или подаются в шуточной форме. Кроме того, используются визуальные эффекты, эмодзи и посторонние надписи, затрудняющие автоматическое распознавание нарушений.

По оценкам исследователей, почти каждый четвертый вредный ролик содержал элементы, предназначенные для обхода алгоритмов модерации.

При этом многие такие видео оставались доступными месяцами после публикации, несмотря на заявленные платформами меры по защите несовершеннолетних.

Защитный режим работает, но им почти не пользуются

Исследование показало, что специальные детские режимы на Douyin и Kwai способны практически полностью блокировать вредный контент.

Однако проблема заключается в низкой популярности этой функции. Лишь от 30 до 40 процентов подростков используют режим защиты. Большинство опрошенных считают его слишком ограничивающим или просто ненужным.

В результате эффективный инструмент безопасности существует, но остается невостребованным среди тех, для кого он был создан.

Что это значит?

По мнению авторов исследования, проблема заключается не только в отдельных видео, но и в логике рекомендательных систем. Алгоритмы стремятся удержать внимание пользователя и способны усиливать интерес к определенным темам, даже если первоначальный контакт с ними был случайным.

Ученые призывают платформы отказаться от исключительно реактивной модерации и переходить к более проактивным механизмам защиты несовершеннолетних. В противном случае подростки будут продолжать получать доступ к контенту, который может влиять на их поведение, представления о норме и психологическое благополучие.