Ресурсы: техническое описание TLS, LaTeX - в картинки (img), криптографическая библиотека Arduino, шифр "Кузнечик" на ассемблере AMD64/AVX и ARM64
Очередные ИИ-боты на сервере
Один из самых активных ИИ-ботов сейчас на dxdt.ru – это “Meta-ExternalAgent”, который приходит с IP-адресов Facebook. А IP-адресов у Facebook очень много. Я настроил для этого бота редирект на специальную страницу, однако он всё равно продолжает повторно приходить, выполняя тысячи GET-запросов в сутки. Больше всего удивляет то, что эти штуки приходят раз или два в сутки, повторно, на одни и те же URL, содержание которых не менялось по десять и более лет. Казалось бы, в “обучении нейросети” можно использовать текст повторно, однако для этого не нужно повторно скачивать тот же текст с исходного сервера. Но нет. (Ну, то есть, формально – текст по URL мог поменяться, конечно, но всё же.)
Адрес записки: https://dxdt.blog/2025/11/12/16538/
Похожие записки:
- Let's Encrypt и сертификат для IP-адреса
- О замещении технологических знаний на "Хабр"
- Списки IP-адресов и пропуск трафика
- Логи Certificate Transparency и "таймшардинг"
- Обновление "Избранных записок", 2022
- Записки за март 2026
- Техническое: где в ECDSA эллиптическая кривая
- Ретроспектива заметок: октябрь 2008 года
- Впечатления от "Хабра"
- ИИ ChatGPT, читающий веб-страницы
- Техническое описание TLS: обновление 2022
Новый
Комментарии читателей блога: 2
1 <t> // 2nd December 2025, 18:20 // Читатель D написал:
Чтобы соответствовать закону о “fair use”, они не хранят данные, а только ссылки, и запрашивают их снова и снова каждый раз
2 <t> // 6th December 2025, 16:49 // Александр Венедюхин:
Это вряд ли – ведь нужно преобразовать тексты в массивы весов, которые должны храниться в их системе.
Написать комментарий