Ссылки: подсчёт результатов по обнаружению уязвимостей силами ИИ

На сайте VulnCheck публикуют анализ промежуточных результатов “хайпа” Anthropic вокруг “обнаружения уязвимостей” силами ИИ/LLM (Glasswing и прочие PR-трюки): из примерно 38 тыс. (37,966) заявленных Anthropic потенциальных уязвимостей, по состоянию на начало ноября, – как исправленные отмечены только 217 (меньше процента); 1654 – это дублирующие сообщения, и их в разы больше, чем исправленных уязвимостей (проект запущен в мае этого года, прошло несколько месяцев). 419 сообщений – уже просто отозваны. Ну и так далее. В целом, думаю, результат понятный.

Тут необходимо учитывать ещё один момент: исправленные уязвимости – это означает, что там реально были уязвимости; а само по себе сообщение Anthropic о “тысячах находок” – ничего подобного не означает, и вообще говорит мало о чём; ну, разве что, о мощности LLM-системы. Ну и реальный выход, за вычетом “хайпа”, – очень низкий, однако “хайп” – замыливает и его.

Адрес записки: https://dxdt.blog/2026/11/13/19620/

Похожие записки:



Далее - мнения и дискуссии

(Сообщения ниже добавляются читателями сайта, через форму, расположенную в конце страницы.)

Комментарии читателей блога: 2

  • 1 <t> // 13th November 2026, 16:42 // Читатель beldmit написал:

    Про часть того, что я знаю, я говорить не могу. Но вот в открытом репозитории OpenSSH прошла недели полторы назад пачка коммитов с исправлением того, что нашли в Antropic. Я не готов сказать, что из них hardening, а что low CVE, и сколько из их находок пока не обработаны, но тут КПД явно высокий

  • 2 <t> // 13th November 2026, 19:22 // Александр Венедюхин:

    Тут как посмотреть: конкретно по OpenSSH – возможно. Однако, пусть там даже 70 отдельных дефектов, это ведь всё равно меркнет на фоне 38 тыс. заявленных.

    Опять же, есть ещё один мутный момент: отрицать, что их LLM это хороший способ поиска уязвимостей – я бы, конечно, не стал, но там явно требуется участие квалифицированного человека, а это всё время заметают под ковёр.

    Мне вот эти “Антропики” изначально ограничили доступ на пустом месте, но, скажем, даже математическая часть, которую я сам успел посмотреть детально, – это когда свежая Fable, например, нашла по моим запросам контрпример к задаче из “Коуровской тетради”, – так вот там всё равно мне нужно было, во-первых, тщательно сформулировать описание контрпримера, во-вторых, регулировать направления поиска подсказками – иначе оно ходило кругами, пока новая версия не вышла; ну и наверняка там ещё кто-то обсуждал те же самые задачи. А так-то, да, спору нет, это весьма полезные штуки, вот только чрезмерный “хайп” от Anthropic – что-то как-то не на пользу.

Написать комментарий

Ваш комментарий:

Введите ключевое слово "U9UWU" латиницей СПРАВА НАЛЕВО (<--) без кавычек: (это необходимо для защиты от спама).

Если видите "капчу", то решите её. Это необходимо для отправки комментария ("капча" не применяется для зарегистрированных пользователей). Обычно, комментарии поступают на премодерацию, которая нередко занимает продолжительное время.