dxdt.blog: занимательный интернет-журнал

Пишут, что некоторые роботы-пылесосы собирают данные о помещении, включая фотографии и звукозаписи, и отправляют на центральный сервер поставщика, “для обучения ИИ”. Процитирую свою записку-лирическое отступление из 2016 года:

“– Никогда не доверяй пылесосам, – пробормотал Винсент, – особенно, если это пылесос-инсайдер”.

Вот ещё один занятный пример про неверное описание “квантовых технологий” и криптографии. На сайте IBM, – вроде бы, профильной технологической корпорации, – размещена справка о том, что же это такое – “квантовая криптография”. В самом начале справки утверждается, будто “у квантовой криптографии есть потенциал стать более надёжной/стойкой (secure), чем предыдущие виды криптографических алгоритмов, и она невзламываемая (unhackable) даже теоретически”. Этот момент про исключительную надёжность, весьма традиционный, базируется на не менее расхожем утверждении, что в основе стойкости квантовой криптографии, как бы, лежат некие “физические законы” или “законы природы”. Несмотря на то, что из самого описания алгоритмов понятно, что в основе стойкости лежит принятая математическая модель некоторой статистики и интерпретации, не менее математической, физических экспериментов с квантовыми частицами (одной из интерпретаций). То есть, технический метод защиты информации, передаваемой по физическим каналам связи, почему-то опять объявляется абсолютно стойким.

Cтатья, впрочем, идёт дальше и необходимость квантовой криптографии обосновывает тем, что квантовый компьютер, дескать, поможет быстро “факторизовать числа” и взломать RSA. А квантовая криптография тут может оказаться единственным способом защиты, потому что её не удастся взломать квантовым компьютером (что, вообще говоря, далеко не факт, если задуматься). Это, впрочем, вещи из совсем разных областей: не только нельзя путать технические методы защиты информации с математической криптографией, но и методы квантовой криптографии никак не избавляют от необходимости аутентификации сторон, между которыми установлен защищаемый технический канал связи. То есть, здесь тоже требуются либо заранее распределённые доверенным способом секретные ключи (но зачем тогда ещё и квантовая криптография?), либо какой-то механизм электронной подписи (который, конечно, будет чисто математическим, и как бы ещё не оказался на практике той же самой RSA в X.509-сертификате).

Отдельно можно отметить, что на той же странице размещён и небольшой блок текста про постквантовую криптографию, которая, – в заметном противоречии с только что заявленной уникальностью квантовой криптографии, как можно подумать, – тоже предлагает “квантово-защищённые” алгоритмы.

Минутка специфического интернет-технологического юмора:

A (печатая в консоли, случайно склеивает два IP-адреса, вот так: 192.168.11.12192.168.12.11.).
B (наблюдая за процессом, пишет в чат): Это был адрес в формате IPv010.
A: Почему десять?
B: Потому что два IPv4 склеились – то есть, четыре плюс четыре.
A: Тогда должно быть IP-8.
B: Вот я и пишу: IPv010.

В июне этого года я удивлялся, что на сайте ИИ-корпорации SSI даже тег div в коде страницы закрыть не могут, что уже там говорить про добавление DOCTYPE. Уже сегодня эта корпорация получила миллиард финансирования (насколько я понимаю, по меркам данного рынка – не очень много), об этом они написали пару строк на сайте и – чудесным образом – тег div в коде теперь закрыт! (Впрочем, возможно, что и раньше закрыли, не дожидаясь минимального финансирования.) А вот DOCTYPE всё ещё не реализовали.

Решил посмотреть, что пишут в поисковых машинах про TLS. Не обошлось без ИИ. По профильному запросу “Аутентификация в TLS” поиск Ya.ru (это “Яндекс”) отдельным блоком в самом верху страницы показывает текст со странным утверждением, что MITM-атака, это “когда третья сторона вмешивается в соединение двух участников и перехватывает закрытые ключи”. Тут же указано, что это текст от YandexGPT. Да, MITM подразумевает вмешательство третьей стороны, но суть атаки состоит в том, что эта третья сторона выдаёт себя за другого участника обмена, а не “в перехвате закрытых ключей”. MITM, хоть и может использоваться для “перехвата ключей”, но, вообще-то, не про перехват, а про подмену.

Впрочем, цитата сопровождается ссылкой на более объёмное “Введение в TLS”, которое, насколько можно понять, тоже сгенерировано YandexGPT, однако подписано Yandex.Cloud и опубликовано на другом сайте из “обломков” “Яндекса”, а именно, – ни много ни мало, – на сайте самого этого сервиса Yandex.Cloud, который, вроде бы, имеет прямое отношение к информационным технологиям (впрочем, сейчас уже сложно определить). Кроме прочих занимательностей, на этой странице с описанием TLS, например, в блоке с подзаголовком “Целостность данных в TLS” сказано, буквально, следующее:

“TLS гарантирует защиту передаваемых данных от потери, изменения или дублирования. Для этого применяются функции хеширования, вычисляющие контрольный хеш данных и присоединяющие его к основному сообщению. Сравнение отправленной и полученной хеш-суммы данных позволяет убедиться в том, что информация пришла в исходном виде”.

Насколько это далеко от реальности? Так, TLS никак не гарантирует “защиту передаваемых данных от потери”: такая защита – задача из области, как минимум, транспортных протоколов, а как максимум – из области помехоустойчивого кодирования. В TLS и близко нет никакой защиты от потери данных. Напротив, протокол полностью полагается на то, что данные между сторонами уже передаются без потерь. Что касается защиты данных от изменения – да, целостность TLS пытается обеспечить, верно. А вот защита “от дублирования” – это, видимо, из области систем хранения данных (дело в том, что от “дублирования передаваемых данных” TLS тоже никак не защищает, передавайте сколько хотите копий исходных данных, однако не стоит тут путать слова из описаний атак, основанных на повторной передаче сообщений).

Конечно, “сравнение отправленной и полученной хеш-суммы данных” вовсе и не позволяет убедиться в том, что “информация пришла в исходном виде”, как почему-то утверждается: к изменённым данным нетрудно приделать соответствующее значение хеш-функции, поскольку хеш-функции для заданного значения вычисляются быстро, а вот коды аутентификации – они хоть и используют хеш-функции и подобные конструкции, но работают совсем не поэтому и не так: обнаружение изменения данных обеспечивается секретностью общего ключа аутентификации сессии, а не самой хеш-функцией.

К сожалению, некорректные и весьма странные утверждения встречаются по всему упомянутому тексту. Видимо, это всё результат, выданный синонимайзером YandexGPT. Например, в блоке “Преимущества использования TLS” утверждается, что “протокол TLS поддерживает NAT” и что “в TLS встроены функции журналирования и аудита”. Если что, то ни первое, ни второе – не верно: в TLS, естественно, нет “поддержки NAT”, но протокол, понятно, может работать через соединение, использующее трансляцию адресов (NAT); TLS не предусматривает никакого “журналирования и аудита” на уровне протокола, да ещё и в качестве “преимущества”, всё строго наоборот – TLS современной версии (1.3) старается снизить возможности по сбору метаинформации, которая могла бы обеспечить “журналирование” и “аудит”.

Представьте, что текст, позиционируемый как описание принципов построения современных языков программирования, содержит следующий фрагмент: “В языках программирования очень распространён оператор присваивания. Из-за своих преимуществ этот оператор обозначается двойной вертикальной чертой и помещает в переменную справа, которая называется “регистром”, значение суммы переменных слева. Оператор присваивания повсеместно записывается вот так: a,b || c”. Подходит ли такой текст в качестве ответа на вопрос об операторах в современных языках программирования? Вряд ли. При этом, поисковые системы всё ещё не полностью растеряли “авторитетность” в глазах пользователей Веба, так что пользователи теперь вынуждены пытаться осмыслить “ответ”, сгенерированный LLM, тем более, что ответ, – вроде как, – записан строгим текстом. Такой вот прогресс.

Нередко можно прочитать, что “сверхразумный ИИ” сгенерирует такие “решения и идеи”, которые человек понять не сможет, а ИИ – не сможет объяснить человеку (ну, настолько вот сложные и непонятные результаты). Это очень популярная характеристика, которую часто обозначают как одно из ключевых свойств “сверхразумного” ИИ (хотя таким свойством должна бы быть как раз способность объяснить сложное, но сейчас не об этом).

С другой стороны, в популярной литературе по теме ничуть не реже утверждается, что вот на пути к уровню “сверхразумности” – ИИ должен быстро переходить из статуса просто “сильного ИИ”, в статус “сверхразумного”, используя для этого поэтапные самоулучшения: то есть, вот такой ИИ доработал собственную модель, обновился, перешёл на более мощную версию, и тут же опять улучшил показатели, снова обновился, и так далее. Так утверждается.

Между тем, подобный “рекурсивный ИИ” мог бы работать в обратную сторону, с целью объяснения тех самых “сложных идей” из первого абзаца: вот “сверхразумный” ИИ объяснил свои идеи своей предыдущей итерации – интеллекту не менее искусственному, но который попроще, пусть и близок по “уровню понимания”, тот – предыдущей итерации, и, – опять же, – так далее, вплоть до уровня, близкого уже тем самым человекам.

Пишут, что проект “утопического” города California Forever пока что так и остаётся утопическим: видимых изменений в статусе проекта журналистам выявить не удалось – всё в состоянии “заморозки”. Я в прошлом году упоминал этот занятный проект. Если это вообще не прикрытие для каких-то особенных финансовых операций, то планируется построить что-то вроде древнегреческого города-государства, но, так сказать, с корпоративным уклоном. Внутри обещают “новое сообщество” и рабочие места в “опенспейсе”, а вокруг, – так же, как и у древних прообразов, – фермерские территории (и ещё авиабаза, на всякий случай).

Очень интересный проект. Особенно, если рассматривать его с точки зрения прогнозов на период постапокалипсиса: свой собственный малый город с сообществом и фермами (и не забывайте про авиабазу) выглядит куда как более надёжным вариантом в долгосрочной перспективе, чем изолированный подземный бункер на совсем небольшое количество обитателей. И вовсе не обязательно, что город будет обязательно разрушен в ходе резкого, – что называется, стратегического, – изменения ситуации, а секретный бункер – и тут уцелеет. Во-первых, не факт, что предусмотрены какие-то резкие сдвиги – переход может происходить относительно плавно. Во-вторых, небольшой город в Калифорнии всё равно потеряется на фоне других потенциальных целей, даже если рядом с городом авиабаза. В-третьих, город – не отменяет бункеров, построенных в том же городе.

Исследователи предполагают (англ.), что некоторые из зверей могут воспринимать инфракрасное излучение при помощи специальных шерстинок-антенн: так, мелкие грызуны, которые рассматриваются в исходной работе, несут подобные шерстинки на шкурке со стороны спины.

Если такая схема работает, то она могла бы помогать при обнаружении приближающегося хищника. Специальные шерстинки имеют внутреннюю структуру, которая служит фильтром, выделяющим подходящую часть ИК-спектра. Впрочем, всё равно не очень понятно, как компенсируется тот факт, что само животное-носитель теплокровное, а поэтому нагрето и образует неплохую помеху. Зато пишут, что, например, кошки оснащены технологией “Стелс” для снижения ИК-заметности с наиболее актуальных при охоте на мышей ракурсов, это подтверждается замечательной ИК-иллюстрацией из исходной работы (там ещё и сипуха).

Заголовок новости начинается словами “В KDE устранены крахи” (дальше там про улучшение поддержки Wayland). Конечно, пусть KDE и весьма неплохая оболочка, но нравится не всем.

Забавно, что доступ на веб-сайт компании CrowdStrike, которая при помощи своей “программы для защиты ПК” удачно, – то есть, автоматически и удалённо, – обрушила кучу Windows-систем в разных мировых корпорациях, для российских IP-адресов заблокирован.

Не ясно, кстати, почему опять привычно обвиняют Microsoft, если ПК, как пишут, поломались в результате модной CI/CD-деятельности CrowdStrike.

В статье Situational Awareness, которую я недавно упоминал, уровень “интеллекта” LLM GPT-4 (ChatGPT) неоднократно обозначен как соответствующий продвинутому старшему школьнику (smart high schooler). Появился свежий препринт (Vision Language Models are blind) на эту же тему, в котором, впрочем, выясняют, что самые продвинутые современные системы LLM – точнее, VLM, в том числе, GPT-4o, – не могут справиться с элементарными задачками, которые под силу и не особо продвинутому дошкольнику.

Впрочем, все эти задачи связаны с “картинками”, но именно поэтому в качестве предмета исследования выбраны те ИИ-системы, которые заявлены для работы с “визуальными” материалами. То есть, тут нельзя сказать, что данные системы “не имеют возможности видеть”, использовав распространённый манипулятивный способ перевода реальных проблем “интеллекта” LLM (например), возникающих с самыми элементарными задачами, в разряд “ограничений” самой технологии.

Между тем, как указано в работе, эти ИИ-системы не могут верно определить количество пересечений для двух ломаных – см. скриншот с примером из исходной работы ниже.

Не справляются представленные ИИ-системы и с другими элементарными задачами: определить выделенную букву в слове, посчитать количество окружностей, определить, пересекаются ли круги, и т.д., и т.п.

Понятно, что речь тут может идти только о стопроцентном результате, когда верно указаны все ответы. Для “продвинутого старшего школьника” подсчёт точек пересечения линий на подобной картинке – более чем элементарная задача. Угадывание же при помощи оптимизированного перебора, которое выдают за “думание” для данных систем, тут не производит никакого впечатления. Лучший результат, который приводят в работе, это угадывание в ~77% случаев, продемонстрированное VLM Sonnet-3.5; GPT-4o – лишь около 49%, при этом, по формулировке задачи, случайный выбор ответа, без учёта картинки, дал бы одну треть верно угаданных результатов.

Так что, когда следующий раз в СМИ встретится очередная восторженная публикация о том, что “новая LLM на нейросети успешно сдала экзамены в вуз”, можно смело задуматься о том, смогла ли эта LLM хотя бы заполнить регистрационную анкету и вписать ответы в нужные “окошки”.