dxdt.blog: занимательный интернет-журнал

Регулярно теперь попадаются упоминания про то, что нужно и разрешить использование, и немедленно реализовать, внедрить “ИИ-агентов/LLM” там, где раньше допускалось лишь строго “детерминированное” программное обеспечение, например, в бортовые системы боевых самолётов. Типа, такое внедрение ИИ даст “невиданные преимущества”, “качественный скачок” и т.д., и т.п. – следует набор типичных для “ИИ-хайпа” журналистских штампов.

Этот аспект, вообще говоря, как раз и является основной “опасностью внедрения ИИ”: непрозрачным, ненадёжным системам поручат то, что поручать таким системам нельзя. А мотивировать такой подход, как раз, будут желанием “совершить качественный скачок”. Это вот не менее основной и необходимый элемент Нового средневековья. Про попытки внедрения ИИ-агентов я писал не раз. Например, пару лет назад на dxdt.ru, применительно к новостям из DARPA, – несколько цитат из той записки:

Одно дело, когда речь идёт действительно об алгоритме, выдающем труднопредсказуемый для внешнего наблюдателя результат, но, при этом, сам алгоритм вполне себе может быть записан и задокументирован, а совсем другое дело – когда в “недетерминированность” превращается принципиальная недоступность внутреннего устройства системы ИИ для понимания даже разработчиком.

“Недетерминированный” алгоритм, но в классическом понимании, может выдавать такую последовательность отклонений органов управления летательного аппарата, которая приводит к движению по сложной, псевдослучайной траектории, ведущей, тем не менее, в заранее заданную точку – давно известный подход, применяемый на практике. Кстати, применяется не только для управления полётом, но и в случае радиосигналов, как для защиты от помех, так и для затруднения обнаружения.

Понятно, что если траектория и манёвры некоторого робота предсказуемы заранее, то перехватить такого робота сильно проще. Поэтому и требуется некоторая степень недетерминированности. Однако подобные алгоритмы имеют вполне конкретное, – детерминированное, так сказать, – описание. А если описание конкретное, то его можно превратить не только в обозримый исходный код и прикрепить к документации, но даже и попытаться реализовать формальное доказательство корректности: для практических систем это вполне возможно, если, конечно, там не десять миллиардов коэффициентов, как в продвигаемых ИИ-решениях.

Вообще, речь тут всегда идёт не столько про ИИ, – который лишь служит обёрткой, – а про понимание “детерминированности” и о точке зрения, с которой эта “детерминированность” рассматривается. Например, для внешнего набюдателя, не знающего ключа, последовательность переключения частот передатчика выглядит “недетерминированной”, но как только этот внешний наблюдатель знает ключ, то и последовательность сразу же становится “детерминированной”. Строгое определение гласит, что такая последовательность вычислительно неотличима от случайной. Соответственно, если смотреть строго, то всё, что используется в подобных программно-аппаратных системах – практически детерминированно и так.

За “ИИ-хайпом” скрывается тот факт, что все эти “ИИ-агенты” работают на полупроводниковых процессорах, являющихся конечными автоматами. Да-да – опять же, строго говоря, тут нужно всё брать по модулю “квантовых процессов” внутри базовых кристаллов аппаратуры. Об этом речь пойдёт отдельно. Но на практике же, если аппаратура работает верно, то можно предсказать выдачу “ИИ-агента” точно, несмотря на то, что внутри него присутствует рандомизация – была бы полная информация о состоянии и внутреннем устройстве этого “ИИ-агента” и вычислительная возможность эту информацию обработать. Такая возможность тут определяет всё прочее: если пространство перебора для коэффициентов слишком большое, то только наличия информации уже недостаточно для практического изучения.

Но, если возможность всё же есть, то что же это получается – это тогда никакой не “интеллект”? Получается так, да.

Тут важно учитывать, что с толкованиями детерминированности алгоритмов, когда речь про новомодные ИИ-системы, тоже происходит некоторая подмена понятий, сдвиг уровня интерпретации. Скажем, алгоритм, по которому управляется какой-нибудь самолёт (или ракета), может казаться детерминированным в том смысле, что по официальному описанию этого алгорима возможно точно предсказать то, как поведёт себя самолёт в заданной конфигурации и при заданных внешних условиях (сигналах на датчиках, например). Возможно, но не факт, что возможность реализуется. Тогда вопрос про допуск “ИИ-алгоритмов” и ИИ-агентов сводится к тому, может ли кто-то из инженеров-разработчиков прочитать и понять документацию, сопоставив её с имеющейся реализацией алгоритма. То есть, это вопрос уровня понимания и возможностей по исследованию системы. И можно же ведь сказать, что если используется ИИ-агент, управляющий самолётом, а его работа не требует понимания инженером – это же ИИ. Так же и в другую сторону – если инженер не может понять документацию, то ситуация уже эквивалентна использованию “недетерминированного” ИИ-агента. Отсутствие ментальной модели – постулирует наличие ИИ где-то рядом.

Насколько хорошо пилот современного истребителя понимает, как там что в этом истребителе работает в данный момент времени? Как говорится, модель-то полёта в голове есть, но реально происходящие внутри аппаратуры процессы – это сильно сложнее. Потому что – где там и что перещёлкивается, согласно сотням тысяч строк программного кода? Кто знает. Многие и многие пользователи компьютеров, в том числе, разработчики ПО, например, вообще уверены, что компьютер считает – мол, всё можно перевести в числа (это так) и поэтому всё можно реализовать на компьютере, который считает (это неверно: и перевести в компьютерное представление нельзя, и компьютер ничего не считает).

С одной стороны, схему, когда “не всё известно точно”, можно обозначить как то, что допускается использование “недетерминированных систем”. Типа, условный ИИ-агент может действовать различными способами, а человек-инженер не имеет возможности предсказать точно, какие именно действия совершит этот ИИ-агент, как не знает и деталей работы той или иной аппаратуры. Вот и вся диспозиция. Если допуск таких ИИ-агентов разрешается, предположим, в бортовые системы управления самолётом, то вот и самолёт теперь с “недетерминированной системой”. С другой стороны, в реальности, за этими ИИ-агентами всё равно стоит детерминированная аппаратура. Просто – теперь понимание устройства системы перешло к каким-то другим инженерам.

Такая вот история с этими ИИ-агентами: на самом деле, под давлением “хайпа”, предлагается согласиться с отсутствием понимания системы инженерами-разработчиками, которые эту систему проектируют. Алгоритм работы – он всё равно где-то есть. Это очевидно: системы работают на обычной полупроводниковой вычислительной технике, просто, иногда её так много, что можно построить “стохастического попугая” (кстати, ещё отдельный вопрос, как всё это сработает на практике, когда связи с дата-центром нет). Теперь, под прикрытием рассуждения о допуске “недетерминированных решений”, фактические алгоритмы выносятся за пределы “ментальной модели” разрабатываемой системы. Зато, мол, “искусственный интеллект”. Отсюда и все эти определения степени развития ИИ – типа, если для человека непонятно, значит, это настоящий сверхинтеллект (а не чепуха и нагромождения символов какие-то). Да. Получается что-то вроде “духа машины”, который предлагается задабривать специальными волшебными маслами, чтобы всё работало.

Интересно, что даже квантовые процессы, которым можно было бы отвести роль проводника интеллекта, вполне себе могут оказаться детерминированными. Да, господствующее сейчас представление относит квантовые события, типа радиоактивного распада какого-нибудь, к истинно случайным. Но, во-первых, может оказаться, что события такие – они тоже лишь вычислительно неотличимы от случайных; а главное, во-вторых, никакие модные ИИ исключительно квантовых элементов не используют, там обычные процессоры, где квантовая случайность работает как помеха. До тех пор, конечно, пока не послужит источником энтропии в аппаратном генераторе случайных чисел. Но где те генераторы на практике? Ну, разве что, в криптографической аппаратуре.

“Хабр” – известный ресурс про ИТ – тоже упал, и уже некоторое время лежит. То есть, индексная страница под habr.com с редиректом что-то иногда показывает, но статьи и сервисные страницы – возвращают HTTP 502.

(Update: к 16:00 14.01.2026 – вернулось.)

Идея очевидным образом обозначать текст, сгенерированный LLM/ИИ, – здравая. Потому что – куда деваться? Если автор той или иной публикации обозначает, что, мол, весь текст, сгенерированный той или иной LLM/ИИ, обозначен отступом и отметкой на полях, то это похвально. Не менее похвально, если те слова выдачи LLM, в которые вмешался автор, тоже выделены.

Есть только один хитрый момент: хорошо бы не менее заметным способом обозначать, что использовалась программа-синонимайзер, генерирующая текст, а провайдер программы – компания “Имярек”. Потому что так будет точнее. Не “ИИ-агент”, не “сверхразумная GPT”, а синонимайзер. Естественно, различные компании “Имяреки”, производящие “хайп”, как главный свой продукт, постоянно выводят используемые обозначения в сторону “интеллекта”, пусть даже “искусственного”. Отсюда, вместо точного указания на то, что автор публикации разместил в ней результат работы синонимайзера, теперь нередко пишут, что “идея данной статьи принадлежит LLM такой-то”, программный код реализовала “LLM такая-то”. Это вот сильно сбивает читателей с толку.

Cloudflare пишут об утечке BGP-маршрутов крупного венесуэльского провайдера, случившейся в начале января этого года, непосредственно перед известной операцией США. Краткий вывод: утечки маршрутов происходят постоянно (это факт, не поспорить), поэтому единственное, на что эта утечка может косвенно указывать, так это на то, что были проблемы с сетевым оборудованием, точнее – с его настройками (тут тоже не поспорить – глобальные утечки в BGP вполне себе служат сигналами о том, что именно происходит на сетевом оборудовании провайдера, но для интерпретации сигнала – нужно знать схему сети; соответственно, если вы хорошо подготовленный атакующий, то и утечки маршрутов помогают).

Пишут, что на такое мероприятие, как инаугурация мэра Нью-Йорка (США), запрещено приносить Flipper Zero и Raspberry Pi. Да. Прямо так и указано в списке запрещённых предметов, наряду с большими сумками, домашними животными (уровня pet, про буйволов ничего не сказано), велосипедами, креслами, битами и другими объектами, которые, прямо скажем, чуть более часто встречаются, чем Raspberry Pi и Flipper Zero. Вместе с тем, Arduino, получается, можно проносить. Уже проще.

Самое забавное, что смартфоны и ноутбуки – не запрещены. Сравните, как говорится, возможности Flipper Zero с возможностями ноутбука, к которому подключен набор решений на ESP32 и, предположим, HackRF (все разрешены).

Регулярно приходится слышать и читать, что, якобы, беспилотные автомобили превосходят водителя-человека (профессионала) по возможностям эффективного вождения – потому что, дескать, “они же роботы”. Естественно, в теории, можно сделать эффективный автомат. Настолько эффективный, что он будет точнее и быстрее любого человека. Это много раз доказано на практике. Не приходится сомневаться. Вот только точнее и быстрее этот автомат будет на каких-то конкретных, хорошо формализуемых задачах. А с формализацией задач, которую должны делать люди, есть проблемы.

Вот свежий пример от беспилотных такси Waymo: пишут (англ.), что эти машины остановились – как попало, заблокировав проезд! – почти по всему Сан-Франциско, как только там отключились светофоры. Светофоры отключились потому, что отключили электричество. Один эффект – вызвал другой, не менее неприятный.

Вообще, автомобиль всегда был достаточно автономным средством передвижения, которое средство может двигаться вне зависимости от внешних условий: у автомобиля локальный запас топлива, есть фары для тёмного времени суток, практически любой автомобиль способен передвигаться по плохой дороге или без дороги вовсе, есть немало автомобилей, которые, как раз, легко передвигаются без дорог, и т.д., и т.п. Но, как ни странно, не в случае беспилотных такси Waymo: оказывается, эти такси запрограммированы останавливаться совсем, если на перекрёстке не работает светофор. Заметьте, что правила дорожного движения, обычно, разрешают движение через перекрёсток при отключенном светофоре. Ну и уже тем более, просто из здравого смысла, можно продолжить движение в критической ситуации городского блэкаута. Но роботы-такси остановились. И не просто – они ещё и движение для других заблокировали.

Тут есть ещё один интересный момент: то, что все эти блэкауты и прочие “большие неприятности” случаются чаще (хотя должны бы реже), связано с наступлением Нового средневековья, в котором технологии есть, а понимания того, как эти технологии работают, – уже нет. Всякие информационные системы, позволяющие делать такси-роботов, составляют существенную часть движения, повышающего вероятность системных, инфраструктурных проблем – и эти же технологии дают возможность заполнить улицы недееспособными автомобилями-роботами, которые, при возникновении нештатной ситуации, эту ситуацию усугубляют. Одно – успешно ускоряет другое. Недалеко до “цепной реакции”, которую, собственно, многие уже давно ожидают.

Пишут, что в Microsoft запускают исследовательский проект по созданию ИИ-инструмента для “автоматизированного переписывания” программного кода с C/C++ на Rust. Зачем? А затем, “чтобы избавиться от C-кода” (что само по себе очень и очень забавно, особенно, если вспомнить, что уже и компилятор – это автоматизированный инструмент для перевода кода с того же Rust в машинные команды целевой платформы).

Вообще, исходное сообщение из Microsoft – оно про найм главного инженера-программиста, который мог бы этим (созданием проекта) заняться. Так что это далеко ещё не проект. Тем не менее, если исключить buzzwords, то занимательно звучит главная цель: миллион строк кода в месяц усилиями одного инженера. Это, на минуточку, получается около 6000 строк кода в час. Учитывайте, что это на каждом из языков, то есть, фактически, в два раза больше. Как инженер может читать, понимать и исправлять непрерывно (в рабочее время, конечно) по 6000 строк кода в час параллельно на каждом из языков (C/C++ – Rust) – этот момент, к сожалению, не объясняется. Но, скорее всего, понимать код и не требуется, раз его генерирует ИИ – достаточно уметь нажимать на кнопку Approve в “мёрдж-реквесте”.

В известном журнале Nature/Scientific Reports недавно опубликовали “научную статью”, которая “использует сгенерированную ИИ диаграмму, содержашую чепуху” (“uses an AI-generated figure containing nonsense”). Это не преувеличение, это – цитата из официального текста сообщения Nature об отзыве той статьи.

Вдумайтесь: статья в научном издании, – выходящем, на минуточку, “под зонтиком” Nature, – была опубликована, несмотря на то, что в ней, в качестве иллюстрации с описанием методики, использовалась большая диаграмма, явно сгенерированная LLM. То, что это сгенерированная “диаграмма с чепухой”, видно невооружённым глазом. Разобраться можно, примерно, за пять секунд: потому что на этой диаграмме присутствуют “термины” “fexcectorn” и “frymblal”, причём, в последнем, в “frymblal”, – так ещё и буква m имеет дополнительную “ногу”. (Диаграмму, кому интересно, нетрудно найти на сайте Nature, в исходной статье.)

Такова реальность использования ИИ. Очевидно, до “сверхинтеллекта” тут осталось недолго: объявят, как говорится, через сообщения в газетах, не сомневайтесь.

(via)

Кругом buzzwords про ИИ. Некоторых эти самые buzzwords уже пугают. Вот и до Firefox добрались: в новом “стратегическом сообщении” пишут, что переделают Firefox в “современный ИИ-браузер” (“It will evolve into a modern AI browser and support a portfolio of new and trusted software additions”).

С одной стороны, понятно, что это просто дежурная штамп-фраза, без которой сейчас никуда в области корпоративных пресс-релизов. С другой стороны, для Firefox, конкретно, звучит оно пугающе. ИИ-хайп настолько уже велик, что подкладывают его везде. Нормального ПО нынче всё меньше. Почему? Потому что – ну, как же! – “ИИ полностью трансформировал разработку!”. Тут того и гляди линуксовое ядро начнут превращать в “ИИ-агента”, а там и до FreeBSD доберутся. Так что браузеров-то и подавно, считай, не осталось уже.

В The Register пишут про не самый обычный прототип высокоскоростного (5.2 Gbps) канала связи, который японская корпорация Kyocera устроила на основе лазера. Якобы, схема подходит для подводной связи. Конечно, если бы было так, да без очевидных ограничений, то это оказалось бы прорывной технологией. К сожалению, прототип работает лишь на дистанции около метра, а тот вариант, который показали журналистам, ещё и через специально очищенную воду, без учёта возможных “турбулентностей” (ну, как говорится, это “такие себе” ограничения – пока что они сводят возможный практический эффект примерно к нулю).

Не сказать, что подобная высокоскоростная схема, начни она работать даже и на полтора метра, но через реальную морскую воду в море-океане, – совсем бесполезна. Нет. Можно использовать для того, чтобы очень быстро передать накопленные данные (видеозаписи, например) с подводного дрона, который подошёл к подводному узлу связи, установленному на дне (ну или это может быть плавучий буй, с тем же, в общем-то, эффектом). Всё же, возможность локально передать большой массив информации без необходимости кабельной стыковки – это полезно. Но, конечно, без увеличения дистанции – технология получается очень специализированная, не решающая основной проблемы связи с подводными аппаратами.

В DARPA, кстати, некоторое время назад запускали программу, в которой высокоскоростной канал связи реализуется при помощи плавучего оптического кабеля.

Let’s Encrypt начали поэтапно сокращать максимальный срок действия выпускаемых TLS-сертификатов с 90 дней (как сейчас) до 45 дней (в 2028 году обещают). Так что, скорее всего, браузеры тоже подтянутся и – сокращать срок действия придётся всем остальным УЦ. Сертификаты движутся по пути превращения в короткоживущие токены, разрешающие клиентам доступ к веб-ресурсу.