dxdt.blog: занимательный интернет-журнал

Недавно опубликовано очередное сочинение-опус про AI/ИИ и кардинальные изменения в статусе цивизизации к 2030 году: AI 2027 (англ., много букв). Пусть вас не обманывает 2027 в названии – самые радикальные прогнозы там, как сейчас принято, даны на 2030, а в 2027 году только ожидается деятельный суперинтеллект (это, впрочем, менее двух лет осталось ждать).

К сожалению, для фантастического рассказа – читается очень тяжело. Основное содержание – банальные моменты и расхожие штампы из темы популярного AI, обернутые в наукообразные формулировки. Моменты эти и так постоянно упоминаются в СМИ, и уж тем более в различных художественных произведениях: в литературе, в кинофильмах, в комиксах. Например, “злой и хитрый ИИ”, который старается обмануть исследователей-разработчиков, запутывая свои “мысли”, поскольку исследователи-разработчики их читают (каким-то там способом). Наверное, неплохо, что тут всё собрали вместе.

Конечно, в упомянутой публикации используются всё те же шкалы для измерения уровня “интеллектуальности” – способность “писать код” (какой код, зачем?) и способность “быть лучше лучшего из человеков в решении когнитивных задач” (каких именно задач, почему?). А сценарная концепция, кроме типового сейчас требования регулирования и вмешательства правительств, строится на понятии “автономных агентов”, которые, на начальном уровне, “получив инструкцию через Slack или Teams, вносят существенные изменения в код самостоятельно, иногда экономя часы или дни [разработки]”.

Развитой же ИИ-агент, как сообщают, “знает больше фактов, чем любой человек, знает практически каждый язык программирования и может решать хорошо поставленные (well-specified) задачи чрезвычайно быстро”. Вообще, что касается задач, то акцент тут нужно бы сделать на “хорошо поставленных”, вспомнив методы автоматического генерирования кода по формальному описанию алгоритма – но, видимо, эти достижения теперь относят к другой области. А что означает “знает язык программирования”? Способность генерировать код – не является достаточным условием для оценки уровня “знает язык”. Эти тонкости не принято определять в текстах про сверхразумный AI.

Впрочем, в тексте AI 2027 некоторые “оценочные суждения” сопровождаются определениями из серии “Что бы это значило?”. И это странные определения, вполне в духе выдачи условного ChatGPT. Например, объяснение того, что имеется в виду, когда пишут про 50-процентное ускорение разработки ИИ-алгоритмов при использовании ИИ, следующее: “50-процентное ускорение – это означает, что [компания] OpenBrain, используя ИИ, достигает за неделю такого же прогресса в исследовании, как она достигла бы за полторы недели без использования ИИ”. Содержательно, да.

В духе “лонгридов” ведущей мировой прессы дано описание того, как гипотетические атакующие китайские специалисты, в будущем, успешно и без проблем похищают массивы данных, содержащие “коэффициенты” (веса́) новейшей системы, реализующей ИИ-агента. Основная проблема похищения оказывается не в том, чтобы получить доступ к серверам (используются легитимные аккаунты сотрудников с “админским” доступом), а в методе скрытной передачи большого массива данных за пределы дата-центра. Можно было бы подумать, что хотя бы тут дан небанальный прогноз, включающий оригинальные рассуждения про “применение ИИ для сжатия моделей без потерь” – но нет, ставка делается на обычное копирование. Наверное, так шансы угадать повышаются.

Решение же проблемы “экспорта” данных оказывается элементарным (может, всё же ИИ подсказал? нет, вряд ли), и сводится к правильной оценке того, какую долю трафик похищаемых данных составляет от некоторого “типового уровня исходящего трафика” (egress) дата-центра. Кто-то вообще макрирует чувствительные данные по объёму? Возможно, так делают ИИ-агенты.

Типовой уровень исходящего трафика дата-центра указан – это “100 GB/second range”. Видимо, порядка ста гигабайт в секунду, которые гигабайты либо потребляют пользователи ИИ-приложения, разрабатываемого на мощностях дата-центра, либо кто-то попутно реализует DoS-атаку других дата-центров (это догадка, а в тексте про DoS ничего нет).

В общем, для успешного похищения, как написано, будет достаточно разбить данные на 100-гигабайтные “чанки” и осторожно выливать наружу под прикрытием легитимного трафика – всякие там DLP-системы, как оказывается, принципиально не обнаруживают утечку самого главного “интеллектуального ресурса” из дата-центра, потому что либо каждую секунду заняты подсчётом сотен гигабайтов привычного трафика, либо “просто выключены”. И вот в этот момент про DLP, кстати, поверить очень легко. Странно только, что прочие ИИ-агенты, которые могли бы использоваться и для создания новомодной защиты, и в качестве виртуальных “шпиков”, следящих за сохранностью доступов, на соответствующие роли назначены не были. Ну или подразумевается, что завербованный копирайтер агентов тоже отключил, выдернув вилку из розетки. Это ведь простой и универсальный сценарный приём: в любой непонятной ситуации – просто можно написать, что “система была отключена”. Печально, впрочем, что ошибиться с прогнозом отключения тут тоже сложно.

Похищенные данные, конечно, зашифрованы (есть даже “продакт-плейсмент” решения Nvidia). Зашифрованы, ни много, ни мало, а “симметричным Диффи-Хеллманом” (что это? не ясно – возможно, имеется в виду симметричный шифр и согласование ключа по протоколу Диффи-Хеллмана между сторонами, одна из которых данные экспортирует, а вторая – принимает). Но так как “секретный ключ был тоже похищен с сервера”, то проблем с расшифрованием нет. В общем, тоже банально, не тянет на новый шпионский триллер, но хорошо похоже на многие старые эпизоды.

Но самое показательное – это концовки данного произведения. Понятно, что под них и писалось всё остальное. AI 2027 предлагает две возможных концовки. Одна из них – уничтожение всех человеков мощным ИИ в 2030 году при помощи “биологического оружия”; ИИ далее модифицирует под свои нужды планету Земля, колонизирует прочее пространство Солнечной системы и далее, за её пределами, силами роботов.

Другая концовка – объединение всех государств мира под управлением США (да), происходящее в результате локальных переворотов, которые ИИ помогает реализовать (так написано); после чего наступает эра процветания (или милосердия?), человеки запускают ракеты, – для колонизации планет Солнечной системы, а не то что вы подумали, – и всё это с помощью хорошего ИИ.

Иных вариантов, кроме этих двух, сочинение-прогноз не предусматривает. С Днём Космонавтики, как говорится.

“Яндекс”, у которого недавно приключилась авария с полным обесточиванием одного из дата-центров, публикует разбор произошедшего. Пишут, что отключились сразу обе из имевшихся двух вводных линий, которые, как выясняется, шли от одной подстанции. Цитата:

Теоретически можно подключиться и к нескольким подстанциям, но в этом нет практического смысла, так как они все являются частью одной системы, замкнутой по своему дизайну.

Как-то потерян тот факт, что подключение к разным подстанциям (“теоретическое”), имеет ещё один важный аспект: источник – источником, он может быть и общий, но если точки подключения разные, то и разные независимые линии могут идти максимально обособленным образом. То есть, пути доставки будут защищены лучше. Опять же, в статье “Яндекса” по ссылке написано, что “опорная подстанция немного остаётся для нас «чёрным ящиком»”. Понятно, конечно, что для электрических линий реализовать такое возможно далеко не всегда, но тут-то речь даже про теоретическую ситуацию, которая, видимо, всё же сыграла на практике и общее подключение вылетело по двум линиям сразу.

Очень уж это напоминает распространённую историю из области сетей передачи данных, когда для связи между площадками устраивают и арендуют резервные каналы, но кабели, эти каналы несущие, идут по общей канализации. Там же, где и основные каналы. Вроде как резервирование есть, – особенно, если на бумаге, – но вот только заблудший экскаватор – он волокна не сортирует, он перерезает сразу всё, одним ударом.

Автономного питания, конечно, в дата-центре “Яндекса” тоже не хватило, потому что оно же не на случай полного отключения проектировалось. Цитата:

В 12:27 главный инженер обслуживающей организации связался с дата‑центром и сообщил, что на подстанции отключились обе линии 110 кВ, но причина пока неизвестна. А значит, у нас Проблема № 1: сразу две точки отказа по питанию с непонятным прогнозом, а дизель‑генераторы просто не рассчитаны на то, чтобы принять такую нагрузку.

Вывод можно сделать такой, что отказоустойчивости на уровне выше энергоснабжения даже и не планировалось.

Печально тут то, что во все эти “облачные сервисы”, работающие в дата-центрах с таким подходом, усиленно загоняют информационные системы, какие только можно и какие только нельзя. Не ровён час, окажется в подобном “облаке” и система управления всем прочим энергоснабжением. “Под контролем ИИ”, конечно. Времена меняются. Угроза ИИ крепнет.

Пишут (The Register, англ.), что “топ-менеджмент” администрации президента США обсуждал “секретные” военные планы через мессенджер Signal, да ещё и в групповом чате, в который был добавлен журналист (видимо, по ошибке). Журналист про это и рассказал.

Вообще, если это так, то получаем неплохой пример текущей ситуации с внедрением смартфонов и сопутствующих технологий: если бы, предположим, мессенджер был внутренний, корпоративный, то, как минимум, не получилось бы ошибочно добавить в групповой чат аккаунт, находящийся за пределами организации (как максимум – должны бы отслеживаться уровни допуска участников и отображаться информация о текущем уровне чата для всех участников переписки).

Тут за скобками оставлены много раз обсуждавшиеся вопросы доверия конкретному приложению, которое вовсе и не равно доверию используемым протоколам (протоколы могут быть выписаны вполне надёжные, но только на бумаге). Так что пример-то хороший, но всё равно повсеместно используют тот же Telegram, – который централизованный, к тому же, – не только для ведения переписки по служебным вопросам, но и для управления инфраструктурой.

На картинке (см. ниже), которую распространяют вместе с анонсом истребителя F-47, нарисован некий “гладкий аппарат”: обратите, например, внимание на передний стабилизатор. Понятно, что эта картинка может оказаться далёкой от реальности. В конце концов, современные истербители на предварительных картинках и эскизах традиционно выглядят “ровными и гладкими” – панели и элементы обшивки начинают “расползаться” по мере движения к реальным образцам. Но идея про гладкие адаптивные схемы – интересная. Я писал об этом ещё в 2007 году (там, кстати, есть даже видео).

(U.S. Air Force)

Впрочем, в той записке на dxdt.ru про адаптивные аэродинамические элементы упоминается гиперзвуковой полёт, а кроме того, сказано, что “придётся подождать лет тридцать”. Записка вышла в 2007 году – прошло только 18 лет.

Истребитель F-47, про который объявил в Штатах президент, это, похоже, развитие программы NGAD (Next Generation Air Dominance). Номер 47, кстати, совпадает с номером действующего президента Трампа. А сам истребитель назван аппаратом шестого поколения.

Вообще, ещё лет пятнадцать назад считалось, что “шестое поколение”, возможно, будет беспилотным, поскольку “беспилотность” и является фактором, отличающим шестое поколение от пятого. Но ситуация изменилась, нумерацию обновили, сказку сильно сократили, так что F-47, похоже, будет не просто обитаемым, но сразу двухместным. Это, конечно, предположение, ещё не ясно, что там вообще выйдет у “Боинга”. Тем не менее, выделенный оператор может гораздо эффективнее управлять дронами-беспилотниками и прочими системами, пока второй оператор пилотирует аппарат. С этим сложно поспорить. Двухместный истребитель, при прочих равных, тут заведомо выигрывает у одноместного. Я упоминал про преимущества двухместных истребителей не раз и, например, довольно давно, в 2009 году (сейчас уже про самолёты на dxdt.ru редко что-то выходит, но анонс F-47 штатовским президентом пропустить сложно).

Национальный центр кибербезопасности Великобритании (NCSC) выпустил рекомендации по переходу организаций на постквантовые криптосистемы к 2035 году, то есть, через десять лет. В качестве примеров криптосистем с постквантовой стойкостью приводятся, конечно, стандартизованные NIST ML-KEM, ML-DSA, SLH-DSA и LMS/XMSS (криптосистемы подписи). Занятно, что и в этих рекомендациях ничего нет про симметричные шифры. Считается, понятно, что последние теряют только половину битовой стойкости, но ведь никто не запрещает появление квантовых алгоритмов взлома для конкретных шифров (AES, предположим, как наиболее вероятный кандидат). Впрочем, для RSA/ECDSA алгоритм уже есть, пусть и не реализован, а это существенное отличие.

Ссылка найдена в статье The Register, и в той статье британским правительственным организациям язвительно желают настоящей удачи, которая им понадобится при обновлении систем.

Шум от ИИ снова очень велик, даже для “хайпа”. Это выражается и в потоке исследований, и в потоках сгенерированного контента, но и в растущей куче однообразных публикаций в СМИ, где, уже достаточно дежурным образом, рассказывают, что “очень и очень скоро будет AGI” (то есть, некий “универсальный/сильный”, “действительно разумный” искусственный интеллект). Судя по всему, этот самый AGI “появится” уже прямо вот в этом году. Ну, как появится: скорее всего, в какой-то момент крупнейшие ИИ-корпорации договорятся, кто первый выпустит новый продукт, и СМИ тут же определят этот момент как появление AGI. Определения и область в целом – достаточно размыты, чтобы фиксировать текущий статус ИИ в стиле “фактчекинга”, то есть, через базовые публикации СМИ.

С другой стороны, нельзя исключать, что AGI и как бы уже вот-вот, на подходе, но это “вот-вот” будет тянуться и тянуться, пока есть места для дата-центров и производство чипов не остановилось. Это тоже вариант, но он находится в некотором противоречии с появлением “суперинтеллекта”: так-то после объявления про AGI можно ждать “суперинтеллекта”, а вот ждать “суперинтеллекта” без AGI – это ведь аж на одну важную веху дольше, то есть, “суперинтеллект” отдаляется достаточно, чтобы он стал выглядеть меньше и не очень-то “супер”.

Необходимо отметить, что шум – шумом, но как-то подутихла тема “опасностей ИИ” и защиты от этих опасностей. Вероятно, причина в том, что это единственная тема, которая не очень способствует дальнейшему развитию общего “хайпа”: во-первых, тут действительно есть опасность – имеющиеся ИИ-системы грозят применить там, где применять такое нельзя; во-вторых, рассуждения о рисках в данной области иногда (именно “иногда”, то есть, далеко не всегда) приводят к снижению градуса восторженности, к появлению каких-то содержательных предположений. И это автоматически глушит данное “направление безопасности”. При помощи перенаправления общего шума, в том числе.

Понятно, что растёт и количество публикаций о шуме ИИ. Вот как эта записка. Тут интересно посмотреть, в какой момент появится слой рассуждений о причинах появления таких публикаций, об их содержании. Заметьте, что тут ИИ добавляет глубины – далеко не во всех областях можно построить аж четыре слоя, как здесь: исходный предмет (1); трансформация предмета силами ИИ (2); рассуждения о результатах трансформации силами ИИ и эффектах, этими трансформациями вызываемых (3); объяснения рассуждений предыдущего слоя (4). Хм.

Вот и начался четвёртый слой.

В “умных колонках” Amazon Echo, с голосовым интерфейсом Alexa на борту, заявлена возможность отключить отправку локальных записей того, что слышит колонка, на амазоновские серверы. Ну, пока ещё есть, но ненадолго: как пишут в ArsTechnica – данную возможность официально отменяют и с конца марта колонка будет всё отправлять на центральные серверы, “для обучения ИИ”, либо перестанут работать важные функции. Однако тут, скорее, нужно ожидать, что колонка перестанет работать вовсе – зачем она нужна, если не присылает никаких материалов “для обучения ИИ”?

Популярная тема – оценивать “успехи ИИ” в процентах “программного кода”, который эти ИИ-системы сгенерировали. Вот утверждают, что Anthropic ожидает “100% кода”, но через год. А в “Ведомостях” более “реалистичные” оценки: 25% кода (да и только в отдельно взятой финансовой структуре “Т-технологии”).

“Проценты сгенерированного программного кода” – очень занимательный показатель. И не так важно, в чём его взвешивать – в строках или килобайтах командных слов. Например, можно генерировать “тавтологические строки”, которые компилятор будет просто выкидывать: if(a == b){a = b}…; или for i in [0,100]: b = 10; и т.д. Какая доля таких строк может быть в тексте программы? Сколь угодно близкая к 100% – чтобы программа хоть что-то делала, конечно, придётся написать пару вызовов, условно, каких-нибудь print “Hello!”. Заметьте, что даже корректную реализацию всякого алгоритма на ЯВУ нетрудно растянуть по “строкам кода”, что уж говорить про некорректные реализации.

Получается, что программный код должен быть “оптимальным”, в каком-то смысле – только тогда его можно учитывать в качестве показателя. А оптимизация, как процесс, строго связана с алгоритмом. А алгоритм не понятен даже компилятору, что уж там ожидать от перебора внутри LLM. Возникают, как говорится, “некоторые трудности”.

Скажем, если пытаться считать в строках, то нужно учитывать, что разным бывает не только программный код (выбранный язык, способ записи), но и сами строки, на которые этот код разбивается. Возможно, предполагается, что итоговый алгоритм, соответствующий записи в коде, будет исполнять вычислительная машина – то есть, аппаратура. Понятно, что записи машинных команд в памяти этой аппаратуры нельзя считать строками (там нет нужной семантической структуры, а если выражаться простыми ESC-последовательностями, то отсутствуют “\r\n” в нужной интерпретации). Конечно, можно посчитать строки в коде на ассемблере. Здесь генераторы кода могут создавать NOP-последовательности (то есть, вызовы “пустых” команд). Ну и пустые по результату наборы эффективных команд тоже нельзя сбрасывать со счёта – проблем с их генерированием тут меньше, чем в случае, когда на страже путей преобразования стоит компилятор.

Я не так давно писал про нашумевшую публикацию Situational Awareness, где количество строк программного кода тоже используется в качестве некой меры уровня “суперинтеллекта” (AGI и далее). Там ожидается, что “суперинтеллект” будет писать “триллионы строк кода”. А самое главное – человек не сможет этот код понять, “даже если ИИ потратит годы на объяснения”. И эти вот годы, впустую потраченные суперинтеллектом, имеют тут интересное применение: могут ведь заявить, – как сейчас нередко и происходит, – что эти пустые строки – они “вовсе не пустые, а это вы просто не понимаете, что там написано суперинтеллектом”.

Насколько человек, – специально обученный, – может в принципе не понимать программный код? Этими человеками созданы сами используемые языки. Хорошо. Есть методы обфускации, которые понимание записи затрудняют: я тут обычно привожу в пример известный в узких кругах конкурс IOCCC, предмет которого и состоит в изяществе обфускации (кстати, конкурс недавно возобновили). Заметьте, что тут даже не важно, что программы на конкурс подают люди, важно, что авторы программ могут объяснить, что именно программа делает, на случай, если вдруг конкурсная комиссия не смогла разобраться своими силами.

Конечно, скорее всего, именно трудности с выявлением алгоритма по записи этого алгоритма прямо приводят к постановке проблемы P≟NP. Тем не менее, люди смогли сформулировать понятие об алгоритмической неразрешимости, и найти алгоритмически неразрешимые проблемы, объяснив, со строгими доказательствами, почему эти проблемы алгоритмически неразрешимы. При этом исходные объяснения с доказательствами получены, так сказать, без “искусственных интеллектов”. К этой области напрямую и относится вопрос о том, как можно было бы реально взвешивать ИИ по “доле программного кода”, им сгенерированного. И максимально упрощенный ответ очень простой: никак.

Кстати, что касается “удаления домена .SU”: попытки “удаления” этого домена начались ещё в 90-х годах прошлого века, и с тех пор продолжаются, с регулярностью (часто – весной; почему-то – “загадка природы”, видимо).

При этом домен всё ещё жив.

Вообще, пока в домене верхнего уровня, несмотря на все прошедшие годы, есть десятки тысяч используемых и работающих ресурсов, на которые ведут, как минимум, ссылки с сотен тысяч веб-страниц (и не только веб-страниц, заметьте), удалять его как-то странно. Нынче, конечно, можно ожидать всякого. Но всё же вряд ли в ICANN уже настолько плохо всё, что эта осторожная организация пойдёт на подобный шаг. Пусть даже в современной глобальной ситуации “сегментации интернетов”.

Прецеденты с удалением страновых доменов в схожих локальных обстоятельствах, конечно, были: CS – домен Чехословакии, DD – ГДР. Однако SU используется уже 34 года после официального падения Союза ССР. Так что тут и история той страны, и история домена – совсем другие.

Заметьте, что ещё веселее было бы удалить домен IO (формальные причины – те же).

Собственно, вот РосНИИРОС пишет:
“Регистратура (РосНИИРОС ) не планирует ликвидацию домена .SU и никаких формальных действий со стороны ICANN предпринято не было.”

Теперь уже обсуждают, что LLM работают на “уровне PhD”. Задал ChatGPT-4o вопрос про цикл с переключением состояния вывода GPIO микроконтроллера PIC12F675 – какая, мол, будет картинка на осциллографе? Вообще, на мой взгляд, это хорошая задача для студентов профильных специальностей. ChatGPT, понятно, расписало всё подробно, многими умными словами со ссылками на спецификации. Неверно, конечно. Но про меандр догадалось (square wave, сигнал прямоугольной формы, – это меандр и есть). А на просьбу нарисовать, всё же, что же будет на осциллографе, выдало такую вот художественную картинку с комментарием – см. скриншот:

Возможно, если отстранённо подумать про преобразование Фурье, то эти “волновые пакеты” могут относиться к меандру, но всё же больше всего это похоже на шутку. Да там и смайлик в конце поставлен.

(Обратите внимание, как там удачно склеено 250 kHz и 50% на картинке.)