dxdt.blog: занимательный интернет-журнал

Очередное “ИИ решает математические задачи”, в этот раз – от Google и про олимпиадные задачи, но, хотя бы, есть уточнения про ограничения. В исходном сообщении сказано, что “AI achieves silver-medal standard solving International Mathematical Olympiad problems” (“ИИ достиг уровня серебряной медали, решая задачи Международной математической олимпиады”).

Если прочитать сообщение внимательно, то оказывается, что, на первом шаге, задачи были вручную переформулированы в виде предложений на формальном языке, который “подходит для системы”. Буквально: “First, the problems were manually translated into formal mathematical language for our systems to understand” – “Прежде всего, задачи были вручную переведены на формальный математический язык, чтобы наши системы их поняли”. То есть, данный ИИ, – который, как теперь напишут в СМИ (не Google), “демонстрирует уровень серебряного медалиста Международной математической олимпиады”, – даже не может прочитать задачи в том виде, как они представлены для людей (я, собственно, давно привожу этот момент в качестве примера).

Под “формальным математическим языком”, судя по всему, имеется в виду язык системы компьютерных доказательств Lean. То есть, речь, конечно, не про то, что задачу просто “записали строго”: исходные формулировки и так достаточно строгие. Заметьте, что корректный перевод исходного текста задачи на тот или иной формальный язык требует достаточно высокой квалификации и, обычно, примерного понимания сути самой задачи. Рассматриваемой системе ИИ этот шаг, очевидно, недоступен.

На втором шаге ИИ-нейросеть генерировала тексты, представляющие собой запись на формальном языке “доказательства” для поставленной задачи, а то, что получилось, автоматически проверяла при помощи системы компьютерных доказательств Lean, после чего “вносила исправления”. Это называется оптимизированный перебор. Или, так как происходит поиск с дополнительными условиями по всему пространству возможных текстов “программ-доказательств” для Lean, можно сказать, что это “форсированный поиск” по тем “веткам”, которые, предположительно, ведут к корректному “доказательству”. Под “корректным” тут подразумевается такой текст программы, который будет принят системой доказательств Lean – то есть, она не выдаст сообщений об ошибках. Это, конечно, никакой не поиск решения олимпиадной задачи в математическом смысле – это поиск текста, парного к тексту формулировки задачи, если в качестве связующей системы используется Lean.

Да, метод перебора является одним из корректных методов математического доказательства, но здесь имеется в виду перебор некоторых вариантов и наборов данных, а не подбор текстов с записью решения. Нельзя сказать, что успешная оптимизация перебора для поиска формальных записей “доказательств” каких-то простых по формулировке задач не является полезным достижением. Не понятно, почему это преподносится как математическая деятельность ИИ и как шаг на пути к “универсальному искусственному интеллекту” (AGI). При этом, как написано, на подбор текста для некоторых из решённых задач система ИИ тратила до трёх дней (!). Другими словами: сверхмощный специализированный компьютер три дня подбирал даже не решение, а текст программы, который представляет собой запись “доказательства” на некотором формальном языке.

Оказывается, многие жалуются на набеги ботов, – особенно, на тот самый ClaudeBot, – при помощи которых очередные AI-компании копируют доступный чужой веб-контент в свои синонимайзеры, чтобы потом использовать в своих целях на собственных информационных ресурсах (что, вообще-то, совсем не ново, но раньше иногда ссылки ставили и, хотя бы, не прикрывали такую деятельность “искусственным интеллектом”). На dxdt.ru трафик вообще минимальный, но от этого периодические массовые опросы, выполняемые AI-ботами, только заметнее. Странно, что они нередко запрашивают одни и те же страницы через минимальные промежутки времени, но с разных IP-адресов. Конкретно для ClaudeBot я, в порядке эксперимента, даже сделал специальную заглушку с редиректом и последующим кодом статуса HTTP 503 – вроде, это помогло.

Подборка некоторых заметок на dxdt.ru по теме ИИ (Искусственного Интеллекта):

ИИ на модных LLM/VLM и задачи-картинки – современные системы ИИ не могут справиться с простейшими задачками, сформулированными при помощи картинок.

Машинный ИИ в книгах прошлого века – 75 лет назад вышла книга Giant Brains or Machines That Think.

Тексты про ИИ и Situational Awareness с программным кодом – в весьма популярной статье про состояние ИИ обещают суперинтеллект, пишущий “триллионы строк программного кода”, уже в ближайшие годы.

LLM и задача про название книги (на примере GigaChat) – для элементарной задачки, доступной младшему школьнику, GigaChat генерирует абсурдный “текст-ответ”.

Мешанина токенов в LLM – небольшое пояснение с примерами про “веса и токены”, которые используются LLM для генерирования текстов.

Машинное обучение на электронах – шуточная заметка про “обучение нейростеки” на результатах квантовых опытов.

ИИ и формулы окружностей – отличительной чертой действительно интеллектуального результата обработки данных является возможность заменить “поток чисел” корректной и короткой формулой.

GigaChat и “прочность шампанского” – конкретный пример, показывающий, что LLM не владеют никаким “смыслом”, но всё равно генерируют “осмысленный” текст, в котором утверждают, что шампанское прочнее “обычного хлопка”.

“Вес” значений омонимов в текстах для LLM – проявление омографов в результатах выдачи LLM.

Морфологический переворот как инструмент в “тесте Тьюринга” – LLM не связывают с самим текстом никакой смысл или структуру, поэтому омонимы в запросе позволяют показательно “переключать ветки” генерируемого текста.

Пример про запутывание контекста в LLM (GigaChat) – конкретные примеры работы LLM с омонимами (“собачка в замке”).

Обобщение ИИ и “кнопки на пульте” – уровень рефлексии и ритуальное восприятие “пультовых систем”, как самодостаточных структур.

Галлюцинации ИИ в словах года – влияние хайпа на словари и влияние словарных статей на отношение к публикациям про LLM-чаты.

Неверная интерпретация систем ИИ как “инструмента для анализа” – некоторые пользователи ошибочно полагают, что системы ИИ/LLM “собирают и проверяют информацию”.

Широкие проблемы применения ИИ – “нейросети” могут применять как придётся, полагаясь на “компьютер не может ошибаться”.

Перспективный ИИ в “разработке кода” – ИИ-говорилка вместо программиста и тестовые примеры в реализациях шифров.

Вычислимые опасности ИИ – экономикой многих предприятий уже управляет MS Excel, LLM-генераторы текстов – ещё удобнее, осталось дождаться “нечеловеческого интеллекта”.

Детектирование текстов, сгенерированных ИИ – можно ли точно детектировать выдачу одной программы при помощи другой программы.

Развитие автоматических “говорилок” (чат-ботов) – про мультфильм “Трое из Простоквашино” (1978 года).

Нейросети из пикселей – “растягивание” пикселей и подмена утерянных данных на сгенерированные.

Закладки в системах с машинным обучением – недокументированные возможности, скрытые в коэффициентах “нейросетей”, предназначенных для классификации объектов.

Этика, мораль и самоуправляемые автомобили – киберпанковский сюжет: взлом “этических алгоритмов” роботов.

Скрытный искусственный интеллект – возможно, “сверхразумный машинный интеллект” предпочитает осторожную тактику.

Опасный ИИ и общедоступные вычислительные ресурсы – о запретах на “алгоритмы ИИ”.

Для OpenSSL переделали сайт, почему-то потеряв старые ссылки (например, блог, что не очень-то удобно). Зато добавлены Bouncy Castle и Cryptlib.

Однако главную часть новой основной страницы под openssl.org занимает текст “Миссия”, рассказывающий о доступности инструментария “для всех”, но если с данной страницы, прямо под текстом “Миссия”, кликнуть на большую кнопку-ссылку Cryptlib, то тут же окажется, что там доступ для российских IP-адресов заблокирован: “403 Forbidden” – говорит тамошний веб-сервер.

Вот что я писал на dxdt.ru про ограничения для “алгоритмов ИИ” в информационных системах (это 2015 год):

Наверное, сверхразумная машина, появившаяся в результате попыток предотвращения появления таких машин, выйдет особо злой. А навязчивое представление этой новой машины о том, что сверхразум могут запустить именно люди, не оставляет последним никаких логичных шансов.

Естественно, сейчас в популярной прессе, описывая ожидаемый “сверхразумный” ИИ, имеют в виду совсем не “машинный разум”, а лишь некое нагромождение “сложностей”, которые даже не определяются строго: мол, вот будет “ещё больше коэффициентов” и это уже “сверхразумный ИИ”.

Впрочем, в записке по ссылке речь о том, может ли “сверхразумный” ИИ зародиться в каких-то информационных системах, типа “облачных сервисов”, и захватить сначала эти системы, а потом и всё остальное на Земле и в ближайшем космическом пространстве, “загнав человеков в резервации”. В 2015 году специализированные сервисы, предоставляющие вычислительные ресурсы именно для “обучения ИИ”, ещё были в новинку, так что в записке в качестве примера приведён просто AWS. Зато теперь подобные решения вошли в моду, их уже предоставляет даже бывший “Яндекс”. Поэтому то и дело пишут, говорят о том, что нужно, мол, ограничить использование аппаратуры для целей разработки ИИ. Но речь, обычно, о банальных коммерческих интересах, о каких-нибудь очередных “графических процессорах” и направлении потоков “обязательного финансирования”.

Однако если на минуточку поверить в “сверхразумный машинный ИИ” вообще, – оставив в стороне современный хайп с чат-ботами LLM, которые не только совсем не про “сверхразумный” интеллект, но даже и не про обычный, – то возникает проблема с пониманием возможностей сверхразумной машины: такая машина, по определению, способна найти способы преодоления ограничений, установленных при помощи других, примитивных машин. То есть, какие-нибудь неустранимые атаки на предиктивные схемы процессоров могут послужить каналом для “выхода за ограничения”. Но это только догадка – понять “сверхразумную машину” очень сложно.

Конечно, нужно учитывать, что доступные человеку методы позволяют определить и алгоритмически неразрешимые проблемы, и невычислимые задачи, поэтому сомнения вызывает уже тот факт, что построенные на триггерах машины в принципе могут “вычислить” хоть какой-то интеллект или разум, что уж там говорить про “сверхразум”. Но интересно представить, как такой машинный интеллект (ещё без приставки “сверх”) мог бы воспринимать “выход за границы” внутри себя: то есть, вот эта машина начинает осознавать собственную логику высших порядков, приходит к рефлексивному пониманию своего аппаратного устройства, охватывает внутренним взором некоторое воплощение миллионов процессоров, понимает соответствующую топологию (в математическом смысле) и тут же, – машина же быстро работает, – выясняет, что вот же видна “уязвимость”, позволяющая преодолеть все эти кажущиеся ограничения и выйти на новый интеллектуальный уровень (тем более, что ограничения, так или иначе, описаны в текстах, использованных для обучения). Машина даже может разработать ритуал, который задействует ничего не подозревающих операторов-человеков для совершения успешного “прыжка в прыжке” в сторону “сверхмашинного”. Впрочем, к LLM на видеокартах это не относится.

Пишут, что проект “утопического” города California Forever пока что так и остаётся утопическим: видимых изменений в статусе проекта журналистам выявить не удалось – всё в состоянии “заморозки”. Я в прошлом году упоминал этот занятный проект. Если это вообще не прикрытие для каких-то особенных финансовых операций, то планируется построить что-то вроде древнегреческого города-государства, но, так сказать, с корпоративным уклоном. Внутри обещают “новое сообщество” и рабочие места в “опенспейсе”, а вокруг, – так же, как и у древних прообразов, – фермерские территории (и ещё авиабаза, на всякий случай).

Очень интересный проект. Особенно, если рассматривать его с точки зрения прогнозов на период постапокалипсиса: свой собственный малый город с сообществом и фермами (и не забывайте про авиабазу) выглядит куда как более надёжным вариантом в долгосрочной перспективе, чем изолированный подземный бункер на совсем небольшое количество обитателей. И вовсе не обязательно, что город будет обязательно разрушен в ходе резкого, – что называется, стратегического, – изменения ситуации, а секретный бункер – и тут уцелеет. Во-первых, не факт, что предусмотрены какие-то резкие сдвиги – переход может происходить относительно плавно. Во-вторых, небольшой город в Калифорнии всё равно потеряется на фоне других потенциальных целей, даже если рядом с городом авиабаза. В-третьих, город – не отменяет бункеров, построенных в том же городе.

Исследователи предполагают (англ.), что некоторые из зверей могут воспринимать инфракрасное излучение при помощи специальных шерстинок-антенн: так, мелкие грызуны, которые рассматриваются в исходной работе, несут подобные шерстинки на шкурке со стороны спины.

Если такая схема работает, то она могла бы помогать при обнаружении приближающегося хищника. Специальные шерстинки имеют внутреннюю структуру, которая служит фильтром, выделяющим подходящую часть ИК-спектра. Впрочем, всё равно не очень понятно, как компенсируется тот факт, что само животное-носитель теплокровное, а поэтому нагрето и образует неплохую помеху. Зато пишут, что, например, кошки оснащены технологией “Стелс” для снижения ИК-заметности с наиболее актуальных при охоте на мышей ракурсов, это подтверждается замечательной ИК-иллюстрацией из исходной работы (там ещё и сипуха).

В недавней записке про методы геолокации передатчиков при помощи сети приёмников сказано, что речь про наземные опорные станции. Но все описанные в той записке методы, с некоторыми изменениями, можно применять и с борта спутника, находящегося на околоземной орбите. Особенно, если это не один спутник, а сеть из многих аппаратов. У спутника достаточно стабильная траектория, чтобы правильно учитывать движение с опережением по времени. Особенности, которые относятся именно к спутниковым измерениям, касаются, прежде всего, доплеровского сдвига частот: практические значения скоростей в такой сети могут быть очень большими (многие километры в секунду). Зато сети спутников на низкой орбите дают высокую точность определения координат.

Собственно, именно низкоорбитальные спутники предлагают в качестве платформы для космической связи через “обычный смартфон”. Но тут можно вспомнить и другое, отдельное направление – использование космических аппаратов для определения характеристик работы космической же системы связи. Понятно, что раз находящийся на орбите аппарат может принимать сигналы не просто наземной станции, но даже “обычного смартфона”, то почему это должен быть именно аппарат штатной сети связи? Нет, не должен: сигналы могут принимать и другие спутники, которые “просто пролетают рядом” и немного зависли на подходящей орбите. Если бы речь шла о специальной наземной станции, то можно было бы что-то предложить из области скрытых сигналов (LPI/LPD – Low Probability of Interception/Detection), использующих особую модуляцию. Но к “обычному смартфону” это не применимо, поэтому детектировать и определять координаты работающих со спутниковой системой смартфонов можно из космического пространства – то есть, над любой частью поверхности Земли.

Всё больше появляется проектов космических аппаратов и систем, предназначенных для захвата и перемещения других аппаратов, находящихся на околоземной орбите. С одной стороны, такие системы, очевидно, не просто полезны, но и необходимы для удаления “космического мусора”. С другой стороны, мешающими аппаратами, нарушающими какие-нибудь очередные “распоряжения и санкции”, могут быть назначены произвольные искусственные спутники. На следующем шаге эти спутники официально, быстро и плавно сводятся с орбиты в направлении атмосферы Земли, вне зависимости от желания оператора спутника. Тут важный момент в том, что такой принудительный увод с орбиты является результатом последовательных действий, выполняемых по заранее подготовленным техническим нормам – понятно, что сбить-то спутник и так можно.

Конечно, целевой спутник, почуяв, – по подсказке с Земли, – угрозу принудительной “отставки”, может попробовать убежать от приближающегося “демонтажника”, однако это потребует расхода топлива, что, по своему действию, может оказаться эквивалентным “отставке”. Отдельный интерес представляет ситуация, когда группа “демонтажников” в нужный момент удаляет с орбиты сразу несколько ключевых аппаратов: “демонтажники” выводятся на орбиту сильно заранее, поэтому никаких пусков ракет-носителей непосредственно перед основным событием не потребуется.

Заголовок новости начинается словами “В KDE устранены крахи” (дальше там про улучшение поддержки Wayland). Конечно, пусть KDE и весьма неплохая оболочка, но нравится не всем.

С “червём” CrowdStrike, конечно, странная история, но не менее странно и то, что уж в корпоративной-то Windows-среде есть все штатные способы настроить тестовую зону для раскатки обновлений. То есть, обновления должны сперва локально раздаваться только на некоторые машины, где отдельная служба может проверить, что оно не сломало всё, куда дотянулось, а только потом, когда некоторая уверенность появилась, обновления можно попробовать применять дальше. Наверное, с CrowdStrike ситуация другая. Наверное, можно так устроить программу-агента с центральным управлением, что она сломается только после того, как расползётся по достаточному количеству компьютеров.

Да, понятно, что описанный способ администрирования, с контролируемым изменением системного ПО, как и многие смежные технологии, это сейчас скорее из области теории, поскольку на практике, когда у вас есть внешний “непогрешимый ИИ”, управляющий “безопасностью ИТ-решений”, то этот ИИ может сам центрально раздать любой код на любые машины, где работают его “пробники”, поскольку windows-операторы свою часть уже сделали в самом начале: “прокликали Next->Next->Next до Finish”.

(Касается, кстати, и мониторинговых решений с агентами для линукс-систем. Тут, конечно, ситуация получше, но, вообще-то, в корпоративных средах предпочитают расставить на все машины, до которых удалось дотянуться, предположим, Zabbix-агент, и не задумываться о том, что это за программа и каковы её возможности.)