dxdt.blog: занимательный интернет-журнал

С некоторым удивлением обнаружил, что “Хабр” теперь подставляет некие ссылки на ИИ-агентов прямо в текст статей, туда, где, конечно, никаких таких ссылок быть не могло. Пример на скриншоте ниже я взял из своей статьи про сложение точек эллиптической кривой.

Понятно, что “Объяснить код с” – это добавление. Я в статье использовал только блок разметки “Код”, но не указывал никаких там рекламных ИИ-агентов. Разметка является составляющей частью текста статьи, тем более, на “ИТ-сайте”, а блок разметки для кода – это блок разметки для кода, но не место контекстной ссылочной рекламы (для такого должен быть тогда уж отдельный тип блока). Понятно, конечно, что на подобном сайте может (но не должна, заметьте) быть реклама: там уже есть и всякие всплывающие окошки, и баннеры, и ссылки, и т.д. Но подмешивать ссылки в текст статьи – это как-то слишком. Особенно, когда это очередной ИИ-хайп.

В качестве ответа на весьма разумные предупреждения о том, что “умные колонки” могут подслушивать окружающих, СМИ цитируют сообщение пресс-службы “Яндекса”, в котором по этому поводу говорится, что, мол, колонки подслушивать не могут, потому что, буквально, “процесс обработки голоса запускается только в тот момент, когда микрофоны улавливают активационное слово”. Это очень забавно.

То есть, чтобы начать “обработку голоса” – их колонке нужно “уловить активационное слово“. Но ведь очевидно, что для улавливания слова – необходимо обработать голос.

Кстати, я недавно писал про то, что “кнопка отключения микрофона”, – в подобном-то устройстве, – так себе аргумент.

Попытались силами ChatGPT определить дату выпуска японской монеты периода Мэйдзи номиналом в 20 сенов. Загрузили в ChatGPT современной версии (пятой) фотографию именно той стороны монеты, на которой указана искомая дата (ну, такой эксперимент), направили “промпт” на русском языке. ChatGPT узнало монету в 20 сенов, рассказало, что годы таких японских монет обозначаются по периодам императорского правления (это верно), привело пример обозначения (!), а потом заявило, что нужно перевернуть монету и прислать фотографию другой стороны – типа, дата написана на другой стороне, а по имеющейся фотографии определить нельзя. Но на другой стороне написан номинал, а не дата. Дата как раз записана на той картинке, которую в ChatGPT и загрузили (специально).

Очередной типичный и практический пример, показывающий реальный уровень “полезности” данного инструмента и то, сколько там “интеллекта”. А ведь утверждают, что ИИ LLM нужно поручить анализ данных медицинской диагностики: рентгенограмм там, и других подобных данных. Но это одна из самых продвинутых LLM – и не может прочитать год выпуска старой японской монеты, хотя приводит верное описание того, как этот год записывается и интерпретируется.

Да, на таких японских монетах дата указывается по году периода, и записывается набором из нескольких иероглифических знаков. Если слева направо: обозначение “год”, потом номер самого года, потом – обозначение периода. Например (здесь группы знаков разделены точками, для наглядности): 年 . 七十三 . 治明. То есть, если теперь справа налево, то “Мэйдзи 37-й год”, или 1904 “европейский”. На аверсе монеты 1904 года в 20 сенов дата отчеканена справа от латинского обозначения номинала “20 sen” (см. фото ниже). Именно фотографию аверса и отправили для анализа. Присутствие латинских букв и арабских цифр могло бы помочь ChatGPT, если бы там был “интеллект”, но не помогло. На реверсе же монеты написан только номинал “20 сенов”, но японскими обозначениями: то есть, японские цифры там присутствуют, но это не год.

Аверс монеты – слева на коллаже. Именно эту фотографию и направили в ChatGPT (конечно, в большем разрешении).

Нетрудно предположить, как такой ответ ChatGPT получился: в интернетах на форумах часто пишут про монеты, что, мол, пришлите “фотографию лучшего качества”, “можно понять только по другой стороне” и т.д. Вот наборы таких фраз и склеились в ответ. При этом верное, в общем-то, описание – никак не повлияло на ошибочную формулировку. Потому что описание сконструировано не из смысла запроса, а исходя из набора “токенов” (слов и слогов) и их взаимного расположения. Это – программа. Генератор текстов.

Получается, что ChatGPT таким ответом даже успешно запутало бы незнакомого с предметом пользователя – ведь в предложении перевернуть монету есть логика: да, часто дата отчеканена на другой стороне, не на той, где написан номинал (пояснение: номинал здесь пользователь читает там, где он записан латиницей и арабскими цифрами).

А о том, что вышло бы из ChatGPT после загрузки фотографии реверса, мы в этой записке не узнаем: доступные токены закончились – видимо, картинки потребляют их особенно много.

Воплощение известного советского анекдота в эпоху “ИИ-хайпа”. При помощи сервиса ChatGPT, используя его как поисковую систему по корпусу текстов, нашли научные публикации с решениями некоторых задач Эрдёша (Эрдёш поставил очень много интересных задач). То есть, задачи эти были давно решены, но составитель списка решений использовал ChatGPT, чтобы найти ссылки на работы – и сервис ChatGPT ссылки нашёл (кто бы сомневался – публикации по запросам на естественном языке эта штука находит неплохо). Однако вице-президент OpenAI, комментируя результат, сообщил, что это “ИИ ChatGPT решило десять открытых проблем Эрдёша“. То есть не нашли старые работы с решениями, а решили открытые проблемы.

После бурной реакции тех, кто оказался в теме, хайп-сообщения “про решение силами ChatGPT” – удалены. Более подробный разбор, со скриншотами удалённых уже “твитов”, есть на сайте The Decoder (англ.). Журналисты издания задаются резонным вопросом: как так могло получиться, что ведущие AI-исследователи из OpenAI публикуют подобные “сильные утверждения”, даже не проведя минимальную проверку фактов? И действительно – как? Риторический вопрос.

Ars Technica пишет (англ.), что корпорация Deloitte пыталась сдать правительству Австралии некоторый отчёт по результатам исследования автоматизированной системы, используемой одним из министерств, но в тексте отчёта обнаружились ссылки на несуществующие публикации и вымышленные цитаты, приписанные вполне реально существующей сотруднице университета, профессору. Что, собственно, и вызвало подозрения. Естественно, текст был сгенерирован ИИ, в чём Deloitte и признались. Пример “успешного внедрения ИИ-инструментов”, чего уж там.

Теперь часть денег, выплаченных австралийским правительством за отчёт, сгенерированный ИИ, правительству вернут, а текст отчёта поправили, скорректировав “спорные моменты”. Подготовка отчёта, как заявлено, обошлась налогоплательщикам в $290000. То есть, смысл подобных отчётов тёмен, однако экономия на “генерировании ИИ”, видимо, очень существенная. Но никто из “людей в теме” не посмотрел результат. И понятно почему никто не посмотрел: какой экономический смысл в том, чтобы специалисты просматривали и корректировали “галлюцинации ИИ”? Смысла нет – эффективность тут же падает до нуля, и даже ниже, потому что это очень дорого, разбирать сгенерированный бред.

Один из сервисов RIPE NCC (это региональная регистратура IP) присылает мне раз в месяц по электронной почте письмо с некоторой простой статистикой, связанной с этим сервисом. Статистика там пустая. Так и должно быть: я свою часть этого сервиса давно отключил. Но вот сегодня данное письмо пришло с содержанием в формате HTML. И только в HTML. Да ещё и со ссылкой на внешний файл с изображением (<img>). Естественно, никакого смысла использовать HTML там нет.

До этого момента, много лет, приходило нормальное письмо, в text/plain. Видать, добрались и до систем RIPE NCC новые веяния. Печально. Скоро нужно ожидать перехода от BGP к построению маршрутов силами AI/LLM через парсинг HTML-страниц.

Некоторые начинают о чём-то догадываться – в отношении “использования ИИ”. Вот The Register пишет (англ.), со ссылкой на исследование из Стэнфорда, что бред, генерируемый ИИ, не так уж полезен в рабочем процессе, поскольку и разбор наукообразной чепухи отнимает много времени, и доверие к источникам подобного резко падает. Для обозначения сгенерированного “с рабочими целями” LLM-текста применяют занятный красочный термин – workslop, от work+slop, что означает: “рабочие (служебные) помои”.

Вообще, проблему с тем, что информационное пространство кругом быстро замусоривается сгенерированным бредом, уже заметили очень многие: восклицания, “что в Интернете невозможно ничего найти” и “постоянно приходится продираться сквозь наукообразную чепуху высшего порядка, сгенерированную LLM” – слышны всё чаще. Приведу свежий пример: я недавно попытался найти какие-то внятные описания того, как должна выглядеть буква “O” (латинская) на реверсе монеты в один пенни Великобритании за такой-то период. Вместо ссылок на внятные разборы (которые, очевидно, всё ещё есть в доступе – это же одна из основ практического исторического метода) – поиск Google выдал сгенерированный ИИ/LLM “ответ”, в котором, с первых же слов, буквально, утверждалось (на английском), что “никакой буквы O на реверсе таких монет нет, поскольку там написано ONE PENNY”. Вот так. Да, ONE – написано, но вот буквы “O” – нет. Отличный пример того, куда ведёт всё это использование “прорывных технологий ИИ” тут и там, навязываемое “с высоких трибун”. Но ничего уже не поделать: например, тот же ресурс “Хабр”, как я обнаружил, нынче просто затоплен подобным сгенерированным потоком.

Да, конечно, тут можно уточнять, что, мол, в примере про монету, данная “поисковая” система имела в виду, что нет отдельной буквы “O”, как обозначения монетного двора, серии или чего-то подобного. Но это всё будет выдумка, тщетная попытка придать содержательности продукту синонимайзера-переростка – потому что исходная система ничего в виду не имела, а просто сгенерировала текст, который совсем не попал в запрос; и всё вместо того, чтобы хотя бы попытаться правильно ранжировать источники.

Много новостей про то, что в некоторой реальной стране, якобы, “назначили LLM министром правительства”. Скорее всего, с реальностью это мало связано, потому что, даже в наше странное время, “замещение должности министра” – это, всё же, юридический момент, а назначить на такую должность можно не просто лишь человека (что уже достаточно для отсечения программ LLM), но при этом человек должен ещё соответствовать некоторым вполне себе формальным требованиям: гражданство, возраст, дееспособность, наличие нужного уровня образования и т.д. Это, конечно, можно всё отменить, определив новую “должность” (в кавычках) для программы, тоже понятно. По сути – получится уже не должность министра, по названию – возможно. Но всё равно выдумка. Однако интересен совсем другой момент, не административный, а технический. Этот момент напрямую связан с дееспособностью.

LLM – это программа, которая исполняется на каком-то компьютере. В принципе, в комментариях часто пишут, что данная LLM, предположим, исполняется в облаке Microsoft, а использует “веса” от OpenAI. То есть, эти корпорации начинают управлять “должностью”, а вовсе не LLM, которой, принципиально, не может существовать в качестве дееспособного лица, в чисто юридическом смысле (пусть в газетах про это писать и не принято, но, всё же, соответствующую концепцию действия, которой пара тысяч лет, пока что из теории права не выкинули). Но это всё только часть проблемы.

Гораздо важнее, что LLM в принципе не может ничего выводить, никаких ответов или распоряжений. Эти ответы/распоряжения формирует даже не тот, кто контролирует веса и иерархию коэффициентов в памяти, а тот, кто контролирует программу чата. Вообще не важно, что там происходит внутри LLM – ответ в чат может написать администратор системы. Этот администратор – будет человеком, как раз по причине дееспособности, которая упоминается выше.

Всё это не отменяет того, что нужно ожидать внедрения юридической значимости для указаний, выдаваемых неким LLM-ИИ – это одна из реальных “угроз ИИ”, про которые, впрочем, газеты тоже не оособенно распространяются.

С этими ИИ-LLM, “которые заменят всё и вся”, сейчас больше всего не радуют следущие моменты.

1.

Обилие сгенерированных ИИ-моделями картинок-иллюстраций на отдельных веб-страницах и на веб-сайтах вообще. Используются не только тематические ИИ-иллюстрации, но и различные фоновые изображения. Такие картинки однообразны. Обычно, содержат выраженные, и при этом одинаковые, “абсурдные элементы”: это и общая “механическая” композиция, и способ обособления “смысловых” элементов примитивным противопоставлением, крикливое оформление опорных объектов цветом, резкими углами и контурами.

Из-за того, что полученные таким способом иллюстрации содержат какую-то нездоровую регулярность внутри (скорее всего, эффект дают следы фильтрации групп пикселей по уровням выдачи внутри исходной, генерирующей системы), результаты выглядят неприятно и очень уж надоедливо. Почему-то, мало кто на это обращает внимание, и таких картинок всё больше и больше.

Всё то же самое можно сказать и про сгенерированные видео, которые так же заполонили веб. Эти видеофрагменты, – особенно, сгенерированные “по фотографии”, – ужасны в своей визуальной тягучести и банальной бестолковости, но их постоянно приводят в качестве примеров типа “как было” (да!), ” как могло бы быть”.

2.

Большое количество явно сгенерированных LLM текстов, которые выдают за “оригинальные тематические статьи” – с примерами кода (неверного), с “математическими” утверждениями, очевидно абсурдными, но записанными при помощи терминов из техничного языка (сам техничный язык – не наследуется).

Как ни странно, но тексты, сгенерированные современными продвинутыми LLM, нередко узнать даже проще, чем результаты работы старинных “генераторов рефератов”: это связано с тем, что современные LLM выдают в тексте структуры “большего объёма” – оформление, построение блоков текста, все эти навязчивые, регулярные разбивки на “Почему {подставить описание}” – следует три описания “причин”, с обязательным оформлением в виде списка и “типографским” выделением фрагментов. При этом тексты написаны неплохим языком, но содержат фактические выдумки – даже не ошибки (“Not even wrong!”). Старые “генераторы рефератов” выдавали менее структурированный мусор, который больше похож на неудачный, но подлинный текст, написанный не слишком подготовленным человеком.

Однако далеко не все тексты, выданные LLM, легко и сразу опознаются: из-за того, что всё тщательно оформлено и структурировано, из-за того, что набор слов отлично мимикрирует под большие структуры подлинных текстов, часто приходится буквально продираться сквозь туман из токенов, чтобы увидеть бессмыслицу. О том же самом эффекте, например, писал разарбочик curl Стенберг, но уже применительно к сообщениям о несуществующих уязвимостях. Разбор этой “высшей чепухи” отнимает время. Но таких сгенерированных публикаций в вебе (и не только) становится всё больше и больше. Видимо, это и есть те самые триллионы строк кода (пример, к сожалению, – ресурс “Хабр”).

3.

Выдачу LLM нередко предлагают рассмотреть детально, а потом объяснить, почему же конкретно эта выдача не сработала или что там (конкретно!) неправильно. Но не всегда можно дать конкретный ответ про сгенерированный текст! То есть, генератор текстов выдаёт поток бессмыслицы, который настолько хорошо оформлен, что даже продвинутый читатель воспринимает этот поток на уровне “ну, может, я чего-то не понимаю, а тут-то всё верно написано”. После чего переправляет результат специалисту по той теме, которая затронута в сгенерированном тексте, а специалист вынужден это и читать, и объяснять, что там не так примерно всё, кроме грамматики (при этом объяснять-то нужно уже на более простом уровне).

Более того, бывает, предлагается подкорректировать и исправить ошибки в тексте, сгенерированном LLM. Смысл данного действия, что называется, тёмен – зачем пересылать текст от LLM? Запрос-то в LLM-сервис составить мог бы и сам будущий редактор этого текста. Хуже всего, что для многих и многих простых, но вполне практических, случаев LLM выдаёт подходящий текст, а всякие ложные предложения вылезают достаточно внезапно. Из-за того, что есть “примеры правильной выдачи”, нужно тратить время на то, чтобы доказать, что это сгенерированный бред, пусть и записанный наукообразно.

Причём, апологеты LLM-сервисов нынче специально объясняют с высоких трибун, что, якобы, у LLM-то всё правильно, так как эта LLM знает больше любого человека, а вот человеку сложно, – даже невозможно, – понять, что тут и почему “верно написано” LLM.

И это вот одна из явных угроз ИИ: в какой-то момент скажут, что всякая выдача LLM является верной, и даже уточнять эту выдачу может только другая LLM, но не человек, который, как давно написано в газетах, “ничего понять не сможет”.

В продолжение предыдущей записки, про LLM и математические задачи. Google пока тоже не публикует технических подробностей о том, кто там и как перебирал и форматировал решения задач Международной математической олимпиады, чтобы получилась “золотая медаль”, однако, в отличие от OpenAI, в официальном новостном сообщении, есть, хотя бы, небольшие и довольно занятные намёки.

Во-первых, пишут, что использовалась некоторая “параллельная обработка” (parallel thinking) внутри модели, но, насколько можно понять, для подбора готовых решений. Цитата: “Эта конфигурация позволяет модели одновременно рассматривать и комбинировать многие возможные решения до выдачи окончательного ответа, вместо того, чтобы действовать по единственной, линейной цепочке рассуждений”. (This setup enables the model to simultaneously explore and combine multiple possible solutions before giving a final answer, rather than pursuing a single, linear chain of thought.)

Во-вторых, для получения решений провели “дополнительное обучение”, подстроенное для подходящих типов задач, и ввели инструкции, подобранные конкретно под задачи ММО (видимо, этого года – иначе нет смысла уточнять дважды). Цитата: “Мы также предоставили Gemini доступ к корпусу специально отобранных высококачественных решений математических задач и добавили в инструкции некоторые подсказки и советы общего характера о том, как решать задачи ММО”. (We also provided Gemini with access to a curated corpus of high-quality solutions to mathematics problems, and added some general hints and tips on how to approach IMO problems to its instructions.) Это самый интересный кусок из официального сообщения. Его можно понимать и так, что добавили базу с содержанием решений задач именно такого типа, как потом спрашивали, а позже ввели “советы” с ответами конкретных задач. А можно понять и так, что в процессе “настройки” корректировали входные данные, направляя вывод генерации к текстам верных доказательств (перечитайте в исходнике: a curated corpus of high-quality solutions).

Проще говоря, подробного описания процесса нет, а так – это уж слишком сильно напоминает улучшенный вариант традиционного уже упражения “ИИ сдаёт ЕГЭ” – выбираем тот сгенерированный текст из десятков выданных LLM вариантов, который набирает больше баллов.

Оказывается, история с “экспериментом” LLM OpenAI на IMO 2025 гораздо проще: это просто агрессивный маркетинговый выход, чтобы опередить заявление от Google о том же самом – о получении “золотой медали” на IMO 2025 силами ИИ/LLM DeepMind. Но зато у Google есть подтверждение от оргкомитета олимпиады, а у OpenAI – нет.

Не привязывать хотя бы Международную математическую олимпиаду к ИИ/LLM, сами понимаете, сейчас нельзя – это будет превратно понято, это вам не шахматные компьютеры отключать от шахматных турниров между человеками. Похоже, что вопрос-то был лишь в том, чтобы ИИ-корпорации хотя бы не объявляли о “золотых медалях” раньше, чем завершится само мероприятие для людей и некоторый период “охлаждения”, дабы не перехватывать небольшое внимание прессы. Но OpenAI – заявили раньше всех, что, конечно, тут же перехватило фокус медиа. И пусть достижение OpenAI не “официальное”, насколько можно судить, но зато и Google явно опередили, и внимание от конкурса среди человеков переключили. Такая вот маректинговая действительность, да.