dxdt.blog: занимательный интернет-журнал

Воплощение известного советского анекдота в эпоху “ИИ-хайпа”. При помощи сервиса ChatGPT, используя его как поисковую систему по корпусу текстов, нашли научные публикации с решениями некоторых задач Эрдёша (Эрдёш поставил очень много интересных задач). То есть, задачи эти были давно решены, но составитель списка решений использовал ChatGPT, чтобы найти ссылки на работы – и сервис ChatGPT ссылки нашёл (кто бы сомневался – публикации по запросам на естественном языке эта штука находит неплохо). Однако вице-президент OpenAI, комментируя результат, сообщил, что это “ИИ ChatGPT решило десять открытых проблем Эрдёша“. То есть не нашли старые работы с решениями, а решили открытые проблемы.

После бурной реакции тех, кто оказался в теме, хайп-сообщения “про решение силами ChatGPT” – удалены. Более подробный разбор, со скриншотами удалённых уже “твитов”, есть на сайте The Decoder (англ.). Журналисты издания задаются резонным вопросом: как так могло получиться, что ведущие AI-исследователи из OpenAI публикуют подобные “сильные утверждения”, даже не проведя минимальную проверку фактов? И действительно – как? Риторический вопрос.

Ars Technica пишет (англ.), что корпорация Deloitte пыталась сдать правительству Австралии некоторый отчёт по результатам исследования автоматизированной системы, используемой одним из министерств, но в тексте отчёта обнаружились ссылки на несуществующие публикации и вымышленные цитаты, приписанные вполне реально существующей сотруднице университета, профессору. Что, собственно, и вызвало подозрения. Естественно, текст был сгенерирован ИИ, в чём Deloitte и признались. Пример “успешного внедрения ИИ-инструментов”, чего уж там.

Теперь часть денег, выплаченных австралийским правительством за отчёт, сгенерированный ИИ, правительству вернут, а текст отчёта поправили, скорректировав “спорные моменты”. Подготовка отчёта, как заявлено, обошлась налогоплательщикам в $290000. То есть, смысл подобных отчётов тёмен, однако экономия на “генерировании ИИ”, видимо, очень существенная. Но никто из “людей в теме” не посмотрел результат. И понятно почему никто не посмотрел: какой экономический смысл в том, чтобы специалисты просматривали и корректировали “галлюцинации ИИ”? Смысла нет – эффективность тут же падает до нуля, и даже ниже, потому что это очень дорого, разбирать сгенерированный бред.

Один из сервисов RIPE NCC (это региональная регистратура IP) присылает мне раз в месяц по электронной почте письмо с некоторой простой статистикой, связанной с этим сервисом. Статистика там пустая. Так и должно быть: я свою часть этого сервиса давно отключил. Но вот сегодня данное письмо пришло с содержанием в формате HTML. И только в HTML. Да ещё и со ссылкой на внешний файл с изображением (<img>). Естественно, никакого смысла использовать HTML там нет.

До этого момента, много лет, приходило нормальное письмо, в text/plain. Видать, добрались и до систем RIPE NCC новые веяния. Печально. Скоро нужно ожидать перехода от BGP к построению маршрутов силами AI/LLM через парсинг HTML-страниц.

Некоторые начинают о чём-то догадываться – в отношении “использования ИИ”. Вот The Register пишет (англ.), со ссылкой на исследование из Стэнфорда, что бред, генерируемый ИИ, не так уж полезен в рабочем процессе, поскольку и разбор наукообразной чепухи отнимает много времени, и доверие к источникам подобного резко падает. Для обозначения сгенерированного “с рабочими целями” LLM-текста применяют занятный красочный термин – workslop, от work+slop, что означает: “рабочие (служебные) помои”.

Вообще, проблему с тем, что информационное пространство кругом быстро замусоривается сгенерированным бредом, уже заметили очень многие: восклицания, “что в Интернете невозможно ничего найти” и “постоянно приходится продираться сквозь наукообразную чепуху высшего порядка, сгенерированную LLM” – слышны всё чаще. Приведу свежий пример: я недавно попытался найти какие-то внятные описания того, как должна выглядеть буква “O” (латинская) на реверсе монеты в один пенни Великобритании за такой-то период. Вместо ссылок на внятные разборы (которые, очевидно, всё ещё есть в доступе – это же одна из основ практического исторического метода) – поиск Google выдал сгенерированный ИИ/LLM “ответ”, в котором, с первых же слов, буквально, утверждалось (на английском), что “никакой буквы O на реверсе таких монет нет, поскольку там написано ONE PENNY”. Вот так. Да, ONE – написано, но вот буквы “O” – нет. Отличный пример того, куда ведёт всё это использование “прорывных технологий ИИ” тут и там, навязываемое “с высоких трибун”. Но ничего уже не поделать: например, тот же ресурс “Хабр”, как я обнаружил, нынче просто затоплен подобным сгенерированным потоком.

Да, конечно, тут можно уточнять, что, мол, в примере про монету, данная “поисковая” система имела в виду, что нет отдельной буквы “O”, как обозначения монетного двора, серии или чего-то подобного. Но это всё будет выдумка, тщетная попытка придать содержательности продукту синонимайзера-переростка – потому что исходная система ничего в виду не имела, а просто сгенерировала текст, который совсем не попал в запрос; и всё вместо того, чтобы хотя бы попытаться правильно ранжировать источники.

Много новостей про то, что в некоторой реальной стране, якобы, “назначили LLM министром правительства”. Скорее всего, с реальностью это мало связано, потому что, даже в наше странное время, “замещение должности министра” – это, всё же, юридический момент, а назначить на такую должность можно не просто лишь человека (что уже достаточно для отсечения программ LLM), но при этом человек должен ещё соответствовать некоторым вполне себе формальным требованиям: гражданство, возраст, дееспособность, наличие нужного уровня образования и т.д. Это, конечно, можно всё отменить, определив новую “должность” (в кавычках) для программы, тоже понятно. По сути – получится уже не должность министра, по названию – возможно. Но всё равно выдумка. Однако интересен совсем другой момент, не административный, а технический. Этот момент напрямую связан с дееспособностью.

LLM – это программа, которая исполняется на каком-то компьютере. В принципе, в комментариях часто пишут, что данная LLM, предположим, исполняется в облаке Microsoft, а использует “веса” от OpenAI. То есть, эти корпорации начинают управлять “должностью”, а вовсе не LLM, которой, принципиально, не может существовать в качестве дееспособного лица, в чисто юридическом смысле (пусть в газетах про это писать и не принято, но, всё же, соответствующую концепцию действия, которой пара тысяч лет, пока что из теории права не выкинули). Но это всё только часть проблемы.

Гораздо важнее, что LLM в принципе не может ничего выводить, никаких ответов или распоряжений. Эти ответы/распоряжения формирует даже не тот, кто контролирует веса и иерархию коэффициентов в памяти, а тот, кто контролирует программу чата. Вообще не важно, что там происходит внутри LLM – ответ в чат может написать администратор системы. Этот администратор – будет человеком, как раз по причине дееспособности, которая упоминается выше.

Всё это не отменяет того, что нужно ожидать внедрения юридической значимости для указаний, выдаваемых неким LLM-ИИ – это одна из реальных “угроз ИИ”, про которые, впрочем, газеты тоже не оособенно распространяются.

С этими ИИ-LLM, “которые заменят всё и вся”, сейчас больше всего не радуют следущие моменты.

1.

Обилие сгенерированных ИИ-моделями картинок-иллюстраций на отдельных веб-страницах и на веб-сайтах вообще. Используются не только тематические ИИ-иллюстрации, но и различные фоновые изображения. Такие картинки однообразны. Обычно, содержат выраженные, и при этом одинаковые, “абсурдные элементы”: это и общая “механическая” композиция, и способ обособления “смысловых” элементов примитивным противопоставлением, крикливое оформление опорных объектов цветом, резкими углами и контурами.

Из-за того, что полученные таким способом иллюстрации содержат какую-то нездоровую регулярность внутри (скорее всего, эффект дают следы фильтрации групп пикселей по уровням выдачи внутри исходной, генерирующей системы), результаты выглядят неприятно и очень уж надоедливо. Почему-то, мало кто на это обращает внимание, и таких картинок всё больше и больше.

Всё то же самое можно сказать и про сгенерированные видео, которые так же заполонили веб. Эти видеофрагменты, – особенно, сгенерированные “по фотографии”, – ужасны в своей визуальной тягучести и банальной бестолковости, но их постоянно приводят в качестве примеров типа “как было” (да!), ” как могло бы быть”.

2.

Большое количество явно сгенерированных LLM текстов, которые выдают за “оригинальные тематические статьи” – с примерами кода (неверного), с “математическими” утверждениями, очевидно абсурдными, но записанными при помощи терминов из техничного языка (сам техничный язык – не наследуется).

Как ни странно, но тексты, сгенерированные современными продвинутыми LLM, нередко узнать даже проще, чем результаты работы старинных “генераторов рефератов”: это связано с тем, что современные LLM выдают в тексте структуры “большего объёма” – оформление, построение блоков текста, все эти навязчивые, регулярные разбивки на “Почему {подставить описание}” – следует три описания “причин”, с обязательным оформлением в виде списка и “типографским” выделением фрагментов. При этом тексты написаны неплохим языком, но содержат фактические выдумки – даже не ошибки (“Not even wrong!”). Старые “генераторы рефератов” выдавали менее структурированный мусор, который больше похож на неудачный, но подлинный текст, написанный не слишком подготовленным человеком.

Однако далеко не все тексты, выданные LLM, легко и сразу опознаются: из-за того, что всё тщательно оформлено и структурировано, из-за того, что набор слов отлично мимикрирует под большие структуры подлинных текстов, часто приходится буквально продираться сквозь туман из токенов, чтобы увидеть бессмыслицу. О том же самом эффекте, например, писал разарбочик curl Стенберг, но уже применительно к сообщениям о несуществующих уязвимостях. Разбор этой “высшей чепухи” отнимает время. Но таких сгенерированных публикаций в вебе (и не только) становится всё больше и больше. Видимо, это и есть те самые триллионы строк кода (пример, к сожалению, – ресурс “Хабр”).

3.

Выдачу LLM нередко предлагают рассмотреть детально, а потом объяснить, почему же конкретно эта выдача не сработала или что там (конкретно!) неправильно. Но не всегда можно дать конкретный ответ про сгенерированный текст! То есть, генератор текстов выдаёт поток бессмыслицы, который настолько хорошо оформлен, что даже продвинутый читатель воспринимает этот поток на уровне “ну, может, я чего-то не понимаю, а тут-то всё верно написано”. После чего переправляет результат специалисту по той теме, которая затронута в сгенерированном тексте, а специалист вынужден это и читать, и объяснять, что там не так примерно всё, кроме грамматики (при этом объяснять-то нужно уже на более простом уровне).

Более того, бывает, предлагается подкорректировать и исправить ошибки в тексте, сгенерированном LLM. Смысл данного действия, что называется, тёмен – зачем пересылать текст от LLM? Запрос-то в LLM-сервис составить мог бы и сам будущий редактор этого текста. Хуже всего, что для многих и многих простых, но вполне практических, случаев LLM выдаёт подходящий текст, а всякие ложные предложения вылезают достаточно внезапно. Из-за того, что есть “примеры правильной выдачи”, нужно тратить время на то, чтобы доказать, что это сгенерированный бред, пусть и записанный наукообразно.

Причём, апологеты LLM-сервисов нынче специально объясняют с высоких трибун, что, якобы, у LLM-то всё правильно, так как эта LLM знает больше любого человека, а вот человеку сложно, – даже невозможно, – понять, что тут и почему “верно написано” LLM.

И это вот одна из явных угроз ИИ: в какой-то момент скажут, что всякая выдача LLM является верной, и даже уточнять эту выдачу может только другая LLM, но не человек, который, как давно написано в газетах, “ничего понять не сможет”.

В продолжение предыдущей записки, про LLM и математические задачи. Google пока тоже не публикует технических подробностей о том, кто там и как перебирал и форматировал решения задач Международной математической олимпиады, чтобы получилась “золотая медаль”, однако, в отличие от OpenAI, в официальном новостном сообщении, есть, хотя бы, небольшие и довольно занятные намёки.

Во-первых, пишут, что использовалась некоторая “параллельная обработка” (parallel thinking) внутри модели, но, насколько можно понять, для подбора готовых решений. Цитата: “Эта конфигурация позволяет модели одновременно рассматривать и комбинировать многие возможные решения до выдачи окончательного ответа, вместо того, чтобы действовать по единственной, линейной цепочке рассуждений”. (This setup enables the model to simultaneously explore and combine multiple possible solutions before giving a final answer, rather than pursuing a single, linear chain of thought.)

Во-вторых, для получения решений провели “дополнительное обучение”, подстроенное для подходящих типов задач, и ввели инструкции, подобранные конкретно под задачи ММО (видимо, этого года – иначе нет смысла уточнять дважды). Цитата: “Мы также предоставили Gemini доступ к корпусу специально отобранных высококачественных решений математических задач и добавили в инструкции некоторые подсказки и советы общего характера о том, как решать задачи ММО”. (We also provided Gemini with access to a curated corpus of high-quality solutions to mathematics problems, and added some general hints and tips on how to approach IMO problems to its instructions.) Это самый интересный кусок из официального сообщения. Его можно понимать и так, что добавили базу с содержанием решений задач именно такого типа, как потом спрашивали, а позже ввели “советы” с ответами конкретных задач. А можно понять и так, что в процессе “настройки” корректировали входные данные, направляя вывод генерации к текстам верных доказательств (перечитайте в исходнике: a curated corpus of high-quality solutions).

Проще говоря, подробного описания процесса нет, а так – это уж слишком сильно напоминает улучшенный вариант традиционного уже упражения “ИИ сдаёт ЕГЭ” – выбираем тот сгенерированный текст из десятков выданных LLM вариантов, который набирает больше баллов.

Оказывается, история с “экспериментом” LLM OpenAI на IMO 2025 гораздо проще: это просто агрессивный маркетинговый выход, чтобы опередить заявление от Google о том же самом – о получении “золотой медали” на IMO 2025 силами ИИ/LLM DeepMind. Но зато у Google есть подтверждение от оргкомитета олимпиады, а у OpenAI – нет.

Не привязывать хотя бы Международную математическую олимпиаду к ИИ/LLM, сами понимаете, сейчас нельзя – это будет превратно понято, это вам не шахматные компьютеры отключать от шахматных турниров между человеками. Похоже, что вопрос-то был лишь в том, чтобы ИИ-корпорации хотя бы не объявляли о “золотых медалях” раньше, чем завершится само мероприятие для людей и некоторый период “охлаждения”, дабы не перехватывать небольшое внимание прессы. Но OpenAI – заявили раньше всех, что, конечно, тут же перехватило фокус медиа. И пусть достижение OpenAI не “официальное”, насколько можно судить, но зато и Google явно опередили, и внимание от конкурса среди человеков переключили. Такая вот маректинговая действительность, да.

Некоторое время назад я написал на “Хабр” о попытке использовать ChatGPT для генерирования кода OpenSCAD: задача была – сгенерировать код, описывающий простейший Y-образный разветвитель шлангов; для этого я составил подробнейший “промпт” на естественном языке (есть в статье).

Конечно, выдача ChatGPT оказалась абсолютно бесполезной – в статье есть скриншоты рендеринга того, что сгенерировала LLM. В комментариях спросили, почему я выбрал “чат-бот”, вместо “специализированной модели”. Скопирую сюда свой подробный ответ, чтобы он не потерялся:

Есть целый ряд причин.

Во-первых, эта штука не написала в ответ, что, мол, “вижу, тут требуется 3D-объект, но я всего лишь чат-бот – обратитесь к специализированной системе”. Напротив – оно прямо и уверенно пишет, что точно умеет в OpenSCAD, знает все детали, приводит примеры (я спрашивал), а также предлагает проверить, что всё в коде корректно и верно при помощи рендеринга в OpenSCAD (да, такой вот “напор” демонстрирует). Опять же – что такое “чат-бот”? Если это средство занять назойливых клиентов в чате технической поддержки пустопорожним переливанием запроса в ответ – ну, да, тогда с OpenSCAD лучше не подходить. Но позиционируется-то этот инструмент явно иначе.

Во-вторых, не то чтобы была у меня какая-то уверенность, но я предположил, что в эту систему, – возможно! – уже успели-таки встроить “специализированное решение для 3D”. Это разумное предположение: такая возможность, без сомнения, полезна, системы постоянно обновляют, ждут в этом году “универсальный ИИ”, то и дело утверждается, что оно успешно решает задачи по геометрии на уровне “продвинутого старшеклассника”. Вот и проверили. Если бы оно справилось, это бы не сделало его интеллектом, но результат бы порадовал.

В-третьих, программное, процедурное задание простейших 3D-объектов – вообще-то не сложнее, скажем, реализации алгоритмов быстрой сортировки больших массивов, алгоритмов обработки графов, алгоритмов балансировки параллельной работы с данными и т.д., и т.п. В компьютерной геометрии есть свои сложности, но они точно не в генерировании описания трёх цлиндрических трубочек и параллелепипеда (предположим). Вся такая простая 3D-геометрия – выписывается в векторах, если хотите. С этой геометрией в видеоиграх справляются те же видеокарты, на которых запускают эти же LLM. Задача процедурного определения простейшего 3D-объекта, между прочим, не сложнее и поиска “уязвимостей в ПО”. И уж тем более теряется сложность на фоне разговоров о генерировании видео по текстовому описанию. Конечно, всё это верно только в том случае, если там настоящий интеллект, который именно решает задачу, а не синонимайзер, замещающий решение сгенерированным текстом (или иерархией кластеров пикселей – не важно). Собственно, поэтому-то тут и возможны специализированные решения.

В-четвёртых, постоянно вижу и слышу, как LLM типа “чат-бот” используют для генерации программного кода – для этого ведь даже есть плагины в средах разработки. Код OpenSCAD – это чисто программный код, я же не просил рисовать чертёж в изометрии. Всё подходит.

Наконец, в-пятых: в качестве специализированной системы – я бы всё же предпочёл использовать тот или иной готовый инструмент для параметрического задания типовых объектов в OpenSCAD (Y-образный адаптер к ним тоже относится). Такие инструменты есть. Они детерминированы. Они проще. Натыкать в интерфейсе размеры – быстро. Но они – не LLM, на которых обещают “универсальный интеллект”. Собственно, есть ведь и немало инструментов “визуального программирования”. Даже для специальных систем, типа GNU Radio, но почему-то сейчас про них вообще забыли, а рассказывают именно про генерирование кода LLM, на которые всех заменят.

Похоже, сроки по “суперинтеллекту” несколько сдвигаются: в свежей колонке лидера OpenAI Альтмана предполагается лишь, что “в 2027 году возможно появление роботов, способных выполнять задачи из реального мира” (2027 may see the arrival of robots that can do tasks in the real world) – что бы это ни значило, так сказать. Какие-то роботы, конечно, уже есть, но подождём 2027 года – будет ли там вообще до обсуждений результатов?

Занятно, что подобные утверждения были популярны, например, в конце 60-х годов прошлого века – считалось, что вот-вот и – “роботы смогут выполнять привычные задачи”. Типа глажки и складывания полотенца, да. Суперинтеллект к 2030 уже не обещают. Но если вы посмотрите профильные футуристические статьи из конца 60-х, то прямо всё узнаётся, один в один; только там, обычно, писали про 2000-й год, а в колонке по ссылке – речь про 2035:

“Сегодня сложно даже представить, что мы откроем к 2035; возможно, мы пройдём от решения [проблем] физики высоких энергий в одном году до начала колонизации космоса в следующем; или от значительного прорыва в материаловедении в одном году до подлинно высокоскоростного интерфейса “мозг-компьютер” в следующем” (It’s hard to even imagine today what we will have discovered by 2035; maybe we will go from solving high-energy physics one year to beginning space colonization the next year; or from a major materials science breakthrough one year to true high-bandwidth brain-computer interfaces the next year.)

Начало колонизации космоса. Да. Но через десять лет. Возможно.

И написано, что сингулярность будет наступать медленно, но ничего нет про то, когда же включат “суперинтеллект”.

Пишут про “проценты редактирования текстов, сгенерированных ИИ”, которые студенты сдают в качестве собственной, студенческой работы:

Согласно опросу ВШЭ среди студентов десяти топовых российских вузов, подавляющее большинство студентов — 82% — перед сдачей перепроверяют тексты, сгенерированные ИИ. Четверть опрошенных респондентов рассказали, что вносят в такие тексты менее 25% правок. Примерно треть респондентов сообщили, что исправляют от 26% до 50% сгенерированного ответа с учебным материалом. Также 17% принявших в опросе студентов уточнили, что переделывали от 51% до 75% текста. Наконец, более 75% правок вносит каждый десятый учащийся, а 17% респондентов затруднились ответить.

К сожалению, не поясняется, что означают утверждения “вносят менее 25% правок” и “исправляют от 26% до 50% […] ответа” (как вообще можно определить процент внесённых правок?), но делается общий вывод, что, мол, это хорошо. Предположим, проценты означают долю слов, заменённых редактором. Как тогда можно интерпретировать эти результаты?

С одной стороны, хорошо то, что, судя по тенденции, скоро преподаватели смогут перейти к обучению непосредственно LLM, без промежуточного студента. Это гораздо эффективнее. Преподаватель, не сомневайтесь, может лучше обучать LLM напрямую. Результат обучения более компактен, его проще исправить и проще “вывести на рынок”, пусть и в бета-версии.

С другой стороны, интересно было бы понимать, что же есть цель обучения и постановки учебных заданий, ответом на которые является текст, сгенерированный ИИ. Если цель – получение самого текста преподавателем, тогда, опять же, преподавателю лучше прямо направить запрос в ИИ/LLM. Не нужно плагать, что преподаватели не умеют составлять такие запросы. Умеют. “Как минимум, я написал те книги, на текстах которых эти LLM обучали”.

Если целью является процесс правки текста студентом, то, наверное, имеет смысл в качестве задания выдавать сразу текст, подлежащий правке. (И такое нередко случается на профильных специальностях.) Если цель – процесс отправки запроса в ИИ/LLM студентом, то это тематика для довольно узкого круга специальностей.

Наконец, если целью, – внезапно, – является обучение процессу поиска решения задачи и оформления этого решения, то тогда ИИ/LLM тут не помогает. Конечно, ИИ/LLM тут может быть использована для ускорения достижения формального признака выполнения задания, вот только тогда сам целевой процесс обучения остаётся за бортом. Но такова реальность. Нет смысла спорить с тем, что LLM уже оказывают огромное влияние не только на результаты обучения в вузах, но и на управление вполне себе действующими компаниями. Дело, собственно, в шляпе.