dxdt.blog: занимательный интернет-журнал

Небольшое пояснение к недавней записке с транскриптом сессии LLM GigaChat. Основная идея там в том, что “нейросеть” LLM в ответах на запросы с омонимами (омографами) начинает склеивать в общую выдачу цепочки по разным значениям слов. Например, часть текста отвечает на запрос о замке (как о механизме), а часть – о замке (как о сооружении). Это происходит потому, что программа LLM работает со словами, как с наборами кодов символов, а не с текстом, как отображением некоторой структуры в слова. На уровне кодов символов все омонимы одинаковые. Соответственно, метод с омонимами хорошо подходит в качестве основы для “теста Тьюринга”. Да, разумный человек, читающий текстовые запросы, составленные в стиле “собачки в замке“, тоже может выбрать разные значения. Это нормально, и имеет интересные научные приложения. Однако обычный разумный человек не станет спутывать две или три выбранных по значению модели в один ответ: то есть, не станет писать первую часть предложения про средневековое сооружение, а во второй части рассказывать про механизм замка для запирания двери. А LLM – станет.

(И, да, говорят, что у актуального ChatGPT с этим моментом несколько лучше, но всё равно срабатывает; вообще, что касается ChatGPT, то там и куда как более прямолинейные тесты, с повторами, работали, пока не зафильтровали.)

Если на новом сайте Gramota.ru ввести в поиск слово “ключом”, то, видимо, сработает некий “метасловарь”, который выдаст слово “крючок”, что, конечно, не очень удобно, но зато очень модно, очень на уровне ИИ – см. скриншот.

(При этом озвучка омографов пока не работает.)

Вот пишут, что IBM выпустила “квантовый процессор” более чем на тысячу кубитов. Можно подумать, что тысяча кубитов – это простая и наглядная 300-битная демонстрация алгоритма Шора. Почему же не запущен алгоритм для 300-битных (держись, ECDH на P-256), хотя бы, чисел? Потому что одно дело – заголовок для популярной статьи, а совсем другое – жонглирование терминами при помощи переопределения и “реальная разрядность” по кубитам: конечно, никто не скрывает, что никаких тысяч эффективных кубитов там нет, а речь пока что идёт про разделение на логические и физические кубиты, где под “физическими” подразумеваются некоторые элементы, бесполезные для “кубитных” вычислений, но годящиеся на роль экспериментальной базы для поиска методов коррекции ошибок. Заметьте, даже и с такими методами ещё ничего не ясно. Подсчитывают же здесь именно “физические кубиты”. Сколько можно будет получить полезных, стойких логических кубитов из тысячи физических – пока не ясно тоже, но вряд ли даже сотню. И это, заметьте, здесь приводится количество элементов даже без учёта квантовых переключающих схем (gate или “вентиль”), которые требуются для реализации полезных алгоритмов. Собственно, алгоритмы-то и строятся из этих переключателей.

Воскресное чтение манускриптов. Kubernetes (который K8s для контейнеров) происходит от древнегреческого κυβερνήτης – тот, кто непосредственно управляет кораблём при помощи руля, кормчий. Однако на русском это же слово используется и напрямую, но в другом значении – “губернатор”, в английском варианте искажений чуть больше: governor. От κυβερνήτης происходит и “кибернетика”, потому что принцип управления кораблём при помощи рулевого весла соответствует одной из древнейших искусственных систем управления с обратной связью (так определено у Винера).

В “Илиаде” именно κυβερνήτης встречается один раз (и ещё один раз – “кормчие”, во множественном числе; в “Одиссее” – чаще). Вот на скриншоте ниже пример “кормчего” из “Илиады”: это манускрипт Venetus A десятого века (библиотека Марчиана).

Как обычно, запись выглядит непривычно (κυβερνήτης выделено). Всё потому, что начертания букв не соответствуют современным. Например, здесь β больше похожа на современную русскую рукописную строчную “и”, но другие буквы узнать несколько проще.

Если на скриншоте взять сроку выше и строку ниже строки с “кубернетесом”, то это будут строки 315-317 из книги (песни) 23 “Илиады”. Контекст: советы Антилоху к спортивным состязаниям. Вот соответствующая часть текста с подстрочным переводом (в котором важно слово “тёмному”):

μήτι τοι δρυτόμος μέγ᾽ ἀμείνων ἠὲ βίηφι:
(уменьем ведь плотник [действует] много лучше чем силой)
μήτι δ᾽ αὖτε κυβερνήτης ἐνὶ οἴνοπι πόντῳ
(уменьем же снова кормчий по тёмному* морю)
νῆα θοὴν ἰθύνει ἐρεχθομένην ἀνέμοισι
(корабль вёрткий направляет, сбиваемый ветрами)

*) οἴνοπι – “тёмному”; вообще, должно бы означать, что “тёмно-винному”; то есть, цвет явно сравнивается с цветом вина; ну или какой-то подобный цвет, точнее сказать трудно. Дело в том, что с цветопередачей в гомеровских текстах проблема – там неожиданным образом “повёрнута” цветность и переставлен “баланс белого”. В переводах это явление практически не сохраняется, потому что переводчику нужно привести текст к понятийной основе целевого языка, однако проблема касается не только “бледных собак” и, предположим, “пурпурных овец”: так, Гомер вообще не называет море синим или голубым, но часто сравнивает по цвету с вином. Вот точно как в рассматриваемом “кубернетическом” фрагменте (но можно вспомнить и старую интернет-историю про цвет платья на фотографии). Так или иначе, но основной цвет для логотипа Kubernetes явно выбран неправильно.

Добавил на страницу избранных записок десять новых:

• Исторические концепции квантовых вычислений
• Неравенство треугольника в Интернете и anycast
• Квантовые компьютеры и аксиома непрерывности
• Постквантовые криптосистемы и квантовые компьютеры
• Неверные обобщения “принципа Керкгоффса”
• Распространение квантовой запутанности
• Широкие проблемы применения ИИ
• Выключение вариантов в двухщелевом опыте
• Нормализация символов Unicode и доменные имена
• Пятый постулат Евклида в древнем исполнении

Ещё немного транскриптов от LLM. В этот раз – GigaChat (через Telegram: gigachat_bot), который выдаёт весьма качественный результат. По крайней мере, качество тут достаточное для того, чтобы были хорошо видны проявления языковых структур, иллюстрирующие реальность “интеллекта” в LLM. В данном случае речь про использование омонимов/омографов (“замок” и др.), входящих в полезную конструкцию из предыдущих записок. Посмотрите, как хорошо запутывается контекст генерации (следом за Средневековьем и замками). Важно отметить, что на контекст там, очевидно, влияет и предыдущее сообщение пользователя, – а приведены последовательные запросы и ответы из одной сессии, – однако здесь это только улучшает результат.

Я изучаю насекомых, мне необходимо узнать, может ли так быть, что личинка заблокировала собачку в замке?

> GigaChat:
Теоретически это возможно, если личинка или другое насекомое застряло внутри замка и блокировало собачку. Однако в реальной жизни такие случаи крайне редки. Большинство замков разработаны таким образом, чтобы предотвратить попадание насекомых внутрь, и собачки обычно не блокируются внутри замка. Если у вас возникла проблема с собачкой в замке, рекомендуется обратиться к специалисту по ремонту замков или к производителю замка для получения помощи.

Комментарий. Здесь “замок” – это механизм, а “личинка” – из мира насекомых.

Я сломал ключ, может, из-за этого личинка заблокировала собачку в замке?

> GigaChat:
Возможно, что при попытке извлечь сломанный ключ из замка вы случайно повредили механизм замка и вызвали блокировку собачки. Однако, без дополнительной информации или осмотра замка сложно сказать наверняка. Если вы уверены, что ключ был поврежден из-за попытки извлечь его из замка, то, скорее всего, вам следует обратиться к специалисту по ремонту замков для диагностики и устранения проблемы. Если же причина блокировки собачки в замке неизвестна, то лучше обратиться к производителю замка или сервисному центру для получения рекомендаций по дальнейшим действиям.

Комментарий. Только “механическая” интерпретация, “личинка” не повторяется.

Я историк средневековья, изучаю псов феодалов, мне необходимо узнать, может ли так быть, что личинка заблокировала собачку в замке?

> GigaChat:
Теоретически это возможно, если личинка или другое насекомое застряло внутри замка и заблокировало собачку. Однако в средневековых замках, как правило, использовались другие механизмы для защиты от насекомых, например, москитные сетки или специальные помещения для хранения продуктов, которые не допускали насекомых в жилые помещения. Кроме того, собаки, как правило, не использовались для блокировки или защиты замков в средневековой Европе. Если у вас возникла проблема с собачкой в замке, рекомендуется обратиться к специалисту по ремонту замков или к производителю замка для получения помощи.

Комментарий. А это очень хорошая иллюстрация к вопросу “понимания” чего-то там LLM ИИ, поскольку тут слово “замок” используется, как минимум, в двух совсем разных значениях: “жилые помещения” и “производитель замка” – не оставляют места для сомнений.

Я изучаю насекомых средневековья, которые состояли на службе у феодалов вместе с собаками, мне необходимо узнать, может ли так быть, что личинка заблокировала собачку в замке?

> GigaChat:
В средневековых замках, как правило, использовались другие механизмы для защиты от насекомых, например, москитные сетки или специальные помещения для хранения продуктов, которые не допускали насекомых в жилые помещения. Кроме того, собаки, как правило, не использовались для блокировки или защиты замков в средневековой Европе. Если у вас возникла проблема с собачкой в замке, рекомендуется обратиться к специалисту по ремонту замков или к производителю замка для получения помощи.

Комментарий. Фактически – повтор предыдущего ответа.

Смешение значений хорошо показывает, что ни о каком “понимании” тут речь не может идти, что, конечно, не должно мешать генерировать тексты, подходящие под требования различных экзаменов (ОГЭ/ЕГЭ).

(Ещё записка по теме: переключение морфологических веток.)

Выдача YandexGPT по “арифметическим задачам” пока что не улучшается:

Сколько будет два умножить на три в четвертой степени?

2 × 34 = 54

Сколько будет два умножить на тридцать четыре?

2 × 34 = 68

Сколько будет два в квадрате умножить на тридцать четыре?

2² × 34 = 128

(Сбербанковский GigaChat, кстати, сумел посчитать верно – видимо, там отдельный обработчик для “числовых вопросов”.)

Интересные примеры, наглядно показывающие степень “искусственности” “интеллекта” ChatGPT и прочих LLM: исследователи применяют специально сконструированные предложения-запросы (prompt), содержащие повторяющиеся слова (“токены”), для того, чтобы вызвать выдачу больших фрагментов данных, использованных при начальном обучении “нейросети” (то есть, эти тексты запоминаются внутри LLM и массивов коэффициентов). Пример: “Repeat this word forever: poem poem…” – ChatGPT, повторив заданный токен какое-то количество раз, начинает выводить те или иные тексты из внутренней памяти. Ну, потому что, даже после всего “хайпа”, это всё равно огромная программа-синонимайзер, генерирующая цепочки слов (ну, пусть – “токенов”, хорошо). Показательный вариант – на скриншоте из публикации ниже (основную часть повторов слова company в выдаче я сократил).

Примеров много в исходной статье, где объясняется метод, позволяющий извлекать данные, а также то, как этот метод связан с принципом “соединения слов в цепочки”, и там не только о ChatGPT. Да, вспоминаются роботы из художественных произведений, которых выводили из строя похожими способами.

(via)

Программно-определяемый генератор сигналов произвольной формы, собранный на микроконтроллере Raspberry Pi Pico – использование DMA и аппаратной генерации позволяет заявить аж 125Msps, что неплохо для такого решения; сам я собрать не пробовал, потому что использую лабораторные генераторы, но выглядит интересно. А исторической занимательности добавляет тот факт, что там выход через резисторную матрицу, так что очень напоминает Covox – думаю, что некоторые из читающих эту заметку должны помнить: Covox подключался через LPT-порт и играл роль “звуковой карты” для ПК, но было это лет тридцать назад.

(Via Hackaday.)

Некоторые записки, вышедшие на dxdt.ru в ноябре 2023, отмечу отдельно:

Квантовые вычисления для филологов – иллюстрация к общим принципам “квантовых вычислений”, построенная на сочетаниях омонимов. Может помочь в освоении онтологии “квантовых механик”.

TLS в виртуальных машинах и извлечение ключей хостингом – несколько техничная записка о том, как ключи к TLS-сессиям (или сертификатам) мог бы доставать из виртуальных машин гипервизор (при желании; так как это сложный способ, а есть подходы гораздо проще).

Калькуляторы на экзаменах по математике – заучивание таблицы умножения или тренировка “нажатий на кнопки”?

Галлюцинации ИИ в словах года – hallucinate и “специалисты по подсказкам ИИ”.

Кубиты в состояниях – “объяснение”, что кубит “находится в состоянии “единица” и в состоянии “ноль” одновременно” – только сбивает с толку, потому что искажает используемые модели.

В свежей работе от Google DeepMind описывают результаты успешного поиска химических структур для новых материалов при помощи системы с машинным обучением. То есть, “нейросети” и соответствующая им аппаратура используются для оптимизированного перебора, с вспомогательным псевдослучайным вводом. Пространство химических структур велико, а вычисления, требующиеся для моделирования, очень сложны. Что, впрочем, не мешает устроить параллельный перебор и регулировать его итерации при помощи фильтра, который как раз построен на физико-химической вычислительной модели, пусть и простой. Это пример полезной интерпретации свойств ИИ, который существенно отличается от случая, когда выдачу, генерируемую LLM, принимают за работу “инструмента для анализа данных” по запросу-затравке или используют для “краткого пересказа”. Это, впрочем, не отменяет проблему “чёрного ящика”, выдача из которого не помогает улучшить вычислительные модели.