dxdt.blog: занимательный интернет-журнал

Воскресное чтение манускриптов. В этот раз у нас “кубос” с полей (буквально) манускрипта одиннадцатого века Vat.gr.1605. Данный фрагмент относится к труду “Геодезия” неизвестного автора, которого обычно называют Героном Византийским, а “кубос” (κύβος), как не трудно догадаться, иллюстрирует метод вычисления объёма, причём числа не просто записаны привычными древнегреческими буквами, но ещё и аккуратно расставлены, что называется, “по флагам” (это точно соответствующий математический термин – не хватает тут только вершины).

Сторона куба на схеме имеет длину 28 (κη) единиц. Площадь двумерной грани, соответственно, 784, что и обозначено на чертеже ψπδ, а объём трёхмерного куба равен 21952 единиц. Интересно, что если на схеме 21952 обозначено с использованием β + αϡνβ, то в тексте это число записано, буквально, так: “две мириады и тысяча 952” – то есть, словами обозначены мириады и тысячи, а остаток – “цифрами”, в роли которых выступают греческие буквенные обозначения. И здесь, – в записи числа 952, – можно заметить символ “ϡ” (“сампи”), который соответствует числу 900 и в привычный греческий алфавит не входит.

Кстати, насчёт “признаков делимости” в YandexGPT и “интеллекта” в LLM вообще. Исходная фраза, которую сгенерировало YandexGPT в контексте поиска “решения” некоторой “невозможной” задачи с числами, такая: “число делится на 2 и на 11, а значит, делится и на 3”. Описание задачи, к сожалению, не сохранилось. Но это и не важно. Естественно, к самим числам в задаче сгенерированная фраза никак не могла быть применена. Данная оговорка тут на тот случай, если кто-то (вполне справедливо) предположит, что под описанную ситуацию делимости нетрудно подобрать условия задачи: типа, в условии может быть сказано что-то вроде “есть несколько чисел, все чётные из которых кратны шести, а некоторые могут быть записаны с использованием только двух различных десятичных цифр” и т.д. Но нет.

Конечно, нетрудно догадаться, как упомянутый фрагмент был сгенерирован LLM: в интернетах очень много текстов, содержащих обороты вида “число”, “число делится на”, “и на”, “а значит” и т.д., и т.п. Эти же тексты, очень часто, содержат и цифры. Система LLM работает не со словами, а с так называемыми “токенами”, слову может соответствовать несколько токенов (может случиться и наоборот, как ни странно; вообще, способы “токенизации” составляют очень важную часть данной технологии генерирования текстов). Есть токены от “цифр” (записи чисел в тексте), или от склеек букв с цифрами. Токены собираются в цепочки не просто по вероятности, но с добавлением элемента случайности и подмешивания прочих элементов, добавляющих мнимой оригинальности в выдачу генератора текстов. Возвращаемся к исходной фразе: какие-то обороты “про делимость” попали по токенам в выдачу, и тут же затесались посевдослучайным образом какие-то другие токены, выдавшие цифры (1 и 1, 2, 3). Получилась “оригинальная” фраза.

Понятно, что признаки делимости алгоритмизируются точно. Возможность создания такой алгоритмизации как раз является одним из аспектов подлинно разумной деятельности. А проблема с применением ИИ тут в другом: даже минимально “интеллектуальный” автомат должен был бы определить, что не может вывести хоть бы примерно применимый к заданному контексту текст, и сообщить об этом. Однако в генеративных LLM нет и не может быть никакого контекста уровнем выше таксономии токенов, которые программа преобразует при помощи мешанины коэффициентов.

Не слишком сложно составить и представление о том, как в генераторах с LLM вообще возникают “оригинальные тексты” – то есть, грамматически корректные сочетания слов, которых не было в исходных корпусах, взятых для “обучения”, – и о том, насколько эти тексты связаны с исходными задачами, равно как и с интеллектом. Рассмотрим условную “обучающую выборку”, которая состоит из следующих текстов (коротких фраз): “лис сел на пень”, “жук сел на сук”, “медведь сел на муравейник”, “заяц проплыл на лодке”, “жук залёг под дерево”, “сом залёг на дно”, “сом проплыл под веслом”. Слова из этой выборки отображаются в токены, а LLM генерирует свои фразы, исходя из предполагаемой вероятности того, что один токен следует за другим, переставляя при этом токены (см. ниже). Вероятности здесь происходят из того, что за словом “сел”, согласно обучающей выборке, с вероятностью единица следует “на”, за словом “жук” – с вероятностью 1/2 следует “сел” и так далее. Вероятности записываются в таблицы, где, в самом примитивном варианте, значение вероятности выбора для следующего токена зависит от предыдущего (этому соответствуют марковские цепи, которые и задаст двумерная таблица).

Это очень упрощённое описание, но оно отражает суть: уже склеивая токены по заданным вероятностям в данной элементарной схеме, программа может получить фразы “жук залёг под веслом” и “сом проплыл на сук”, которых нет в исходной выборке. Более того, если предположить, что какие-то склеиваемые токены “короче” слов, то можно представить, как может возникнуть фраза “сом засел на муравейник”. Вариант с марковскими цепями не подходит для LLM, поскольку для впечатляющих публику результатов нужно окно из многих токенов. То есть, выбор следующего токена зависит от многих предыдущих токенов, составляющих только что сгенерованную фразу. Но если для формирования распределения вероятностей по словам или токенам считать все варианты, то количество возможных сочетаний (факториал) практически сразу становится неподъёмным даже для тех огромных вычислительных мощностей, которые принято задействовать в этой области. И поэтому используют аппроксимирующие наборы формул с подобранными коэффициентами, называемые “нейросетями”.

Воскресное чтение манускриптов. Немного загадочных палеографических знаков, которые выглядят как буквы, сложенные в кучу. Например, такие встречаются на фрагменте скриншота манускрипта из недавней записки по теме, которая про переписывание трудов Клеомеда. Конечно, там почти все знаки загадочные, но особенно – те, которые “двухуровневые”. Вот скриншот, о котором речь:

В начале первой строки нетрудно заметить нагромождение букв в два ряда:

Оказывается, что это всего лишь слово “ἔχει” (“имеет”, в данном случае), в котором ε “упала”, а над увеличенной χ установлена лигатура ει. Вместе с соседними словами получается “τοῦτον ἔχει τὸν λόγον” – “такое [же] имеет соотношение”. Речь идёт о сравнении длин дуг, использованных при построении планиметрического обоснования для способа вычисления длины земного меридиана, предложенного Эратосфеном. Слово “ἔχει” используется часто, но всё же не похоже, чтобы подобное написание действительно позволяло экономить немного дорогостоящего места на пергаменте: “экономичные” сокращения выглядят иначе. Так что, скорее всего, данный “вензель” – это лишь элемент стиля.

Воскресное чтение манускриптов. Впрочем, в этот раз опять рассматривание иллюстраций. Недавно уже встречался иллюстрированный манускрипт с описанием метода разрушения крепостных стен при помощи загадочной “огненной машины” из труда “Полиоркетика” Аполлодора Дамасского. Такая же иллюстрация (но с несколько большей детализацией – см. скриншот ниже) и такой же фрагмент текста встречаются в манускрипте Vat.gr.1605 (11 век) из Ватиканской Апостольской библиотеки. Считается, что исходный текст для этого манускрипта подготовлен в 10 веке неустановленным автором, которого называют то Византийским Героном (не перепутайте с Героном Александрийским), то Героном Младшим, то просто византийским Анонимом.

Кстати, из прошлой записки не совсем понятно, но по этой картинке уже можно догадаться, что тут на стене закрепляется некоторая глиняная “топка” с углём (ἄνθραξ), в которую при помощи мехов (ἄσκωμα) нагнетают воздух для повышения интенсивности горения (что, собственно, и описано в тексте манускрипта).

Несколько дней назад появилась работа (Yilei Chen), предлагающая квантовый алгоритм для быстрого (“за полиномиальное время”) решения задач теории решёток, на сложности которых основаны оценки стойкости многих современных постквантовых криптосистем. Квантовый алгоритм – это алгоритм для гипотетического квантового компьютера, то есть, дважды теоретический. Однако, в данном случае, как раз этот факт и выглядит особенно занятно.

Почему эта тема популярна? Если хотя бы теоретическое описание алгоритма верное и если его удастся развить до параметров практических версий задач (этого пока что нет, о чём прямо написано в исходной работе), то многие суперсовременные криптосистемы из класса “постквантовых” – не просто сразу потеряют постквантовую стойкость, но, возможно, даже станут менее стойкими к квантовой атаке чем, скажем, классическая RSA. Конечно, тут заведомо присутствует очень много “если”, и это всё гипотетические рассуждения. Однако и стойкость соответствующих постквантовых криптосистем к атакам на классическом компьютере – отдельный, всё ещё не очень хорошо исследованный, вопрос.

Понятно, что в статье обнаружатся ошибки и она потребует, как минимум, уточнений. Так, сегодня опубликована записка (Omri Shmueli), указывающая на недостижимые значения параметров, которые использованы в доказательстве корректности алгоритма. Это, впрочем, только добавляет арифметической занимательности, поскольку доказательство недостижимости основано на оценке количества простых чисел, меньших заданного. Дело в том, что описанная версия алгоритма, для корректной работы, требует построения набора из некоторого количества попарно простых натуральных чисел, меньших заданного порогового значения – но для определённых значений параметров таких чисел может не найтись в нужном количестве, поскольку не хватит простых. Если алгоритм нельзя исправить (это ещё тоже не факт) и это удастся доказать, то может даже так оказаться, что постквантовая стойкость криптологических задач теории решёток зависит от количества простых чисел, меньших заданного порога. А это весьма сильное и интересное ограничение. (Но, конечно, вряд ли это так.)

(Update, 13/10/2024: в исходной работе довольно быстро обнаружилась критическая ошибка и автор пока не нашёл способа эту ошибку исправить. Из этого не следует вывод, что “задачи на решётках” обладают строго доказанной стойкостью к “квантовым атакам”.)

Воскресное чтение манускриптов. В одной из прошлых записок по теме рассматривался текст варианта записи труда Клеомеда “Учение о круговращении небесных тел” (13 в., Adv.MS.18.7.15), с описанием метода, применённого древним греком Эратосфеном для определения размеров Земли. В этот раз – посмотрим на тот же фрагмент текста Клеомеда, где указана длина окружности в стадиях, но в записи другого манускрипта: Pal. gr. 018 (часть Cleomedes, Cyclia/Caelestia) – из библиотеки Гейдельбергского университета. (Далее эти два манускрипта здесь называются просто Pl (Pal. gr. 018) и MS.)

Итак, Pl – манускрипт начала 14 века на древнегреческом, здесь нет чертежа, как в MS, а в записи, кроме такого же “скорописного” стиля, использовано множество сокращений (см. ниже), так что выглядит всё ничуть не менее загадочно, чем вариант из предыдущего MS (хоть тот и 13 века). Новый скриншот:

Подчёркнута (зелёным) строка, в которой и указана длина окружности Земли по меридиану – двадцать пять мириад. В предыдущем варианте, то есть в MS, строка, сообщающая о расчётной длине меридиана в 250 тыс. стадиев, если символы перевести в современную типографику, выглядит так: “ὁ ἄρα σύμπας κύκλος γίνεται μυριάδων εἴκοσι πέντε” . Но на скриншоте манускрипта Pl запись отличается. Вот два варианта на одной картинке (вверху – Pl, а внизу – та же строка из MS, см. прошлую записку по теме):

Думаю, что “ὁ ἄρα” – теперь нетрудно прочитать, как и лигатуру σύ со “смайликом”, построенным на диерезисе. Остальное, конечно, читается сильно сложнее. Однако, когда два варианта выставлены рядом, становится очевидно, что для опытного читателя, – возможно, инквизитора, – зашедшего в средневековый скрипторий, тут всего лишь два почерка, отличающихся в некоторых привычных деталях. Кроме, разве что, последних слов фрагмента.

Дело в том, что на манускрипте Pl слова “εἴκοσι πέντε” из записи “двадцати пяти” – отсутствуют (самый конец верхней строки). Вместо этого число 25 записано древнегреческими цифрами, вот так: κε – что и обозначает 20 (κ) + 5 (ε).

В журнале “Интернет изнутри” опубликована моя статья “Постквантовая криптография и практика TLS в браузерах”. Статья, в основном, про то, как “квантовые вычисления” связаны с теоретико-информационной криптографией, и как это влияет на TLS в архитектурном смысле, но также рассмотрен свежий пример с Kyber768 в браузере Chrome.

Цитата:

“Квантовые вычисления в философском смысле – это попытка получить доступ на самом низком, самом прямом и «железячном» уровне к центральному «процессору» (ЦПУ) вселенных, то есть, к необозримому «чипу», на котором, возможно, окружающая действительность исполняется в режиме виртуализации. Это неплохо соответствует фольклорной интерпретации термина «квантовый» в отношении компьютера: элементы полупроводниковых чипов, находящихся внутри этого ящика, становились всё меньше и меньше, и вот, за гонкой нанометровых технологий, ситуация проваливается в квантовые элементы – получите квантовый компьютер. И действительно, пусть сам предполагаемый принцип квантовых вычислений не имеет ничего общего с уменьшением линейных размеров полупроводниковых вентилей и законами Мура, попытки физической реализации квантовых вычислителей уже сейчас подразумевают управление отдельными атомами. Если квантовый компьютер сделать не получится, эти наработки наверняка пригодятся для дальнейшей миниатюризации компьютеров классических. Что же касается теоретико-информационной криптографии, то она, похоже, выигрывает и тут.”

Скриншот из издания “Элементов” Евклида на английском (первый перевод, Henry Billingsley), 1570 год. Кстати, настоящий язык Шекспира: whereunto и пр. Автором “Элементов”, как нетрудно прочитать, здесь обозначен Евклид из Мегары, а не просто Евклид (то есть, Евклид из Александрии); это, впрочем, обычное, – пусть и немного загадочное, – дело для старых публикаций.

Предположим, найдены два различных сообщения, для которых значения (криптографической) хеш-функции отличаются только в одном байте (то есть, всего несколько близких битов различаются). Пусть разрядность хеш-функции 256 бит, то есть 32 байта. Заметьте: тут важна и локализация отличий – не просто несколько битов, но ещё и в одном байте. Что именно обнаружение таких сообщений означает для хеш-функции? Как ни странно, но, без прочих обстоятельств, – практически ничего нового, кроме того, что хеш-функцию, эмпирически, станут считать менее стойкой: то, что два сообщения с описанным свойством существуют – и так было известно.

Другое дело, если предъявлен метод, позволяющий быстро находить пары сообщений с близкими значениями хеш-функции. Тогда, конечно, хеш-функция перестаёт быть действительно криптографической. Однако и в случае предъявления метода возникают всякие оговорки. Близки ли входные сообщения из пары? (Кстати, тут можно вспомнить, про нужные в некоторых задачах хеш-функции (не криптографические) с “хорошей” локализацией, – LSH.) Если близки, то как метод поиска таких сообщений связан с алгоритмом хеш-функции? Можно ли успешно отыскать сообщение, парное к заданному? Известны ли свойства получающихся разбиений? Поднимается ли структура разбиений в алгоритм поиска их представителей (то есть, можно ли записать формулу разбиений)? В общем, много уточнений.

Очевидно, впрочем, что возможность быстрого нахождения близких по значению входных сообщений, дающих близкие же, до одного отличающегося байта, значения хеш-функции, позволяет хеш-функцию сломать совсем (для перебора остаются небольшие сегменты, соответствующие различным битам в найденных значениях). Но это если находить нужные пары сообщений можно быстро.

На поиске близких значений хеш-функций, например, построена схема доказательства работы в протоколе цифровой валюты Биткойн (и далеко не только там). В биткойн-сети узлы должны подбирать входные массивы так, чтобы значение хеш-функции от них было меньше заданного порога (параметр “сложности”), это означает, что несколько старших байтов записи подряд должны быть нулевыми. То есть, все использованные значения хеш-функций (SHA-256) совпадают по нескольким последовательным крайним байтам. Эта ситуация, конечно, отличается от описанной в предыдущем абзаце, но только тем, что тут совпадает меньшее количество байтов (в исходной идее требуется различие, максимум, в одном байте). При этом, в случае с биткойнами, довольно велика вероятность того, что в ходе работы сети “майнеров” либо уже были обнаружены полноценные коллизии SHA-256, либо такие коллизии будут обнаружены в течение нескольких лет (если ничего не изменится кардинально, конечно). Это так не только по причине парадокса дней рождения, но и из-за возможных дефектов SHA-256. Другое дело, что такие коллизии вряд ли кто-то заметил – объёмов памяти для хранения всех перебираемых значений нет в принципе.

Воскресное чтение манускриптов. Ну или не столько чтение, сколько рассматривание чертежей. В этот раз – продолжение манускрипта Vat.gr 1164, который уже упоминался в записке про баллисту инженера-конструктора Герона. На скриншоте ниже – фрагмент из труда “Полиоркетика” Аполлодора Дамасского. Да, в одну книгу, формируемую библиотекарями скрипториев, входили разные труды разных авторов (Герона и Аполлодора, например), нередко, в формате, так сказать, хрестоматии. Тут почти целую страницу занимает схема атаки отдельной круглой крепостной башни при помощи некоторой “огневой машины”.

Как объясняется в тексте, предшествующем чертежу, машина использует угольную топку и меха для создания огня, а двойную железную (наверное, стальную) трубу – для доставки этого огня на атакуемую стену, всё с целью “расшатывания” каменной кладки. Насколько подобный метод был реализуем и, в случае успешной реализации, эффективен – судить довольно трудно.

В продолжение предыдущей записки. Различные “аппаратурные” атаки, типа разновидностей Spectre/Meltdown, которые преодолевают механизмы разграничения доступа современных процессоров, имеют интересную связь с концепцией “диагонализации”: то есть, такие атаки всегда возможны, если только процессор пытается оптимизировать использование вычислительных ресурсов достаточно сложным способом. Под “достаточно сложным” тут подразумевается наличие механизмов вида “предикторов” (упреждающего анализа потока команд), задействованных на уровне над “межпотоковым” взаимодействием.

Вообще, в x86 “префетчинг” (предварительное извлечение) кодов команд появился ещё в микропроцессоре 8086. Но тогда соответствующая схема считалась просто конвейером команд. Это был отдельный компонент, со своими регистрами и системой счётчиков, который асинхронно считывал коды команд с внешней шины, когда та была свободна, что существенно ускоряло работу процессора. Понятно, что в 8086 не было ни каких-то особых механизмов аппаратного разграничения потоков команд и адресного пространства, ни обособленных полноценных ядер, исполняющих код, так что и проблем с побочными эффектами от работы схем конвейера тоже быть ещё не могло. Однако состояние этого конвейера, вмещавшего всего несколько кодов (четыре 8-битных регистра), изменяло состояние процессора вне зависимости от исполняемой основным “протоядром” команды, поскольку конвейер содержал пару указателей, несколько флагов и т.д. Впрочем, технические детали устройства исторического микропроцессора тут не важны – важно, что, во-первых, этот простой конвейер работал только на уровне последовательности кодов команд (не со свойствами самих команд); во-вторых, не было потоков и общих элементов, совместно используемых этими потоками.

Отличие “уязвимых” схем современных процессоров в том, что здесь добавляется новый уровень – те самые “предикторы”, оснащённые логикой, которая учитывает уже не порядок кодов команд, а свойства этих команд и состояние процессора, а кроме того, добавляются общие для нескольких потоков элементы (схемы кэширования и пр.) на работу которых прямо влияют предикторы. И, конечно, возникает аппаратное разграничение доступа, которое и предлагается преодолевать при помощи атак, использующих аппаратные уязвимости.

Базовая логика таких атак – использование “оракулов”, сигналы которых пробивают границы, устанавливаемые (формально) аппаратной архитектурой процессора для фрагментов программного кода. Тут нужно учитывать, что границы эти только декларируются, а в реальности – сигналы через них проходят (иначе тут не было бы предмета), потому что процессору необходимо оптимизировать исполнение кода и доступ к памяти. Эти сигналы обязательно будут возникать именно потому, что в процессоре появился уровень, исполняющий “программу над программой”: упреждающий анализ команд работает по собственной программе (пусть и записанной непосредственно в аппаратуре); эта программа не только использует все потоки и фрагменты кода в качестве входных данных, но и влияет на состояние общих для изолируемых фрагментов кода элементов (кэш и очереди команд). То есть, схема аппаратной оптимизации тут всегда будет сквозной, можно сказать, что неустранимой. Вопрос в том, нужно ли считать такую архитектурную черту уязвимостью. Получается, что общая программа смотрит на команды в разных потоках и переключает состояние общих элементов, чтобы оптимизировать процесс. Изолируемые процессы находят способ измерения времени переключения состояний и – строится очередная уязвимость.

Если попробовать бороться с возникающими по описанным только что принципам сигналами, но попытаться сохранять общие элементы процессора, то каждый новый слой просто будет приводить к появлению более хитрых способов измерения: многими “атакующими” потоками, по накопленной статистике, ещё как-то. Если в архитектуру процессора, предположим, введут некоторое зашумление переключений кеша и предикторов, то носителем сигнала окажется схема, реализующая зашумление. Всякое подобное усложнение, добавление новых уровней, приводит к тому, что появляются и носители новых сигналов (это и есть “диагонализация”). При этом защита от “уязвимостей” программными методами, снижающими общее быстродействие, выглядит несколько странно, потому что предлагается прилагать дополнительные усилия для создания затруднений в работе оптимизирующих схем, которые и в процессоре уже встроены (то есть, потрачена площадь подложки и элементарные логические узлы), и само ПО при этом всё равно работает на общей аппаратуре.

Радикальное решение предполагает либо полную и точную аппаратную изоляцию уровней и ядер, когда все компоненты продублированы и работают независимо, либо полную замену системы команд (не стоит списывать со счетов, что в x86 уже и некоторые отдельные команды обладают тьюринг-полной реализацией). Однако это противоречит самой идее аппаратурной оптимизации на границе между логическим представлением команд процессора и машинным микрокодом. Да и приведёт внедрение таких методов только к тому, что очередной “пробой изоляции” между потоками выявят на стороне шин и контроллеров, взаимодействующих с ОЗУ и периферийными устройствами.