Ресурсы: техническое описание TLS, LaTeX - в картинки (img), криптографическая библиотека Arduino, шифр "Кузнечик" на ассемблере AMD64/AVX и ARM64
Машинное обучение и действительные числа
Иногда приходится слышать, что “нейросети и машинное обучение работают с действительными (вещественными) числами”. Звучит занимательно, потому что практически никакое действительное число в отдельный компьютер или даже в дата-центр, набитый специализированными “тензорными процессорами”, по записи не уместится. Более того, если бы действительные числа были доступны на этом технологическом направлении, то почему бы тогда не взять десятичную запись π и, вместо “обучения”, не найти там уже готовый набор коэффициентов под нужную задачу?
А процессоры для “машинного обучения”, в лучшем случае, работают с небольшим подмножеством целых чисел, даже когда используется надстройка в виде арифметики с плавающей точкой – что-нибудь из разряда bfloat16, FF32 и т.п. Эта арифметика максимально далека от действительных чисел, в которых, кстати, арифметику вообще очень сложно, если вообще возможно, построить даже теоретически. Свойства привычных “вычислений с погрешностью” уже для целых значений приводят ко всяким дополнительным хитростям, это кроме известных эффектов расщепления одного и того же числа на несколько представлений.
Можно было бы предположить, что использование в вычислениях некоторых математических констант выражается в том, что соответствующие этим константам бесконечные процессы как раз и позволяют системам машинного обучения достигать всё большей и большей точности, но и это не так: в современных многослойных “нейросетях” разрядность имеет совсем другое значение, а лучшая “сходимость” (что бы это ни значило) может достигаться при убывающей точности записи коэффициентов.
Адрес записки: https://dxdt.blog/2023/08/25/10795/
Похожие записки:
- Переворот английских глаголов и пьесы Шекспира
- Gofetch как уязвимость
- Закрытые говорилки с ИИ
- Галлюцинации ИИ в словах года
- Публикация ТЦИ о постквантовых криптосистемах
- Постквантовая "гибридизация" криптосистем и перспективы стойкости
- Ссылки: аналоговый комплекс звёздной навигации от B-52
- Реплика: что именно читает читающий сейчас
- YaGPT2 про коридоры Штирлица
- Медь в чернилах и точки на полях манускриптов
- Забавная старая интерактивная игра
Новый
Написать комментарий