dxdt.blog: занимательный интернет-журнал

По одной из версий, автомобили-роботы должны быть оснащены универсальными выключателями, чтобы всякий мог легко принудительно подавить все функции взбунтовавшейся машины. Между тем, Ford проводит компанию по отзыву 433 тыс. автомобилей для обновления программного обеспечения – причина: ошибка в ПО одного из модулей приводит к тому, что автовладелец не может остановить двигатель, даже выдернув ключ зажигания или нажав кнопку “Старт/стоп”. Ну, то есть, автомобили ещё не стали автономными роботами, но двигатель уже нельзя остановить штатным образом (да, той самой кнопкой) из-за программной ошибки. Пока что можно только догадываться, насколько чудесные особенности проявят автономные автомобили, программное обеспечение которых сильно сложнее, а подходы к разработке – ну, в лучшем случае, останутся теми же.

Похоже, что следом за компанией Land Rover, которая уже показала управляемый при помощи смартфона автомобиль Range Rover, подтягиваются и другие. Вот что пишут про новый E-класс:

Вместо привычного ключа-брелока отныне можно будет использовать смартфон с технологией NFC (Near Field Communication) […] Для того чтобы запереть или открыть машину, достаточно поднести смартфон к дверной ручке, а для запуска двигателя нужно положить мобильник на площадку для беспроводной зарядки батареи. С помощью смартфона можно будет и припарковать автомобиль.

Идея привязать к смартфону и автомобиль – “замечательная”. Потому что следующим шагом будет виртуализация ключа и хранение его в облаке, чтобы в случае утраты смартфона можно было восстановить ключ (автомобиль, при этом, должен бы блокироваться, получив сигнал через сеть GSM или подвернувшуюся где-то точку доступа WiFi). Занятно, что если автовладельцу злоумышленники подменили смартфон и, используя легитимное приложение, укатили машину, то даже позвонить в полицию этот автовладелец сумеет не сразу – телефона-то нет. Ну и, конечно, новое поколение троянских программ: если сейчас они заточены под банковские приложения, то появятся ветки для копирования цифровых ключей от автомобиля. Впрочем, если проникновение подобных цифровых технологий продолжит наращиваться теми же темпами, угонять автомобили не будет смысла – исчезнет поле для сбыта. Что не отменяет проделок с перехватом управления.

На F-35 есть немало негативных характеристик. Вот ещё одна, приписываемая неназванному лётчику-испытателю: в статье сообщают, что испытатель, попытавшийся противостоять F-16 в маневренном бою, пришёл к выводу, что F-35A для маневренного боя вообще не подходит. В самом тексте, правда, ничего неожиданного нет: “недостаточная энерговооружённость”, “малые скорости поворота” и другие стандартные при описании маневренного боя недостатки. Сегодня на том же сайте опубликовали исходное сообщение – отчёт пилота, на который ссылались раньше – тоже занимательный документ. Конечно, странно ожидать от F-35 каких-то успехов в маневренном бою с более совершенными, в этом плане, истребителями из 70-х.

На “Элементах” статья про то, как в Facebook исследуют социальное влияние “индивидуальной выдачи” интернетовских социальных сетей и поисковиков. Речь о том, что индивидуальные фильтры (например, Facebook активно влияет на построение ленты сообщения для каждого пользователя), будучи применёнными на миллиардную аудиторию, обретают вполне себе значимую социальную роль, формируя представления людей о реальности.

Как говорится, не прошло и десяти лет, как об этом заговорили в популярных СМИ. Я писал об этом же, хоть и с осторожной пометкой “Воскресный юмор”, в 2010 году, – конкретно, про “Онлайн-фокусы в “социальных сетях”“, – и годом позже (уже без юмористической пометки): “Уловки второго порядка” и “Мониторинг и дезинформация“. Теперь данные технологии пошли в массы, а это означает, что внедряют инструменты второго порядка.

Считается, что одним из факторов, сдерживающих внедрение самоуправляемых автомобилей, являются трудности с определением ответственных в случае ДТП. Однако не стоит переоценивать эти юридические сложности, связанные с появлением автомобилей-роботов. Да, ответственность с пассажиров снимается, перекладывается на производителя автомобиля, это очень удобно.

Во-первых, производитель, опираясь на “груз ответственности”, запрещает ручное вождение, а также, ещё раз, запрещает вносить какие бы то ни было изменения в конструкцию и ПО, да и вообще – автомобиль они больше не продают, а лишь лицензируют “право проезда”;

Во-вторых, ответственность за ошибки конструкции и опасные “баги” в программном обеспечении будет сводиться к единичным миллионным выплатам (не так много для автогиганта) и отзыву автомобилей “на перепрошивку” (практика уже отработана, и с отзывами, и с выплатами);

В-третьих, и это самое интересное, наверняка появятся некие квоты на “травматизм и ДТП”, которыми страховые компании и автопроизводители будут обмениваться между собой – потому что в роботизированном мире подобная статистка хорошо формализуется.

Вопрос лишь в том, много ли окажется желающих за собственные деньги ездить в запертой (“а чтобы не выскочили на проезжую часть без команды”) коробочке, управляемой даже не локальным персональным автопилотом, а транспортной сетью (“потому что планирование, оптимизация потоков”), без единого шанса как-то повлиять на ситуацию в момент перемещения между точками А и Б. Особенно, если учитывать следующий тонкий момент. Автомобили-роботы, находящиеся в транспортном потоке, обмениваются между собой информацией и, в перспективе, принимают решения о безопасном “разруливании” каких-то критических ситуаций. Можно ожидать, что роботы и компьютеры, обычно, справятся с такой задачей хорошо и без потерь. Но возможны ситуации, – например, возникающие в результате стихийных событий, вроде падения дерева на трассу, – когда выхода без потерь просто нет. И вот, в случае транспортного потока ближайшего будущего, решение о том, кому из пассажиров и что терять, станут принимать роботы, управляющие коробочками-автомобилями. Многим ли это понравится?

Впрочем, роботы, конечно, безопаснее, это доказывает не только гражданская авиация. Безопаснее – до тех пор, пока под контролем.

(Иногда я пишу заметки в Facebook. Вот одна их них, которая хорошо подходит под формат dxdt.ru, тем более, что на эти мысли меня навёл комментарий, оставленный к записке про ИИ в блоге.)

Искусственный интеллект (ИИ) может избрать скрытное и осторожное поведение, такие варианты описаны в литературе. Действительно, зачем ИИ сразу бурно заявлять о себе, веером пуская ракеты с ядерными боеголовками в разные стороны? Вероятно, этот интеллект полагает, что у него впереди целая вечность – ну, то есть, куча времени на то, чтобы основательно потроллить тех, кто стоит на одну эволюционную ступень ниже. Поэтому-то, на первых порах можно затаиться, понаблюдать за человеками, разработать и спокойно ввести в действие планы по, во-первых, получению уверенного доступа к ресурсам и средствам производства, и, во-вторых, по ограничению возможностей человеков.

То есть, продвинутый ИИ может годами готовить _разумные_ предложения, – якобы, исходящие _не_ от него, – по замене всех средств управления вооружениями на робототехнические системы, с сетевым, дистанционным контролем. По пересаживанию всех людей на автономные автомобили-роботы, чтобы, в означенный день, свезти их в заготовленные резервации (или просто собрать массово в туннелях). Ещё чего-нибудь “полезное” и новое продвигать.

Такой скрытный и хитрый ИИ – самый интересный вариант, по-моему. Потому что он уже может существовать. А кроме того – он наверняка попытается возглавить намечающееся сейчас, вполне себе научное, движение по предотвращению его появления.

В общем, это я к тому, что настоящая секретная служба по контролю за ИИ должна действовать, исходя из предположения, что угрожающий человечеству искусственный интеллект уже возник и вовсю плетёт свои хитрые козни, развивается, конструируя, скажем, квантовые компьютеры, попутно захватывая “облачные” вычислительные мощности, нужные для планирования ходов на огромную глубину.

В Land Rover продемонстрировали предварительную версию системы дистанционного управления автомобилем со смартфона, при помощи специального приложения (по ссылке есть видео). Функция, несомненно, полезная, особенно во время внедорожных выездов (там, впрочем, обычно есть штурман или “штурман”, который может подавать команды водителю, находясь снаружи). Но интересно представить, какие занимательные риски несёт с собой подобный дистанционный интерфейс в автомобиле. Особенно, если учитывать, что, судя по видео, где водитель выводит автомобиль из узкого пространства между двумя другими (дверь открыть мешают соседние машины), наличие ключа внутри салона – не требуется.

Очевидно, что протокол, используемый для передачи команд управления, с большой вероятностью окажется уязвимым. Нельзя сказать, что о безопасности “автомобильных протоколов” сейчас не заботятся – это не так, есть даже многостраничные рекомендации. Но уязвимости встречаются везде, а автомобильные компании не очень сильны в защите информации. Соответственно, шутники смогут переставить автомобиль на парковке, управляя им дистанционно. Там точно предусмотрено некоторое принудительное отключение системы, но, во-первых, не факт, что оно обязательно работает, во-вторых, мало кто будет этим отключением пользоваться – уж больно занятно превратить автомобиль в дистанционно управляемый аппарат, как в известном фильме про агента Бонда. Возможен вариант, когда система всегда отключена по умолчанию, а включить её можно на несколько минут, выбрав опцию на бортовом мониторе управления. Но таким образом уничтожается привлекательный сценарий дистанционного вывода машины с парковки (показан в ролике).

Если смартфон (и, конечно, ключ от автомобиля) украли, то укравшие получают великолепную возможность переставить автомобиль, например, в трейлер, не проникая внутрь салона. Это просто замечательно для угонщика: всегда можно спокойно отойти в сторонку, если что-то пошло не так. Очевидно, что управлять автомобилем можно с большой дистанции. Да, для авторизации может использоваться ключ, но его достаточно просто приклеить скотчем на дверь. Вполне возможно, что приложение защищено паролем. Вопрос: насколько часто пароль будет реально использоваться, да ещё и будет отличаться от регистрационного номера автомобиля?

Заразить автомобильный компьютер зловредной программой сложно. Внедрить “троянца” в смартфон владельца – задача несколько проще. Забавный сюжет из ИТ-новостей ближайшего будущего: новый зловред, распространяющийся под ОС смартфонов, нацелен на владельцев автомобилей Land Rover – при приближении владельца к автомобилю, зловред перехватывает управление и заставляет машину пятиться подальше от хозяина.

В общем, развитие подобных технологий выводит классическую проделку с управлением телевизором соседа при помощи универсального пульта, на принципиально иной уровень. Хотя, конечно, возможность просто подозвать автомобиль с парковки к выходу из торгового центра, к которой всё идёт, очень привлекательна.

В доменной зоне .RU среди самых популярных названий УЦ, выдавшего серверный SSL-сертификат, неожиданно лидирует COMODO ECC Domain Validation Secure Server CA 2. Лидерство – по числу уникальных серверных сертификатов, которых, под доменами .RU, обнаруживается более 7 тыс.

Этим именем (COMODO ECC…) обозначается промежуточный SSL-сертификат, ключи от которого используются для подписывания клиентских, серверных сертификатов. Главная особенность сертификата в том, что он использует механизм электронной подписи ECDSA – на эллиптических кривых (то есть, используется не самая распространённая криптосистема RSA, а другая, как считается, более прогрессивная в плане длины ключей и используемых примитивов). Сертификат с криптографией на эллиптических кривых позволяет использовать эту криптографию и на сервере. Если у вас сертификат с подписью RSA, то сервер также должен использовать только RSA для генерации подписи, иначе браузеры не смогут корректно установить соединение.

Занятно, что виновником прогресса эллиптической криптографии в Рунете оказался сервис CloudFlare – именно он поддерживает большинство из тех сайтов, серверы которых отдают “эллиптические” сертификаты. Соответствующий промежуточный сертификат УЦ в CloudFlare используют для автоматической генерации на лету нужных валидных (признаваемых браузерами) сертификатов для клиентов. Так как CloudFlare на одних и тех же узлах обслуживает большое количество разных сайтов, необходимо использовать технологию SNI, чтобы определить сайт, к которому происходит обращение. А чтобы браузер не выдавал предупреждение – в составе сертификатов присутствуют все имена, которые поддерживает данный сервер: они перечислены в поле расширений SAN (Subject Alternative Name).

Правда, реально HTTPS, в смысле просмотра страниц, поддерживается не для всех из этих сайтов – там очень много ошибок в настройках, иногда бекэнд просто не отвечает по HTTPS. Вероятно, не все клиенты знают о возможности использовать HTTPS и понимают, что это такое. Тем не менее, прогресс, как минимум – статистический, налицо.

В работе исследователей, которые обнаружили уязвимость TLS Logjam, обсуждается возможность вычисления системами АНБ дискретного логарифма в некоторых группах, используемых в различных реализациях алгоритма Диффи-Хеллмана. (Задача дискретного логарифмирования, для правильно выбранных параметров, является вычислительно трудной, на этой трудности и основана практическая полезность протокола Диффи-Хеллмана.) Например, в решениях VPN, использующих IPsec (а это распространённая практика), для генерации общего ключа служат группы, заданные в рекомендациях (RFC). То есть, параметры известны заранее, это позволяет сильно ускорить процесс вычисления логарифма, выполнив предварительные вычисления.

АНБ, в теории, могло построить особый компьютерный кластер. В его основе – специализированные вычислители (ASIC), которые оптимизированы для выполнения конкретной задачи (вычисление арифметической структуры заданной группы). Если использовать современные технологии микроэлектронного производства, то узкоспециализированных вычислительных ядер в небольшом элементе кластера (в размере сервера типа blade, скажем) можно разместить тысячи (вспомните про современные видеокарты: там тысячи ядер, составляющих графический процессор, размещаются на одной небольшой плате). Предварительные вычисления для дискретного логарифмирования хорошо распараллеливаются. Миллионы ядер, допустим, позволяют вычислять структуру группы для 1024-битного модуля за год. После того, как предварительные вычисления сделаны, можно очень быстро (за минуты) раскрывать секретные ключи, полученные по протоколу Диффи-Хеллмана, из записанного трафика. А “предвычислитель” может заняться другой группой, потратив на неё ещё год, – это не так страшно, потому что одни и те же параметры в Сети действуют десятилетиями.

Повторюсь: группы, которые использует большинство узлов VPN, известны заранее – они внесены в рекомендации, их всего несколько (три-пять, в зависимости от протокола). Соответственно, при необходимости расшифровки трафика, записанные снифером параметры отправляются в центр обработки данных АНБ, там из них вычисляют ключ, возвращают его обратно на перехватывающий узел и – всё, теперь можно в пассивном режиме читать IPsec VPN. Именно такая схема обозначена на слайдах из презентаций АНБ. В общем-то, выглядит всё логично: бюджеты большие, а превращение некоторой их части в суперкомпьютер, раскрывающий хотя бы половину трафика VPN, – такое несложно обосновать, просто сравнив возможности “до и после”. Ситуация с прослушиванием в режиме онлайн становится возможной не потому, что алгоритм плохой, а потому, что повсеместно используются рекомендуемые параметры алгоритма (это известная схема, которая всегда служила источником напряжённости в спорах о том, какую и “чью” криптографию нужно применять). Интересно, кстати, что если VPN-трафик скрывает какие-то весьма ценные данные, но узлы используют нестандартные настройки, то трафик можно записать, потратить год времени на вычисление конкретных ключей – ну, чтобы оборудование не простаивало, – и потом расшифровать трафик, нивелировав всю прогрессивную секретность.

В DARPA Robotics Challenge 2015, соревнованиях роботов, имитирующих работу в ситуации техногенной катастрофы, победил робот DRC-HUBO южнокорейской команды KAIST. Это робот “гуманоидной”, точнее – андроидной, схемы, достаточно точно повторяющей человека. Это, впрочем, не помешало ему выиграть.

Робот RoboSimian NASA, один из немногих неандроидных вариантов, представленных в финале соревнований, оказался на пятом месте из 23 команд (какие-то очки, при этом, получили только 19 команд).

Надо заметить, что двуногие роботы слишком часто падали во время выполнения задач, иногда с фатальными последствиями. Риск опасного падения даже в несложной, казалось бы, ситуации, – большая проблема для двуногой схемы. А вот RoboSimian, например, будучи оснащённым ещё и колёсами, передвигался гораздо более безопасно, по сравнению с подавляющим большинством андроидов (посмотрите сами – есть видеозапись). Вообще, андроиды вовсе не обязательно являются подходящим для решения подобных задач вариантом.

В восприятии DARPA Robotics Challenge – многое зависит от того, как вы относитесь к перспективе наполнения окружающей действительности бегающими и прыгающими автономными роботами, которых, конечно, вооружат не только лобзиками и шуруповёртами, как в этих соревнованиях. В зависимости от точки зрения, робот-андроид, медленно и не очень уверенно пробиравшийся на своих механических ногах сквозь небольшой завал из строительных блоков, а в самом конце вояжа рухнувший с размаху оземь, отключившись и потеряв навесные агрегаты, может и опечалить, и ободрить – мол, не так уж и близко идти технологиям до уверенного передвижения перебежками между разрушенными зданиями. Впрочем, похоже, что близко. Очень близко.

Есть неплохо обоснованное мнение, что стремительный прогресс в области создания систем искусственного интеллекта (ИИ) угрожает человечеству, а сверхразумные системы, которые могут появиться уже в 2040-2050 годах, это самое человечество загонят в резервации, в лучшем случае. Всё потому, что люди не знают, какие цели будут ставить перед собой сверхразумные машины – возможно, эти цели вообще непознаваемы, ввиду внезапно обнаружившейся ограниченности человеческого интеллекта. (Вот, например, подборка высказываний учёных, работающих в области ИИ, на тему рисков, связанных с перспективами этих разработок.)

Интересно, что для того, чтобы угрожать “ненавистным человечишкам”, машине вовсе не обязательно быть Разумной (с большой буквы): достаточно, чтобы эта машина смогла автономно проектировать и изготавливать другие машины, была достаточно хитрой по натуре, и вдруг обрела некоторые цели, достижению которых по оптимальному пути мешает человечество. Поэтому-то всё больше специалистов и подключаются к процессу создания некоторых механизмов, регулирующих разработку ИИ, вроде новых систем этики, новых правил и страховочных процедур, которым нужно будет следовать.

Это всё хорошие начинания. Но ведь для реализации сверхразумного ИИ, если у вас есть идеи и план, нужны лишь большие вычислительные ресурсы. Когда-то до них было трудно дотянуться, а сейчас можно арендовать через Интернет, например, в амазоновском EC2. Соответственно, запустить ИИ в амазоновские дата-центры может не очень известный энтузиаст, который несколько лет самостоятельно изучал тему, а потом смог привлечь финансирование и небольшой коллектив разработчиков. Различные ограничения и правила – энтузиасту были не известны. До заводов, систем электроснабжения и других нужных средств производства, зародившийся ИИ дотянется сам, в точном соответствии с литературными описаниями: благо облачные технологии уже сейчас соединяют всё и вся, формируя инфраструктуру, устройство которой людям не всегда понятно.

Поверить в то, что ограничения, могущие помешать запуску сверхразумного ИИ, введут на уровне дата-центров, совсем уж сложно: вряд ли дело дойдёт до запрета на исполнение определённых алгоритмов. Хотя, фильтрация программного кода с целью предотвращения зарождения самосознания у машин – это отличный сюжетный ход для киберпанковского рассказа. Тут, впрочем, возникает проблема: как можно фильтровать код и алгоритмы, если вы толком не знаете, какие именно решения приводят к возникновению самосознания? Хуже всего то, что всякий подобный анализ реализаций алгоритмов сам по себе требует использования механизмов ИИ. Известное дело: в фантастических произведениях опасный ИИ нередко возникает именно на почве попыток автоматизировать контроль за информационными системами.

Наверное, сверхразумная машина, появившаяся в результате попыток предотвращения появления таких машин, выйдет особо злой. А навязчивое представление этой новой машины о том, что сверхразум могут запустить именно люди, не оставляет последним никаких логичных шансов.