dxdt.blog: занимательный интернет-журнал

В свете падения известных хостингов, которое сейчас обсуждают, поделюсь описанием того, как работает и где размещается dxdt.ru. Сайт я разместил на амазоновском EC2, на виртуальном сервере (сервер типа Small Instance). Операционная система Amazon Linux (это, по сути, Red Hat). Веб-сервер – Apache 2.2. Непродолжительное время использовал nginx в качестве обратного прокси к Apache, но, пока что , особого смысла в nginx, конкретно для dxdt.ru, не вижу: монструозный Apache справляется с небольшим трафиком.

БД – MySQL, на том же сервере; иногда с аппетитом кушает память. PHP + APC (это “ускоритель” PHP, как известно) + WordPress + кэшируюший плагин W3 Total Cache (очень полезный плагин оказался).

Есть поддержка HTTPS, но я использую собственный корневой сертификат (и это правильно, для данной модели), так что попытка обратиться по HTTPS стандартным браузером приведёт к ошибке/предупреждению. Понятно, что HTTPS предназначен для админки WordPress-а (WP). Тут надо заметить, что разработчики WP никак не допилят поддержку HTTPS, поэтому в некоторых случаях страницы (не принадлежащие к админке) генерируются с элементами, адресуемыми по HTTP (обычно, это картинки). Возможно, есть какой-то плагин, решающий эту проблему.

В целом, WP – неплохая CMS. Есть планы (о которых мне периодически напоминают) переписать dxdt.ru руками на специальный “движок”, отказавшись, наконец, от PHP. Интерес тут чисто спортивный. В качестве снарядов для данного спорта я сейчас рассматриваю связку Python + Django + MongoDB + какой-то не-Apache (nginx?). Но это планы, да.

Опыт использования амазоновского хостинга для dxdt.ru положительный. Доступность хорошая. Ресурсов хватает. Гибкости тоже. Нет трудностей с IP-шниками (кстати, важный фактор!). Например, удалось оперативно и без всяких проблем настроить обратную зону для IP-адреса dxdt.ru (это нужно для отправки почты с сервера) и всё такое прочее. Преимущество амазоновского сервиса в том, что тут предоставляется инфраструктура, то есть можно самостоятельно быстро поднять нужные серверы, что-то настроить, переключить адреса, ну и так далее. Это уровнем выше аренды обычного виртуального сервера, и удобнее, чем один физический выделенный сервер. Вообще, я амазоновским EC2 пользуюсь несколько лет, но для совсем других задач – сайты раньше там не хостил, а оказалось, что и для этого весьма хороший вариант. Кстати, домен dxdt.ru я поддерживаю тоже на паре NS-ов, находящихся в EC2 (это не амазоновский DNS, а виртуальные серверы с BIND-ом – всё жду, когда же КЦ и ТЦИ доделают DNSSEC в .ru, чтобы быстро внедрить поддержку, да, видно, нескоро это будет).

Вот.

Update (18/04/2014): эта записка некоторое время не обновлялась, а между тем, ещё в декабре 2012 года, в домене RU внедрили поддержку DNSSEC; конечно, домен dxdt.ru был подписан одним из первых.

Update (24/11/2014): c 21 ноября 2014 года dxdt.ru возвращает страницы только по HTTPS – этот безопасный протокол стал единственным для работы с сайтом.

Занимательная идея: на всяких выставках/конференциях дарят “флешки” с логотипами компаний; сейчас технологии миниатюризации развились так далеко, что можно же в такую флешку запихнуть беспроводной интерфейс и RFID, чтобы потом отслеживать, как флешка перемещается по другим конференциям (ну или не перемещается).

Ещё немного веб-технологий. Как известно, dxdt.ru работает на WordPress (WP). Ещё лучше известно, что связка Apache+PHP+MySQL+WordPress – это монструозный источник нагрузки для сервера. Надо сказать, что так как большого трафика на dxdt.ru нет, то я никогда не тратил время на “повышение нагрузочной способности” этого конкретного веб-сайта. Но тут таки на досуге попробовал установить нахваливаемый многими плагин для WP – W3 Total Cache (W3TC). Оказалось, что, да, нахваливают обоснованно.

В случае с dxdt.ru, означенный плагин исправил ситуацию самым кардинальным образом. До установки плагина, тестирование (в терминологии blitz.io) двумя сотнями одновременных пользовательских коннектов приводило к тому, что сервер капитально ложился через несколько секунд (причину я не расследовал, но, похоже, что множество набежавших Apache+MySQL съедало всю доступную память). После установки и настройки этого самого W3TC – работоспособность, при тех же условиях, сохраняется, хотя часть “пользователей” (~8%) теряется. Неплохо, на мой вкус. Думаю, что соответствующий трафик – примерно 5 млн хитов в сутки – dxdt.ru не грозит. Да и “длительное” время ответа (~500 ms) не должно беспокоить.

Пояснение (03.04.12):

Насчёт времени ответа: всё просто, речь же шла о тесте из штатовского дата-центра, а dxdt.ru размещается в Ирландии, поэтому время ответа такое “большое”, пакетам требуется дважды пересечь океан. Сам сервер генерирует страницы примерно за 30-60 ms.

Дополнение:

Да, о настройках W3TC. Я использовал кэширование на диск и включил дополнительные правила mod_rewrite, как рекомендуют в описании плагина. То есть, это самая простая конфигурация. Но эффект заметен, так что – рекомендую.

Дополнение-2 (01.04.12):

Посмотрел на причину падений без плагина. Всё так и есть: без плагина W3TC, благодаря особенностям работы mod_php, Apache поднимает отдельный “тред” MySQL для каждого http-коннекта (то есть, для ста пользователей – сто “тредов”); с плагином – “тред” был замечен ровно один, вне зависимости от числа коннектов. Поэтому и не падает.

Итак, сайт переехал. Можно использовать комментарии. Если обнаружите какие-то неработающие штуки – сообщайте, пожалуйста, будем исправлять.

(Кстати, логи опять подтверждают, что далеко не везде доверяют TTL из DNS: скажем, YandexBot продолжает приходить и на старый адрес, и на новый.)

В ближайшие несколько часов я возьму в руки пару консолей и попробую перенести dxdt.ru на другой сервер. Поэтому, до сообщения о том, что переезд закончен, лучше не писать сюда комментариев: могут остаться в базе на старом сервере, так как в момент переезда некоторое время будут работать параллельно оба сайта, и на какой вы попадёте – это только DNS знает.

Технический вопрос: а кто в Штатах – видно ли dxdt.ru оттуда? Если видно, то что-нибудь в комментарии напишите, пожалуйста.

Update: ура! проблемы были, но в целом – всё хорошо. Спасибо за помощь!
Update (01/03/2012): не, опять есть трудности. Решим.
Update (03/03/2012): между прочим, “хакеры атаковали DNS-серверы RU-CENTER“.

В комментариях к записке о долгожданных летающих автомобилях приходят к выводу, что таковые не появятся никогда (обидно!) – причина: слишком много проблем несёт с собой практическая массовая эксплуатация подобных транспортных средств.

Кстати, резкое возрастание сложности с переходом от плоского автомобильного движения к “объёмному”, напоминает известную с древности задачу удвоения куба. Квадрат удвоить легко: достаточно построить второй квадрат на диагонали данного. При этом удвоение куба (при помощи циркуля и линейки) – неразрешимая задача. Такая вот шуточная (отчасти) историческая параллель.

На 1 января 2012 года в рамках dxdt.ru опубликовано 1643 записки и 7060 комментариев (в среднем, примерно 4.3 комментария на записку). В январе 2012 года сайту, в нынешнем его варианте, исполняется шесть лет. Но вообще-то проект в сходном формате выходит аж с 2004 года, около восьми лет. Вот.

Заканчивается год. Как обычно, не стану писать ничего специального по этому случаю. Ниже – несколько ссылок на избранные записки о всяких занимательностях. Надеюсь, что продолжим следить за календарём и дальше. Явно будет интересно: уж слишком решительно расставлены весомые фигуры. С Новым Годом!

• ПРО по слоям и вывод о необратимости применения эффективной системы ПРО;
• Компьютерные сенсоры и вирусы-запахи;
• “Недостатки” боевых роботов, собранные вместе: часть первая, часть вторая;
• Маскировка спутного следа;
• Занимательный юмор: трата мировых вычислительных ресурсов.

Вчера посетил проходившую в Москве встречу ENOG (это конференция, формально, ориентированная на вопросы технического обеспечения работы Интернета, хотя в программе встречаются и совсем не технические темы).

Пара моментов. Первый: судя по пленарному заседанию, сообщество уже довольно сильно раздражено деятельностью оператора стоп-листов SpamHaus, который на свой собственный вкус банит большие сегменты Интернета. Второй: непосредственно во время встречи случился самый “тематический” сбой, какой только можно представить – глобальный сбой на MSK-IX (это важнейшая московская точка обмена трафиком); см. график внизу, почти часовой провал отчётливо виден.

Вот какие неприятные совпадения случаются.

Добавил очередную порцию ссылок на страницу “Избранные записки”. Рубрикатор – в планах.