2012blackglasses

Веб-хостинг для личных сайтов. RAID 5 для домашнего компьютера.

Сегодня хочу обсудить со своими читателями два вопроса: веб-хостинг и апгрейд дисковой подсистемы в домашнем компьютере.
Оба вопроса косвенно связаны с контентом моего журнала и с моими веб-сайтами, благодаря которым многие со мной познакомились. :-)

За последние почти уже 10 лет все свои немногочисленные веб-сайты я держал на своём личном сервере, благо на работе была возможность его размещения.
Недавно мне почему-то подумалось, что перспективы этого дела стали не ясны (мало ли, старое железо сдохнет, а апгрейдить не хочется; или вдруг мне придётся менять работу...), поэтому начал интересоваться веб-хостингом на стороне. Мнением авторитетного хостера я уже поинтересовался (у моего друга schors своя хостинговая компания), а сейчас хочу поинтересоваться мнением всех моих ЖЖ-шных друзей с компьютерно-интернетовским уклоном.

Есть ли у вас свой веб-сайт (сайты), или этим делом занимаются только откровенные маньяки типа меня? У меня, например, живут три крупных узкоспециализированных сайта (Прогулки по метро, Проект исследования покрытия сетей сотовой связи, сайт и форум нового дома, в котором я живу) и несколько более мелких (например, gpmail.spb.ru, который в последнее время выродился в хостинг фотографий для моего ЖЖ).
Размещаете ли вы свои сайты на своём собственном сервере? На работе? Дома? Или просите разместить свой сайт на сервере своего друга? (я когда-то тоже так помогал друзьям, пока была возможность.) Покупаете ли вы платный хостинг? Что вообще можете сказать или посоветовать по вопросу хостинга?
Поизучал тарифы на хостинг в России и США. Типовые тарифные планы в целом не понравились тем, что на дешёвых тарифах ограничение по месту на диске - порядка 2-3 Гб (а у меня уже сейчас по гигабайту на сайт, и со временем будет только расти), или где-то есть unlimited по месту на диске на сайты, но тогда с каким-то несуразным ограничением максимального размера SQL-БД в 200 Мб (а у меня два веб-форума уже почти подошли к указанному пределу). А совсем дорогой хостинг по бизнес-тарифам заказывать не хочется, ведь все мои сайты - некоммерческие, живущие исключительно на моём энтузиазме, и никакой прибыли не приносящие (даже баннеры adsense на Metrowalks приносят не больше 10 центов в день - это несерьёзно). Короче говоря, пока не присмотрел для себя ничего подходящего.


Второй вопрос - апгрейд дисковой подсистемы в домашнем компьютере. Многие меня регулярно "пинают" вопросами, где фотографии метро Стокгольма, Осло, Копенгагена и прочие. А они ещё даже не слиты из камеры на комп. Совсем нет места на диске.
Вариант добавить ещё один винт - не решение: при размере raw-фотографии в 30 Мб, новый винт забьётся за относительно небольшое время. Во-вторых, я параноидально отношусь к надёжности, поэтому у меня везде - зеркала (RAID 1), и количество дисков удваивается, поэтому места в корпусе обычно не хватает.
Поэтому при ближайшем апгрейде решил попробовать RAID 5, как компромисс между надёжностью зеркала и суммарно большим объёмом нескольких дисков.
Софтовые RAID-ы мне абсолютно не нравятся (присутствует момент при загрузке OS, когда диски видны как отдельно стоящие, и в случае программных сбоев может сломаться весь массив, если "поработать" с отдельно взятым диском; дополнительная нагрузка на процессор по рассчёту контрольных сумм, и т.п.). RAID-контроллеры на материнских платах на южном мосту (ICH10) считаются небезопасными (зеркало, например, запросто может развалиться при перезагрузке на два несвязанных диска, а потом внезапно собраться обратно с потерей части информации). Поэтому для себя я выбираю полноценный аппаратный RAID-контроллер (из простых, но полноценных моделей был положен глаз на LSI MegaRAID SAS/SATA 8704EM2).
Уже почти было решился купить и собрать RAID 5 из 4 дисков по 2 Тб, но вдруг меня со всех сторон начали отговаривать: вдруг через пару лет сдохнет КОНТРОЛЛЕР, а эту модель, например, уже снимут с производтва. И что тогда делать с несколькими дисками, которые были собраны в 5-й рейд? Кто-то говорит, что можно взять другой контроллер (структура и алгоритм, якобы, одни и те же), кто-то говорит, что так делать категорически нельзя. Не знаю, кому верить.
И второе, чего я не понимаю: не замедлит ли RAID 5 запись на массив вместо одиночного диска. Ведь одиночная операция записи в массиве превращается в 3 этапа: записать собственно блок данных, прочитать блоки с тех же мест других дисков с данными, записать контрольную сумму на резервный диск.
Короче говоря, хотелось бы послушать мнения, что бы вы выбрали на моём месте. Отговорите меня от RAID 5, или уговорите его собрать?

PS. Кстати, никто не забыл, что сегодня переходим с летнего времени на зимнее обычное?

(не моё, прислали ссылочку на радикале)
(UPDATE: автор картинки - soamo)

PPS. Кстати, википедия отжигает: http://ru.wikipedia.org/wiki/Летнее_время
[...]
> Франклин обратил внимание, что парижане ложатся спать с закатом и встают с рассветом. Учёный счел этот обычай достойным подражания и призывал последовать этому примеру.

Хочу воспользоваться этим примером, пока зима. 8-)

[...]
> В некоторых странах к переводу часов приурочивают какие-либо действия, проводящиеся дважды в год — например, испытание пожарной сигнализации.

Эх, пойти, что ли, поддержать традицию -- покурить в коридоре под датчиком пожарной сигнализации и задымления? 8-)
  • Музыка: Filteria - Mind Expansion (Short Version)
И второе, чего я не понимаю: не замедлит ли RAID 5 запись на массив вместо одиночного диска. Ведь одиночная операция записи в массиве превращается в 3 этапа: записать собственно блок данных, прочитать блоки с тех же мест других дисков с данными, записать контрольную сумму на резервный диск.
Обычно размер блока выбирают так что бы при типичных операциях в RAID5 отправлялся сразу пакет данных на все диски.
Уже почти было решился купить и собрать RAID 5 из 4 дисков по 2 Тб, но вдруг меня со всех сторон начали отговаривать: вдруг через пару лет сдохнет КОНТРОЛЛЕР, а эту модель, например, уже снимут с производтва. И что тогда делать с несколькими дисками, которые были собраны в 5-й рейд? Кто-то говорит, что можно взять другой контроллер (структура и алгоритм, якобы, одни и те же), кто-то говорит, что так делать категорически нельзя. Не знаю, кому верить.
Нельзя, да. Ну, то есть, как повезёт. Сейчас это дело пытаются стандартиризировать, но что выйдет — вопрос. По этому мой выбор — soft-RAID, полностью soft.
Я софтовый RAID делать совсем не хочу, не доверяю я таким решениям из-за увеличивающейся вероятности сбоя - не только по аппаратным причинам, но и по программным ошибкам. Я ж хочу его сделать на виндовой машине, а винде я совсем не доверяю в плане надёжности. На FreeBSD, как у тебя, можно было бы попробовать, но там у меня уже зеркало сделано, сейчас нет необходимости его менять.
Ну вот мой Soft-RAID5 на 5xHDD при забитой файловой системе пищет со скоростью примерно в полторы (!) скорости винта большие файлы. Когда он был свободнее доходило до двух с половиной.
Отлично. Спасибо.
Если на пустой RAID пишется в 2.5 раза быстрее, чем на пустой одиночный диск, а на забитый RAID - в 1.5 раза быстрее одиночного, наверное, тогда можно предположить, что на забитый RAID пишется в 2.5 раза быстрее забитого одиночного диска? Т.е. коэффициент почти постоянен? Получается, что основная причина падения скорости на забитом диске - затраты на перепозиционирование, а не дополнительные операции чтения.
Посмотрел этот hetzner. Не обнаружил принципиальных отличий от того, что видел в других местах. Те же 1/2/3 Гб дискового пространства на базовых тарифах. А 10 Гб за 40 евро - это уже перебор. А ограничения есть - вон, по трафику, например. А у многих отечественных хостеров - нет. Правда, я совсем не представляю, какой трафик у моих сайтов, никогда не пробовал посчитать. :-)
И ещё к немцам нет доверия из-за странного законодательства насчёт зарегистрированных торговых марок и общеупотребительных слов. Были нехорошие прецеденты у коллег по хобби, не хочу повторения и в Германию я не сунусь.
У американцев тарифы на хостинг отличаются в разы. На пресловутом godaddy.com не 1/2/3 Гб на базовых тарифах, а 10/150/Unlimited за те же деньги. Единственное, что смутило - ограничение на размер SQL БД.

Софтовый RAID делать совсем не хочу, не доверяю я таким решениям. Больше вероятность сбоя, не только по аппаратным причинам, но и по программным ошибкам. Я ж это хочу сделать на виндовой машине, а винде я совсем не доверяю в плане надёжности. На FreeBSD, как у Льва, можно было бы попробовать, но там у меня уже зеркало сделано, сейчас нет необходимости его менять.
У меня два RAID 1. Да, я параноик, но так безопасней. Контроллеры совместимы весьма условно даже от одного производителя. Плюс меня напугал приятель с RAID 5 из 4х терабайтных дисков. У него сдох диск, он поставил новый - ребилд - вырубили электричество. Да, UPS был, но ребилд занял больше суток, так что если бы электричество не дали в течении часа, было бы всё печально. У меня мощного упса нет, поэтому вот так.
Плюс меня напугал приятель с RAID 5 из 4х терабайтных дисков. У него сдох диск, он поставил новый - ребилд - вырубили электричество.
И что? Вынимаешь этот винт снова вставляешь обратно и запускаешь ребилд сначала. Вот если бы в процессе умер дугой винт — это да.

И, кстати, мой UPS корректно гасит сервер и (я специально проверял) после загрузки ребилд начинается с того места, где сервер погасили. И всё.
У меня десятки коммерческих и своих проектов. Размещаю на разных платных площадках. По многолетнему опыту - больше всего нравится majordomo (надежность, поддержка). Как появится необходимость возьму у них в аренду сервер. Все это стоит денег, но кто мешает нормально зарабатывать со своих сайтов?

Дам маленькую подсказку: sape.ru

По второй части - голову не ломаю. Просто много внешних винтов. Иногда дублирую важную информацию.
больше всего нравится majordomo (надежность, поддержка). Как появится необходимость возьму у них в аренду сервер.
Хоть насколько-нибудь приличный сервер у них начинается с 7.5 тысяч рублей. В Европе можно взять сервер примерно вчетверо мощнее за 50 евро, ага.

Все это стоит денег, но кто мешает нормально зарабатывать со своих сайтов?
То, что это человеку не интересно, ему интересно зарабатывать программированием?
Спасибо за советы!

RAID 1 выдерживает вылетание тоже одного диска :-). Только их в сумме больше, избыточность меньше.
У меня регулярно были проблемы с умирающими винтами, но два вместе никогда не умирали, поэтому думаю, что в этом плане достаточно и RAID 5.

> Чем gmirror хорош, так это тем, что данные видны на отдельных дисках даже без загрузки gmirror'a, просто UFS-ные разделы.

А меня вот это, наоборот, пугает. Какой-нибудь сбой при старте OS, gmirror не загрузился, зеркало развалилось на два отдельных диска, какое-нибудь приложение записало что-то на один из дисков, а при следующей перезагрузке зеркало внезапно собралось, но информация на них уже неконсистентна. Это реальные истории с зеркалами на контроллере на южном мосту, и в софтовых решениях они теоретически возможны.

> надоело возится каждый раз с созданием превьюх, аплодом, ссылками, стал пользоваться бесплатным фотохостингом ipicture.ru

А мне, наоборот, проще держать фотографии на своём сервере/хостинге, чем пользоваться бесплатными фотохостингами.
Создание превьюх - автоматически моим скриптом; аплоад - по FTP, нужно всего пару кнопок нажать; ссылки для поста генерируются моим же скриптом по файлу типа старинных descript.ion или files.bbs, и всё это будет потеряно при переходе на бесплатный хостинг картинок с заранее непредсказуемыми именами из циферок. А загрузка картинок через веб-браузер поштучно, когда их много, для меня очень неудобна.
Второе - лицензионные вопросы. На многих бесплатных хостингах (конкретно ipicture не смотрел) в лицензионном соглашении соглашаешься с тем, что весь контент, загруженный на сервер, автоматически считается перешедшим в собственность его хозяев. Меня это абсолютно не устраивает.
Вот почитал я, да и сам призадумался. Сейчас полторы мои сайто-заглушки (и да, два домена) живут на majordomo. Выбран был давно по причине работавшего тогда там знакомого. Сейчас и цены за объем не радуют, и скорость совсем не радует, и техподдержка сосет капитально - вплоть до незнания, какие пермишены нужны на папки, и упорное скидывание дефолтной инструкции по настройке ssh под винду в ответ на запрос настроек для линуха :)

Мне давно советовали пощупать dreamhost, на работе хостятся у них, вот сейчас глянул - полно слов "unlimited" и на объем, и на траффик ;) Не верю нифига :) регнулся, погоняю - отпишу. Единственный минус - 500гб для бэкапа. Не анлим.

Аще хорошо бы вынести хостинг домой, даже ради этого поглядел на новый Маc Mini серверный (которой с Snow Leo Server), но надежность домашнего канала оставляет желать.
Я бы тоже с радостью забрал бы хостинг домой, благо дома у меня работает абсолютно такой же сервер, как и на работе (и по железу, и по софту). Есть только проблема с подглючением к Интернет. Я сейчас подглючен по ADSL, обратный канал вмиг забьётся, если перенесу свои веб-сайты домой. А через предыдущего интернет-провайдера в среднем за год час в сутки сеть была недоступна. Мне такой сервис не нужен.

Удалось потестировать Dreamhost? Как впечатления?
Если у тебя тестовый аккаунт ещё жив, можешь проверить одну фичу? Мне нужно, чтобы по SSH можно было скомпилить свою программу на C/C++ (должен быть gcc), которая должна периодически запускаться (нужен cron) и генерировать некий статический контент для сайта - схемы/картинки/таблицы (нужна возможность писать из своей программы в директорию с контентом сайта), чтобы не генерить этот контент для каждого юзера через cgi-bin, а пересоздавать только пару раз в неделю, когда база меняется. Есть у них такая фича?

Поговорил на работе с сисадмином. Он дал ещё одну наводку - Midphase.com. За $7 в месяц обещают unlimited space, unlimited bandwith, unlimited websites, unlimited MySQL databases.
Сам не проверял. Надо будет посмотреть.
Насчёт RAID5 выше уже всё сказали, добавить нечего. (У меня дома RAID5 на Promise SuperTrak EX8350 с WinXP x64.)

Хочу отметить один момент: не забудь сделать так, чтобы один диск всегда был в запасе. Тогда, когда у тебя сдохнет винт в массиве, тебе не придётся бросить все дела и бежать в магазин за новым диском. Возможно, это очевидная мысль, но ко мне она пришла не сразу :-)
По поводу RAID5 - только если хороший внешний контроллер, или "внешне-встроенный" в материнскую плату. Raid1 на Silicon Image 3112 или 3132, как встроенных в материнскую плату, так и внешних, не разваливались ни разу. Такой же Raid1 на встроенных в чипсеты NForce4 периодически разваливался, на совершенно разных материнских платах. На ICH6R Raid1 развалился через месяц, я его и не пересобирал за ненадобностью. Пробовал на одной из матерей Raid5 (чипсет NForce4 SLI x16), через день отваливался какой-нибудь диск и выходил на ребилд. В конце концов массив развалился совсем - штатный ребилд работать отказался, но массив без проблем собрался программой Raid Reconstructor, которая позволила списать его образ.

Я честно говоря не понимаю причин такого поведения встроенных контроллеров на зеркалах и Raid5. Ведь страйпы (Raid0) на нескольких рабочих компах у меня эксплуатируются годами - и не разваливаются! А зеркала, там где их хотелось бы видеть в рабочих компах, пришлось поголовно перевести на внешние SI 3112.

У меня лично создалось впечатление, возможно ложное, что массивы типа Raid5 очень не любят быть в периодически отключаемых-включаемых компах, и рассыпаются именно при перезапусках. Но при этом в круглосуточно-серверном режиме могут работать годами. Больше экспериментов с Raid5 я пока не ставил, так как стоимость хорошего контроллера с аппаратным Raid5 такова, что лишний диск для Raid1/Raid10 обойдётся куда дешевле.

И кстати, ничего плохого не слышал про полностью софтовый Raid5 (на обычной винде!). В основном в том плане, что они в случае разваливания элементарно пересобираются например тем же Raid Reconstructor'ом. В общем, если хочется сэкономить - собирай софтовый Raid5, а если экономить не хочется - собери лучше зеркало, оно дешевле специализированного Raid5 контроллера.
Надеюсь продержаться дольше двух лет. Не люблю тусню с заменой компа.
Предыдущий комп (P-IV) у меня продержался почти 5 лет. По-хорошему, его надо было менять год назад, в этом году его возможностей стало катастрофически не хватать, но до прошлого года было терпимо (только один раз памяти добил и винты менял).
> Размещаете ли вы свои сайты на своём собственном сервере?
своя машина на колоке, около 15 живых сайтов и кучка полумертвых

> Софтовые RAID-ы мне абсолютно не нравятся
видел уже твое мнение, оно абсолютно неверно текущей ситуации.

действительно при постройке чего-то большего, чем просто зеркало нужно думать или о дорогой рейд системе или о софте.
дорогая система подразумевает, что у тебя будет два дорогих контроллера (минимум от 600 баксов за каждый) - один в работе и один в резерве. как правило дешевые - полгое г, лучше не смотри. так же аппаратные решения как правило очень негибкие и через небольшой срок, когда вопрос апгрейда системы встанет остро будут трудности по перелезанию на другие диски.
софтовые решения лишены этих минусов и при этом практически не имеют нареканий.

далее, именно на 5 рейде цифры не кончаются.
если у тебя будет всего 3-4 диска то тут конечно только 3-4-5, а вот если дисков купить штук 6, то уже разумнее 6-ой рейд, он переживает отказ 2 дисков.

> дополнительная нагрузка на процессор по рассчёту контрольных сумм, и т.п.).
начиная примерно с процессоров уровня пентиум2-3 этот расчет занимает настолько незначительный ресурс, что на него можно не обращать внимания.

> И второе, чего я не понимаю: не замедлит ли RAID 5 запись на массив вместо одиночного диска.
строго зависит от количества дисков. на 3-х диска скорость записи будет чуть больше скорости одиночного диска, на 4-6 дисках уже можно получить ускорение в 2 и более раз.


собственный вариант - в кладовке стоит машина набитая дисками. во всех остальных компах дома (а их тут, с раритетными более десяти штук будет) только небольшие системные диски.
на машине linux, диски собраны в рейд, поверх надет lvm. при этом диски я там меняю уже раз пятый (апгрейд) а данные как лежали на своих местах, так и лежат. причем сначала там была просто сборная солянка из пачки дисков разных размеров, а сейчас - одинаковые терабайтники. и в любой момент могу перенести этот lvm на любые другие диски, добавить диски в рейд, заменить одни винты другими с последующим расширением разделов и т.п. прелести, которых аппаратные решения (дешевле десятков килобаксов) не делают.
то есть этот вариант raid+lvm я считаю вообще самым удобным и доступным из всего имеющегося сейчас.
особенно для дома, когда данные нарастают постепенно.
мой вариант вначале выглядел как по моему 2 диска по 40 гиг и один на 80. путем пачки апгрейдов он перерос в 3 сата внта по терабайту - при этом с точки зрения софта ничего не изменилось, это все тот же lvm раздел, который я создал года 4 назад, он монтируется в то же место и там так же лежат файлы с тех еще времен.
все что было нужно - это добавлять винты и расширять на них lvm разделы.