[решено] Замена всех дисков в RAID5 массиве на более емкие

[VictorSh]

Здравствуйте,

хочу заменить все винты в RAID массиве на более емкие, но никогда не делал этого раньше. Не могли бы вы посоветовать как это сделать?
Перечитал кучу информации, но остались не ясные моменты.

Можете написать последовательность действий?

Имеется сервер FreeBSD 6.2 (32-bit), RAID контроллер 3ware 9650SE-4LPML (4ех портовый, SATA). Работает в режиме RAID5. Стоят 4 одинаковых винта по 400Гб (общий объем массива чуть больше 1Тб). Все порты контроллера задействованы. Файловая система юнита подмонтирована в папку /data.

Как я понял для системы используется отдельный диск не подключенный к 3ware. Хочу поменять эти 4 диска на другие 4 диска по 2 Тб каждый. Вроде бы смотрел в инете, что эта версия FreeBSD, файловая система UFS2 и контроллер поддерживают тома более 2 Tb. Они будут использоваться только для хранения данных, а не для зарузки. Но непонятно, что насчет юзеров, использующих, Windows 7 Pro (32-bit) смогут ли они увидеть этот сетевой диск (размер как я понимаю будет около ~ 5,4 Тб).

На передней панели корпуса сервера 4 корзины с индикаторами. Как понять какой диск подключен к какому порту не разбирая корпус, чтобы не вытащить не тот диск?

Как я понимаю последовательность действий такая:
1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?)
2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно?
3. Вставить новый неразмеченныф 2Тб винт на место первого.
4. СДелать rebuild и дождаться его завершения.
5. Повторить пункты с 2го по 4ый для оставльных трех винтов.
6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb?
7. Увеличить размер ФС.

И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? это должно быть в спецификации корзинки для дисков?

Rebuild сам должен сделаться когда вставлю физически диск и сделаю rescan? или самому каждый раз делать?
Извиняюсь за свои вопросы, но повторю раньше этого никогда не делал.

Желательно подробней напишите как проделать эту процедуру. В инете в основном теория написана.
Какие могут быть подводные камни?

[vadblm]

1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?)
2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно?
3. Вставить новый неразмеченныф 2Тб винт на место первого.
4. СДелать rebuild и дождаться его завершения.
5. Повторить пункты с 2го по 4ый для оставльных трех винтов.
6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb?
7. Увеличить размер ФС. »
Не выйдет такой фокус. На каждом из 2Тбайтников будет использоваться только 400Гб, остальное пространство останется незадействованным и в итоге вы останетесь с массивом старого размера. Да и зачем вся эта катавасия, если будет сделан бекап?? Предлагаю такую последовательность действий:
1. Забекапить все на внешний USB-винт, остановив предварительно все сервисы, могущие писать на заменяемый массив, предупредив юзеров о простое.
1a. UPD (забыл, а это важно, иначе система завалится в панику на следующем этапе) Отмонтировать /data
2. Удалить массив при помощи утилиты менеджмента и снять старые диски.
3. Поставить новые диски и создать из них новый массив.
4. Создать на новом массиве таблицу разделов GPT (>2Тб ведь том теперь), сам раздел, отформатировать и смонтировать его. Не забыть отредактировать fstab.
5. Развернуть бекап с внешнего носителя на свежесозданный раздел.
6. Запустить сервисы, упомянутые в п.1 и дать отмашку юзерам.

Бекап и восстановление лучше всего делать при помощи dump/restore.

И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? »
Вы имеете ввиду hot swap? Да, 3ware его поддерживает, можно снимать/ставить диски на лету.

[Ment69]

Как понять поддерживатся ли hot spare? » прочитать мануал к контроллеру, который поддерживает и hot swape (отключение диска без выключения компьютера) и hot spare ( автоматическое отключение дефектного диска из массива и включение запасного) Если у вас в рейд массиве предусмотрен hot spare, то можно потихоньку заменить все HDD пережидая ребилд. Но резервная копия должна быть!

[VictorSh]

Не выйдет такой фокус. На каждом из 2Тбайтников будет использоваться только 400Гб, остальное пространство останется незадействованным и в итоге вы останетесь с массивом старого размера. »

Хм, а как же вроде бы есть такая функция как расширение емкости существующего массива без разрушения.
Вот посморите http://www.nix.ru/autocatalog/controllers_3ware/3ware_9650SE4LPML_PCIEx4_4port_SATAII_RAID_JBOD_Cache_59558.html В разделе потребительские свойства.

А потом в FreeBSD сделать growfs.

Оперативное расширение объема накопителей и перенос уровней RAID http://www.3ware.com/products/pdf/82924-AMCC-9650SE-Rusian.pdf на стр 2 в разделе функциональность 3ware 9650SE

Там же: Поддержка режимов «горячей» замены и «горячего» резервирования с целью обеспечения максимальной доступности данных

Да и зачем вся эта катавасия, если будет сделан бекап?? »
Бекапы всегда полезно делать. А вдруг что? Замена дисков в RAID массиве потенциально опасная. Ну все же юзеры очень плохо переживают отключение от сервера. Начальник тоже несколько раз переспашивал можно ли сделать без выключения и перезагрузок.

[vadblm]

Хм, а как же вроде бы есть такая функция как расширение емкости существующего массива без разрушения.
Вот посморите http://www.nix.ru/autocatalog/contro...che_59558.html В разделе потребительские свойства. »
Ну попробуйте. Если получится ваша затея, то можете обозвать меня вруном.

[VictorSh]

можете обозвать меня вруном. »
Да нет, я просто спрашиваю. Получится так или нет.

[vadblm]

Не получится. Имхо.

[VictorSh]

Вставил винчестер Hitachi HDS723030ALA640 в SATA разъем на материнской плате ASUS-P5B-MX - определяется как SATA150. Хотя сам винт относится к третьей ревизии сата, а плата поддерживает вторую ревизию сата. Могут ли два пина сзади винчестера (там где разъемы сата и питания) влиять на скорость? не офиц сайте перерыл всю документацию но не нашел никакой инфы по поводу этих принов.

[vadblm]

Замена дисков в RAID массиве потенциально опасная. »
Кстати, подумав, решил, что в предложенной мною последовательности работ

2. Удалить массив при помощи утилиты менеджмента и снять старые диски.
»
можно исключить выделенное. У вас будет и бекап, и в случае чего вы сможете просто вернуть старые диски на место со всей инфой.

[VictorSh]

Купил 4 трехтерабайтных диска Hitachi HDS723030ALA640. Начал проверять совместимость. Нашел на сайте производителя

http://kb.lsi.com/KnowledgebaseArticle16481.aspx

третья строчка снизу - что надо обновить прошивку для того чтобы RAID контроллер видел трехтерабайтные харды.
вот что выдает команда tw_cli /c0 show all, запущенная на сервере


/c0 Driver Version = 3.60.03.006
/c0 Model = 9650SE-4LPML
/c0 Memory Installed = 224MB
/c0 Firmware Version = FE9X 3.08.02.007
/c0 Bios Version = BE9X 3.08.00.002
/c0 Monitor Version = BL9X 3.05.00.002
/c0 Serial Number = L326001A7110194
/c0 PCB Version = Rev 032
/c0 PCHIP Version = 2.00
/c0 ACHIP Version = 1.90
/c0 Number of Ports = 4
/c0 Number of Units = 1
/c0 Number of Drives = 4
/c0 Total Optimal Units = 1
/c0 Not Optimal Units = 0
/c0 JBOD Export Policy = off
/c0 Disk Spinup Policy = 1
/c0 Spinup Stagger Time Policy (sec) = 1
/c0 Auto-Carving Policy = off
/c0 Auto-Carving Size = 2048 GB
/c0 Auto-Rebuild Policy = on
/c0 Controller Bus Type = PCIe
/c0 Controller Bus Width = 4 lanes
/c0 Controller Bus Speed = 2.5 Gbps/lane

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 VERIFYING - 99 64K 1117.56 ON ON

Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 372.61 GB 781422768 S0NFJ1QP700764
p1 OK u0 372.61 GB 781422768 S0NFJ1QP700763
p2 OK u0 372.61 GB 781422768 S0NFJ1QP700765
p3 OK u0 372.61 GB 781422768 S0NFJ1QP700762


То есть прошивка у меня более старая. Нашел манул но там вроде неясно как то упоминается, что иногда надо обновлять и драйвера с софтом до обновления прошивки. Еще хочу как-нибудь забекапить текущую версию прошивки.
Кто нибудь прошивал 3ware 9650SE? Не подскажите как можно сделать? И как забекапить текущуюю прошивку?

[vadblm]

http://kb.lsi.com/KnowledgebaseArticle10058.aspx
Прошивку брать здесь http://kb.lsi.com/Download15820.aspx
Драйвера обновятся вместе со всей системой (вы вроде собирались обновляться до 8.2)
Можно взять драйвер и по ссылке, но придётся перебирать ядро, вырезав оттуда имеющийся драйвер twa(4).

[VictorSh]

Драйвера обновятся вместе со всей системой (вы вроде собирались обновляться до 8.2) »
Еще вопрос: а получится обновиться с FreeBSD6.2 до FreeBSD8.2 за раз как написано здесь http://www.lissyara.su/articles/freebsd/tuning/make_buildworld/ тупо написав в stable-supfile

*default release=cvs tag=RELENG_8_2

?
Или нет, вроде бы вы и во многих местах написано, что сначала нужно обновиться до седьмой версии. А уж потом до восьмой.
Могут ли быть подводные камни? Просто мне нужно успеть это все сделать за субботу. Обновить систему, прошивку, дрова 3ware, и созадть RAID массив и переписать туда все из backup (1 терабайт).
Скорость инета там низкая (~60кбайт/с).

[vadblm]

Или нет, вроде бы вы и во многих местах написано, что сначала нужно обновиться до седьмой версии. А уж потом до восьмой. »
Вроде да, сначала до семёрки, потом до восьмёрки Но не ручаюсь. Я бы вообще ставил систему с нуля, воспользовавшись от старой лишь конфигами. Это точно будет быстрее и надежнее - помимо самой системы ведь наверняка придётся перебирать кучу софта из портов.
Скорость инета там низкая (~60кбит/с). »
Это печально, поскольку потребуется скачать десятки, а то и сотни мегабайт (смотря сколько какого софта).

Но. Можно слить дерево исходников (и заодно портов с дистфайлами) и в более скоростном месте.

Да больше того, можно поставить и настроить всю систему ну хоть дома, а потом подкинуть диск, перекинуть dump/restore и подправить что потребуется. Насколько я понял, добыть диск, нужный для этой операции для вас не проблема, а в качестве суррогатной матери сойдёт любой относительно современный ПК, в который этот диск можно вставить. :)

[VictorSh]

Да больше того, можно поставить и настроить всю систему ну хоть дома, а потом подкинуть диск, перекинуть dump/restore и подправить что потребуется. Насколько я понял, добыть диск, нужный для этой операции для вас не проблема, а в качестве суррогатной матери сойдёт любой относительно современный ПК, в который этот диск можно вставить. »

Проблема в том, что я новичок в FreeBSD, и то, что я не знаю, что настраивал предыдущий админ, какие конфиги и как надо перенастроить, а какие оставить как есть.

Установить могу на виртуалку дома, dump/restore надеюсь будет тоже не оч проблемно, а вот с пунктом подправить сложнее.
Да я опечатался там скорость скачивания 60 КБайт/c но все равно низкая.

Поэтому думаю задампить систему на внешний винт, а потом обновиться и если не получится, то восстановиться из дампа.

То есть тупо можно делать по инструкции http://www.lissyara.su/articles/freebsd/tuning/make_buildworld/ ?
Два обновления насколько я понял? первое до 7.0. Второе с 7.0 до 8.2? меняя в супфайле версию релиза?
Вроде бы где то читал, что в более поздних версиях (выше 6 ой) cvsup заменили на csup.

[vadblm]

Проблема в том, что я новичок в FreeBSD, и то, что я не знаю, что настраивал предыдущий админ, какие конфиги и как надо перенастроить, а какие оставить как есть. »
По-моему, проще самостоятельно выяснить настройки, чем доверить это mergemaster'у. Тем более, что он довольно тупой и предлагает на усмотрение пользователя, что делать с конфигами - оставить старый, заменить на новый, или объединить. А конфигов сотни. Можно ошибиться, да просто устать, пролистывая и сравнивая кучи конфигов.
Установить могу на виртуалку »
Лучше на отдельный диск, можно внешний.
То есть тупо можно делать по инструкции http://www.lissyara.su/articles/free...ke_buildworld/ ? »
Есть ещё утилита freebsd-update, не помню точно, когда она появилась, где-то во времена 6.х.
Сильно упрощает апгрейд, но имеет ограничение - требует GENERIC ядро, а многие админы по старой привычке, или обчитавшись древних статей, до сих пор его ковыряют, хоть нужда в этом сейчас многократно ниже, чем лет 10 назад.
Вроде бы где то читал, что в более поздних версиях (выше 6 ой) cvsup заменили на csup. »
Емнип, csup появился в 6.1. Но это нестрашно, поскольку он полный функциональный аналог cvsup, за исключением графического режима.

[VictorSh]

Драйвера обновятся вместе со всей системой (вы вроде собирались обновляться до 8.2) »
Все же у меня получилось обновиться до 7.2 :)

в Product Release Notes for 3ware 9.5.3 написано:


Operating System Support
FreeBSD 6.4 and 7.2

Older 3ware Drivers and Management Software Are Not Compatible with this
Release

IMPORTANT Drivers and software released prior to version 9.5.2 are
not fully compatible with the firmware in this release.
You must upgrade to a 3ware driver and a software level
of 9.5.2 (or later) before you update the firmware on your
9690SA or 9650SE controllers.


а у меня версия ПО более старая. Версия прошивки 3.08.02.007, релиз 9.4.1.3
Прошивка на сайте 4.10.00.007 имеет Release 9.5.3.
Причем поддерживает 3TB диски только 4.10.00.021 и более новые.

Я так понимаю из замечания, мне надо установить драйвер, CLI и 3DM2? а только потом прошивать?

P.S. и еще: можно не перебирать ядро, а подменить как-то драйвер twa.ko (есть такой файл в папке drivers на офиц диске с Release 9.5.3)?

[vadblm]

Все же у меня получилось обновиться до 7.2 »
А почему не до 7.4 тогда уж? Кстати, обновление между минорными релизами не в пример проще, чем между мажорными, поскольку они отличаются по большей части только закрытыми дырами и обновлёнными драйверами.
Я так понимаю из замечания, мне надо установить драйвер, CLI и 3DM2? а только потом прошивать? »
Прошивать-то можно в любой момент, просто если драйвер старый, то может и не до конца понять новую прошивку, так что лучше, конечно, обновить систему, автоматически обновив драйвер.
В 7.4 версия драйвера 3.70.05.010, в release notes 7.2 версия драйвера не указана, но есть примечание The twa(4) driver now supports 64-bit DMA. Что как раз касается поддержки очень больших дисков. Но я всё равно предложил бы обновиться до 7.4, хотя бы потому, что 7.2 уже год как EoL.
P.S. и еще: можно не перебирать ядро, а подменить как-то драйвер twa.ko (есть такой файл в папке drivers на офиц диске с Release 9.5.3)? »
Он продублирован в ядре. Вернее наоборот - тот драйвер, что по умолчанию в ядре, продублирован в виде модуля.

[VictorSh]

так что лучше, конечно, обновить систему, автоматически обновив драйвер. »
То есть только обновить FreeBSD до 7.4. А потом прошивку.
А обновлять 3DM2 и CLI не надо вручную перед прошивкой?

[vadblm]

То есть только обновить FreeBSD до 7.4. А потом прошивку. »
Угу.
А обновлять 3DM2 и CLI не надо вручную перед прошивкой? »
Зачем вручную? Оби эти утилиты есть в портах. Обновить уж точно не повредит.

[VictorSh]

А почему не до 7.4 тогда уж? »
Обновился до 7.4 сегодня и после этого перестал работать RoundCube Webmail :(

Вот, что пишет, когда захожу на веб страницу с почтовым сервером


DATABASE ERROR: CONNECTION FAILED!

Unable to connect to the database!
Please contact your server-administrator.



Думал, что из-за алиасов, восстановил из бекапа папки /etc/mail/aliases версии 6.2 - не помогло. Хотя если запускать через почтовый клиент Thunderbird, то письма отправляются