vitabaks
26-11-2013, 19:31
На днях упал кластер на yper-v 2012 r2.
Причем положил его возможно я сам, прошу дать комментарий.
Порядок действий:
1. Был ранее созданный кластер на hyper-v 2012, обновились до R2
Делал так:
Взял новый сервер (с коробки), поставил ОС, поднял фичу failover clustering - Создал новый кластер, добавив этот сервер к качестве первой ноды.
2. Переустановил ОС на Hyper-v 2012 r2 на одном из серверов старого кластера и добавил его в новый.
(Предварительно не исключив его со старого кластера).
3. Добавил эту железку в качестве второй ноды (имя и ip не менял).
4. В итоге получаем кластер из двух нод. Кворумный диск или же шару не назначаю, так как собираюсь добавить третий сервер.
5. Чтобы добавить третий сервер (который ранее тоже был нодой старого кластера) я удаляю сам кластер.
Кластер удалился, сервер еще не успев добавить как третью ноду - минут через 10-20 лег новый кластер!!
Получается, при удалении старого кластера (ноды в списке), он грохает эту ноду и с нового кластера!!
Почему?? этот сервак ведь уже в кластере под другим именем!
'ClusterNode'
EventId 4616 (25:11:2013 11:24:22)
Termination of the cluster service during cluster node cleanup has not completed within the expected time period. Please restart this machine to ensure the cluster service is no longer running.
Журналы событий кластера:
EventId 1135 (25:11:2013 11:26:09)
Cluster node 'ClusterNode' was removed from the active failover cluster membership. The Cluster service on this node may have stopped.
EventId 1117 (25:11:2013 11:26:09)
The Cluster service is shutting down because quorum was lost. This could be due to the loss of network connectivity between some or all nodes in the cluster, or a failover of the witness disk.
Еще вопрос:
Вот упал кластер (из двух нод), как его поднять?
Пытался переустановить фичу failover clustering, не помогло.
Clear-ClusterNode и Clear-ClusterNode node4 -Force и т.п. не помогло...
Попробовал создать еще один кластер и подключить туда CSV от упавшего кластера, не получается так как диск Reserved.
Причем хозяином диска является упавшая нода. Отключал ISCSI диск в инициаторе, не помогло. Тушил сервак, не помогло, всё равно диск используется.
В итоге потратили кучу времени а помогло удаление упавшего сервера со списка серверов на этот LUN на самом хранилище.
как отобрали LUN, так и освободили диск и смогли подключить к новому кластеру и поднять VMs на нем.
Еще одна проблема:
Один LUN в порядке, а второй LUN стал RAW устройством, т.е. повредился (и опять же из за чего..)
Форматировать было нельзя, так как данные критичны.
Помогла добраться до данных в диске RAW утилита testdisk. Ито, не смогла восстановить битые сектора, а лишь дала возможность скопировать файлы с этого диска.
Коллеги,
прошу поделиться информацией по Troubleshooting/ поднятие упавших кластеров Hyper-v.
Причем положил его возможно я сам, прошу дать комментарий.
Порядок действий:
1. Был ранее созданный кластер на hyper-v 2012, обновились до R2
Делал так:
Взял новый сервер (с коробки), поставил ОС, поднял фичу failover clustering - Создал новый кластер, добавив этот сервер к качестве первой ноды.
2. Переустановил ОС на Hyper-v 2012 r2 на одном из серверов старого кластера и добавил его в новый.
(Предварительно не исключив его со старого кластера).
3. Добавил эту железку в качестве второй ноды (имя и ip не менял).
4. В итоге получаем кластер из двух нод. Кворумный диск или же шару не назначаю, так как собираюсь добавить третий сервер.
5. Чтобы добавить третий сервер (который ранее тоже был нодой старого кластера) я удаляю сам кластер.
Кластер удалился, сервер еще не успев добавить как третью ноду - минут через 10-20 лег новый кластер!!
Получается, при удалении старого кластера (ноды в списке), он грохает эту ноду и с нового кластера!!
Почему?? этот сервак ведь уже в кластере под другим именем!
'ClusterNode'
EventId 4616 (25:11:2013 11:24:22)
Termination of the cluster service during cluster node cleanup has not completed within the expected time period. Please restart this machine to ensure the cluster service is no longer running.
Журналы событий кластера:
EventId 1135 (25:11:2013 11:26:09)
Cluster node 'ClusterNode' was removed from the active failover cluster membership. The Cluster service on this node may have stopped.
EventId 1117 (25:11:2013 11:26:09)
The Cluster service is shutting down because quorum was lost. This could be due to the loss of network connectivity between some or all nodes in the cluster, or a failover of the witness disk.
Еще вопрос:
Вот упал кластер (из двух нод), как его поднять?
Пытался переустановить фичу failover clustering, не помогло.
Clear-ClusterNode и Clear-ClusterNode node4 -Force и т.п. не помогло...
Попробовал создать еще один кластер и подключить туда CSV от упавшего кластера, не получается так как диск Reserved.
Причем хозяином диска является упавшая нода. Отключал ISCSI диск в инициаторе, не помогло. Тушил сервак, не помогло, всё равно диск используется.
В итоге потратили кучу времени а помогло удаление упавшего сервера со списка серверов на этот LUN на самом хранилище.
как отобрали LUN, так и освободили диск и смогли подключить к новому кластеру и поднять VMs на нем.
Еще одна проблема:
Один LUN в порядке, а второй LUN стал RAW устройством, т.е. повредился (и опять же из за чего..)
Форматировать было нельзя, так как данные критичны.
Помогла добраться до данных в диске RAW утилита testdisk. Ито, не смогла восстановить битые сектора, а лишь дала возможность скопировать файлы с этого диска.
Коллеги,
прошу поделиться информацией по Troubleshooting/ поднятие упавших кластеров Hyper-v.