Как подключить дисковую полку к серверу

Как подключать дисковую полку к серверу?

clop1000

Clone Grade Theta

• Client: Eng

#2

Karmael

Clone Grade Omicron

• EVE Ingame: Silivalia
• DUST Ingame: karmaell
• Corp: exXMX
• Ally: exIAC
• Client: Eng

хорошая попытка, но нет

#3

Denadan

просто жертва зеленых

• EVE Ingame: denadanA
• Ally: RED(offline)
• Client: Eng

1. смотри документацию. скорее всего внешний сас или фц

2. нужен соответствующий контролер для сервера. очень желателен еще сан свитч, но если 1 сервер и 1 полка то можно и потерпеть. рейд функционал у подобного контроллера как правило в комплекте как побочный

3. да, как обычный внутренний. точнее ты на свитче(или схд, полки не умеют) нарезаешь диски на логические и уже логические отдаешь контроллеру

Ева — тебя все равно убьют
—
That’s not magic, that was just Pinkie Pie.

#4

vmarkelov

Clone Grade Omicron

• EVE Ingame: Kej Lacitis
• EVE Alt: Kej Al'tos
• Corp: Space Mechanics
• Ally: Circle of Hell
• Client: Рус

#5

clop1000

Clone Grade Theta

• Client: Eng

А в чем кардинальное различие между дисковой полков и ЦХД?

Дисковая полка насколько я понял — это тупо диски без контролера или с простым контролером которые вставляются в SAS контроллер с внешними портами в сервере?

Т.е. правильно понимаю что количество портов должно соответствовать колличеству дисков в дисковой полке?

Или сама дисковая полка может быть как RAID? (Именно дисковая полка, не ЦХД)

#6

Karmael

Clone Grade Omicron

• EVE Ingame: Silivalia
• DUST Ingame: karmaell
• Corp: exXMX
• Ally: exIAC
• Client: Eng

ты все не правильно понимаешь. назови полку.

полки в современном мире, подключаются к серверАМ через ХБА или оптику например. Что требует как минимум соответствующих контроллеров. Для обеспечения надежности, полки подключают как правило к двум серверам, и резервируют контроллеры, сиреч по два на сервак. В мануале к полке написано как именно подключать, т.к. там есть свои тонкости.

после подключения, через IP заходится на полку, выбирается тип рейда, и бьется на тома, после чего они детектятся на серверах как соответствующие диски.

там еще море всякого, если нужно, чтоб при смерти одного сервака, второй подбирал его тома

Тома опять жеж зависят от того, что будет крутится за фс, при GPFS например, требуется тонкая разбивка, тайбрекеры, с провижинингом вообще отдельный разговор

вопрос из серии, «я вчера забухал, а сегодня лететь на самолете, что там за кнопочки»

#7

Denadan

просто жертва зеленых

• EVE Ingame: denadanA
• Ally: RED(offline)
• Client: Eng

в том что полка работает только с физикой дисков отдавая всю логику на откуп принимающему. и нет все работает не так. это своеобразная «локальная» сеть, все по 1 кабелю. и свитчи. впрочем у полки обычно 2+ порта (для резервирования канала)

цхд полностью сама управляет дисками(в самом тупом варианте можно отдать и физический диск) собирая их в рейды и разбивая на логические диски как угодно отдавая эти самые логические. ну и плюс весь дополнительный обвес вроде бекапов и возможности подключения по другим протоколам(ntp, smb и прочие непонятные буковы)

Ева — тебя все равно убьют
—
That’s not magic, that was just Pinkie Pie.

#8

Karmael

Разница между СХД и полкой и что такое JBOD

Давайте попробуем определить, что за устройство на картинке.
Правильно – по “морде” определить невозможно. Нужно смотреть на тыльную часть. И варианты могут быть разные:

B. Система хранения данных (СХД)

C. Дисковая полка SAS-1 c двумя контроллерами JBOD (HP MSA2000sa AJ750A)

Думаю, читатели данной статьи хорошо знают, что такое сервер, но имеют смутное представление об СХД и полках. СХД и полка похожи, но тем не менее между ними существенная разница.

СХД – система хранения данных – это не полка

СХД (система хранения данных) намного сложнее полки, они дороже и имеют значительно больше нюансов.

Отличие СХД от полки это наличие “Мозга”. Контроллеры СХД это мини-серверы, со своими процессорами, памятью и операционной системой. СХД собирают из дисков RAID массивы, и передают данные по протоколам высокого уровня (iSCSI, NFS), контролируют целостность данных, позволяют создавать снапшоты и многое другое. СХД нужна, если наша задача – построить отказоустойчивый кластер

Однако, в случае если мы просто хотим добавить дисков в сервер, наличие “мозга” создаёт сложности: Не все СХД понимают диски объёмом более 2Tb. Редкие СХД принимают от независимых производителей. Несмотря на то, что СХД полезное устройство – в этой статье мы не будем рассматривать использование СХД. Сегодня давайте разберёмся с полками.

Полка – это не СХД

Полка – достаточно простое устройство. Корпус, два блока питания, бэкплэйн и JBOD* контроллеры. Задача полки, без какой-либо обработки, передать данные из накопителя в адаптер (карту RAID или HBA). Любая полка поддерживает диски любого объёма и любого производителя. Всё решает карточка в сервере. Контроллер полки – это набор микросхем с жёсткой логикой.

Так выглядит подключение дисков внутри сервера

Так – подключение сервер + полка.

С точки зрения схемотехники (и операционной системы), диски, установленные в полку, ничем не отличаются от дисков установленных в сервер**.
Полка имеет отдельный корпус, отдельные блоки питания, но в обоих случаях подключение производится через RAID карточку, установленную в сервер – отличие лишь в том, что в случае с полкой кабель подключается не по внутреннему, а по внешнему разъёму.

*JBOD = Just A Bunch of Disks ( просто пачка дисков )
** Если быть совсем точным, полку можно сравнивать с сервером в котором установлен SAS экспандер – это серверы, в которых количество дисков превышает 8. Для операционной системы SAS экспандер не заметен.

Вот широко распространённый RAID контроллер LSI9260-8i
8i означает 8 внутренних портов SAS/SATA

А вот его брат LSI9280-4i4e

4 внутренних и 4 внешних порта

Как называется вот этот контроллер, я думаю, вы уже догадались )

Правильно – это LSI9280-8e.

Все эти контроллеры собраны на одном и том же чипе LSI2108. Они обеспечивают работу по протоколам SAS/SATA со скоростью 6Gb/s и “понимают” диски объёмом более 2Tb. Попутно замечу, что на этом чипе собраны RAID контроллеры в серверах Supermicro, Intel, IBM, DELL, Fujitsu и CISCO. Многие из производителей даже не утруждают себя разработкой собственной печатной платы – меняют только прошивку. Но впрочем, RAID и HBA – тема для отдельной статьи.

Вывод: если не хватает места для дисков – можно просто подключить к серверу полку. Новый сервер покупать не обязательно.

Ещё несколько нюансов:

1. Полки бывают не только SAS, но и других типов, например, FC (скорее всего они вам не нужны).
2. Полки могут быть 3, 6 и 12Gb/s. Не все знают, что в одном кабеле mini-SAS четыре канала. Это значит, что для вычисления скорости обмена полка-контроллер показатель 3,6,12 нужно умножить на 4, а в случае если полка и контроллер соединяются двумя кабелями, на 8. Для примера 3-х гигабитная полка сможет отдавать в сервер 3×4 = 12 Гигабит! Что очень неплохо, особенно, если вы устанавливаете шпиндельные накопители. Для работы диска с сервером важна не скорость передачи данных а количество операций ввода-вывода IOPS. Об этом читайте в пункте 7.
3. Не важно Supermicro, IBM, DELL или HP. Любая SAS полка будет работать с любым SAS контроллером. Брэнд имеет значение только когда вы подключаете полку к СХД.
4. Полки можно собирать в гирлянду – подключая к одному контроллеру сразу несколько полок.****** Если вы используете SATA диски, длина подключения не должна превышать 1М.
5. При использовании SAS дисков (или SATA дисков с интерпозерами) можно подключать полку по двум путям, через два контроллера. Это позволяет избежать отказа в случае выхода их строя одного из контроллеров.
6. Полки можно добавлять по мере роста количества данных, подключая их двумя путями
   “в гирлянду” вот так:
7. SFF* полки ( обычно бывают 2U на 24-25 дисков)Для чего нужны SFF полки?Типичный сервер редко перекидывает большие блоки данных – в основном он производит хаотичные запросы чтения или записи маленьких блоков из совершенно разных мест массива. Скорость по этому показателю измеряется не в Гигабитах в секунду, а в количестве операций ввода-вывода (IOPS). И именно IOPS, а не трансфер основной параметр которому следует уделять внимание. Пользователи ПК сравнивают диски по показателям 3Gb/s, 6Gb/s, 12Gb/s, но зачастую, скорость потока диск – сервер это не Гигабиты, и даже не Мегабиты, а Килобиты! Скорости 3Gb/s, которую обеспечивают даже устаревшие интерфейсы в большинстве случаев достаточно. Сильно ошибаются те, кто думают, что улучшат производительность, сменив диски 3Gb/s на 12Gb/s. Если не изменился форм-фактор и обороты диска – скорость IOPS не измениться.На увеличение IOPS положительно влияют: увеличение оборотов, уменьшение физического размера, увеличение числа дисков в массиве.LFF диски, (особенно низкооборотистые 7200RPM) не предназначены на работу в режиме случайного доступа – их назначение хранение ColdData (например бэкапов)*SFF Small Form Factor – это диски 2,5” Обычно это высоко-оборотистые 10-15К SAS диски объёмом 300-1200GB. Не стоит путать их с ноутбучными дисками.
   LFF Large Form Factor – это диски 3,5” Обычно низко-оборотистые 7200 диски, объёмом 2TB и более.
8. И наконец, если у вас уже есть СХД, добавив полку вы можете увеличить не только объём, но и существенно повысить скорость работы. Ведь показатель IOPS напрямую зависит от количества дисков.У нас имеются полки для наиболее распространённых СХД производства NetAPP, HP, Dell, IBM.

На этом всё.
Остались вопросы – звоните, будем рады помочь.

© OOO “Cерверы для профессионалов” 2015—2022
Перепечатка статей со ссылкой на источник разрешается и приветствуется.

Как подключить дисковую полку к серверу

clop1000

Clone Grade Theta

• Client: Eng

Karmael

Clone Grade Omicron

• EVE Ingame: Silivalia
• DUST Ingame: karmaell
• Corp: exXMX
• Ally: exIAC
• Client: Eng

Denadan

• EVE Ingame: denadanA
• Ally: RED(offline)
• Client: Eng

vmarkelov

Clone Grade Omicron

• EVE Ingame: Kej Lacitis
• EVE Alt: Kej Al’tos
• Corp: Space Mechanics
• Ally: Circle of Hell
• Client: Рус

clop1000

Clone Grade Theta

• Client: Eng

Karmael

Clone Grade Omicron

• EVE Ingame: Silivalia
• DUST Ingame: karmaell
• Corp: exXMX
• Ally: exIAC
• Client: Eng

Denadan

• EVE Ingame: denadanA
• Ally: RED(offline)
• Client: Eng

Karmael

Для подключение к серверу используются адаптеры (HBA) под конкретный интерфейс, которые просто позволяют ОС увидеть готовые дисковые тома.

Подключение дисковых полок каскадом

Две дисковые полки с экспандерами, которые контроллер определяет как LSI SAS2x36, на каждой четыре внешних порта.

Полки подключены с серверам и соединены между собой.

Сверху на всё это натянут MS Storage Spaces и изображает собой файловый сервер.

Сейчас возникла необходимость расширить объем хранения. Я подключил еще одну такую же полку каскадом к существующим. Как нетрудно догадаться, ничего не получилось.

Сервера полку увидели, а вот диски — нет. При попытке перезагрузить один сервер hba выкинул ошибку

Путем экспериментов выяснилось, что ошибки исчезают, если из корзины выдернуть половину дисков в любом порядке.