Тенденции развития современных инфраструктурных решений. Системы хранения данных компании Intel

Прежде чем окунуться в технологии сетей хранения данных (SAN), стоит освежить свои знания, относящиеся к сетям передачи данных (СПД). SAN стали неким обособленным «ответвлением» от столбового пути развития сетевой индустрии. Однако, скажем, коммутаторы SAN играют в сетях хранения данных ту же роль, что и коммутаторы Ethernet или IP-маршрутизаторы в обычных СПД. Такие продукты выпускаются многочисленными, хотя по большей части не очень известными, производителями (табл. 1), и их функциональные возможности и технические характеристики сильно различаются. Как показали испытания, проведенные компанией Mier Communications, последние разработки четырех ведущих производителей коммутаторов SAN совершенно не похожи друг на друга.

«Голубую ленту» победителя мы присудили устройствам SilkWorm 2400 и 2800 фирмы Brocade Communications . Они полностью соответствуют технологии Plug-and-Play и обладают наивысшей производительностью среди протестированных моделей.

На второе место вышли SANbox 8 и SANbox 16 HA компании QLogic . Попытки установить их и заставить работать хотя и увенчались успехом, но отняли у нас гораздо больше сил, чем аналогичные процедуры с коммутаторами SilkWorm, да и быстродействие этих моделей оказалось весьма посредственным. Тем не менее мы по достоинству оценили удобство администрирования, которое обеспечивает приложение SANsurfer - безусловно, лучшее в своем классе. (В нынешнем году QLogic приобрела фирму Ancor, создавшую данные устройства, и коммутаторы поступили к нам от последней еще до урегулирования всех формальностей сделки. Впрочем, представители компании-покупателя заверили нас, что ее клиентам будут предлагаться продукты, идентичные «изначальным».)

Третью строчку заняли модели 7100 и 7200 фирмы Vixel , обладающие удобными средствами регистрации событий, но продемонстрировавшие крайне низкую производительность. Наконец, замыкало список устройство Capellix 2000G производства Gadgoox , главным недостатком которого является неспособность функционировать в коммутируемой сети SAN.

Три участника тестирования - QLogic, Vixel и Brocade - предоставили в наше распоряжение по два коммутатора на 8 и два - на 16 портов. Быстродействие устройств одного поставщика было практически одинаковым, что дало нам возможность привести на диаграммах, характеризующих производительность, общие для каждой пары значения. Таким же подходом мы воспользовались при выставлении оценок по критериям «Простота инсталляции», «Администрирование» и «Функциональные возможности».

Шина или матрица

Как уже упоминалось, три компании прислали нам по два экземпляра каждого из своих продуктов. Четыре коммутатора - вот тот минимум, который позволяет построить коммутирующую сеть с альтернативными маршрутами, чтобы затем проверить способность коммутаторов принимать решение о маршрутизации трафика в обход отказавшего соединения.

Фирма Gadzoox предоставила устройство Capellix 2000G, которое сам производитель позиционирует как коммутатор для сетей с разделяемым доступом. Это означает, что другие варианты подключения узлов к сети не поддерживаются. Сеть с общей шиной - так на профессиональном жаргоне называют технологию Fibre Channel с арбитражем (Fibre Channel Arbitrated Loop, FCAL) - является довольно старой разновидностью сетевой архитектуры Fibre Channel, в которой сетевые узлы совместно используют полосу пропускания разделяемой среды передачи.

Между тем для объединения нескольких коммутаторов в SAN каждый из них должен поддерживать коммутируемые (или, в терминологии SAN, матричные ) соединения, по крайней мере для части своих портов. Если прибегнуть к аналогии из сферы передачи данных, то различие между шинной (loop) и матричной (fabric) архитектурами можно уподобить различию между двумя сетями Ethernet, в одной из которых установлен концентратор, а в другой - коммутатор. Как известно, до активного проникновения технологий коммутации в локальные сети Ethernet в них использовался разделяемый доступ к среде передачи, физическим воплощением которой был коаксиальный кабель или концентратор.

Отсутствие поддержки коммутируемых соединений и топологий с несколькими коммутаторами не могло не сказаться на баллах, которые получило оборудование Gadzoox по критериям «Конфигурация» и «Функциональные возможности». Располагая только одним коммутатором, пользователи не смогут построить сеть, отличающуюся высокой надежностью и способностью маршрутизировать данные в обход отказавших узлов или соединений. Сеть хранения данных, в которой инсталлирован Capellix 2000G, будет насчитывать не более 11 коммутационных портов (в стандартной конфигурации это устройство имеет восемь портов и разъем расширения, допускающий установку трехпортового модуля). По сообщению представителей Gadzoox, в настоящее время фирма занимается разработкой модуля для коммутирующей матрицы, который будет устанавливаться в модульный коммутатор Capellix 3000.

Общие черты

Несмотря на многочисленные различия коммутаторы SAN имеют и много общего. В частности, во всех моделях присутствуют модули преобразователей гигабитных интерфейсов (Gigabit Interface Converter, GBIC) для каждого из портов. Это позволяет легко заменить физический коннектор на отдельном порте. Так, в процессе тестирования сетевых конфигураций на оптических и кабельных линиях нам частенько приходилось переключаться с кабельных портов, оснащенных разъемами DB-9, на оптические порты, работающие в коротковолновом диапазоне. Фирмы-производители предлагают для своих изделий коннекторы обоих типов, а также несколько других разновидностей модулей GBIC - например, предназначенные для работы на длинных волнах с одномодовым волокном. Мы попробовали переставить модули преобразователей с одной модели на устройства других фирм: никаких проблем ни с совместимостью, ни с производительностью при этом не возникло. Судя по всему, на уровне модулей GBIC и портов, на которых они используются, можно говорить о стопроцентном выполнении принципа Plug-and-Play.

Все коммутаторы поддерживают скорость передачи данных 1 Гбит/с на всех портах, хотя уже сегодня существуют спецификации, предусматривающие 2-Гбит/с скорость передачи по каналам Fibre Channel; по некоторым данным, ведутся работы над увеличением последнего значения еще вдвое.

Каждый коммутатор снабжен портом Ethernet, предназначенным для доступа к устройству с управляющей станции и способным автоматически определять используемую скорость передачи (10 или 100 Мбит/с). Изделия компаний Brocade, Vixel и Gadzoox располагают портом для подключения консоли; именно через него коммутатору сообщается IP-адрес, который впоследствии служит для управления. Что же касается продукта фирмы QLogic, его IP-адрес задается заранее (т.е. фиксирован), и это, на наш взгляд, может иметь негативные последствия. При подключении устройства к сети пользователь будет вынужден отслеживать предопределенный IP-адрес, а в дальнейшем его все равно придется заменить на значение, более подходящее для конкретной сети.

Все устройства в равной степени поддерживают зонирование сети хранения данных. «На языке» SAN этот термин соответствует организации виртуальных ЛС в СПД, т.е. обозначает логическое группирование отдельных портов и подключенных к коммутатору узлов с одновременным их отделением от других ресурсов. В сетях SAN зонирование используется преимущественно для контроля трафика.

Наконец, все модели поддерживают одни и те же классы сервиса Fibre Channel - второй и третий. Услуги третьего класса, которые соответствуют сервису без подтверждения приема и не ориентированы на установление соединений, сегодня обеспечивают транспортировку по сетям SAN практически всего объема трафика. Услуги второго класса отличаются от предыдущих наличием подтверждений; широкого распространения они пока не получили. Выявленные во время испытаний достоинства и недостатки коммутаторов SAN, которые мы рассмотрим ниже, отображены в табл. 2 .

Сравниваем конфигурации

Самый высокий балл по этому критерию получили устройства SilkWorm компании Brocade, поскольку они поддерживают все интересовавшие нас опции - возможности работы в разных сетевых топологиях, использования преобразователей GBIC, подключения консоли к специальному порту и доступа по каналу Ethernet с автоматическим выбором скорости передачи. Кроме того, только фирма Brocade поставляет свои коммутаторы (как 8-, так и 16-портовый) с резервными источниками питания. Корпорация QLogic устанавливает дополнительный источник питания только в 16-портовой модели SANbox 16 HA, а Gadzoox и Vixel вообще не предусмотрели такой возможности.

Буферизация кадров, которая обеспечивает временное сохранение данных перед их дальнейшей транспортировкой, также привлекла наше внимание. Она позволяет предотвратить потерю или отбрасывание пакетов при возникновении незапланированных событий или непредвиденном ухудшении условий передачи. Прежде всего нас интересовал объем буферного пространства на отдельных портах. Как оказалось, в коммутаторе производства Gadzoox буферизация кадров попросту невозможна. Устройства SANbox имеют по восемь буферов для каждого порта. В коммутаторах SilkWorm буферов уже по 16, а кроме того, существует общий динамический буфер, части которого выделяются отдельным портам по мере необходимости. Наконец, в устройствах 7200 корпорации Vixel каждый порт располагает 32 буферами.

По функциональным возможностям продукты различались не столь явно. Существенным моментом оказалась, пожалуй, лишь способность коммутаторов к взаимодействию с изделиями других фирм. Перед началом тестирования мы попросили производителей предоставить нам любую документацию, обычно предлагаемую заказчику и отражающую возможность функционирования данного продукта в той сетевой среде, где имеются коммутаторы SAN, системы хранения данных и шинные адаптеры (Host Bus Adapter, HBA; в терминологии SAN так называют сетевые карты Fibre Channel, которые устанавливаются на подключаемые к сети серверы) разных поставщиков. К сожалению, ни один из производителей не смог похвастать совместимостью своих коммутаторов с продуктами других фирм. Представители Brocade прямо заявили, что фирма не гарантирует такого взаимодействия, но ведет работы по обеспечению совместимости SilkWorm с конкретными моделями накопительных систем и сетевых карт. QLogic, Vixel и Gadzoox заняли более амбициозную позицию.

Включил и... работай?

При оценке простоты инсталляции и эксплуатации нас интересовало следующее. Сколько времени должен затратить пользователь, чтобы заставить тот или иной продукт работать в реальной сети? Каковы возможности подключения накопительных систем и адаптеров, имевшихся в нашем распоряжении? Кроме того, мы анализировали проблемы, которые возникали на этом пути.

Для тестирования всех моделей использовались одни и те же платы HBA производства QLogic. Трудно сказать, в какой мере такой выбор повлиял на полученные нами значения производительности и на возможность взаимодействия испытывавшихся устройств. Можно лишь отметить: работы по обеспечению совместимости различного оборудования SAN еще далеки от завершения, поэтому не исключено, что при установке других адаптеров или дисковых систем JBOD будут зафиксированы иные результаты.

Коммутаторы SilkWorm 2400 и 2800 компании Brocade полностью соответствуют принципу Plug-and-Play и поэтому получили наивысшие оценки. Вслед за ними идет модель Capellix: хотя фирма Gadzoox одним махом избавила себя от проблем, связанных с поддержкой многокоммутаторных сетевых сред, одно устройство заработало, что называется, с полоборота.

Модели 7100 и 7200 фирмы Vixel и, в меньшей степени, SANbox от QLogic доставили немало хлопот уже на стадии инсталляции. Происхождение возникших затруднений так и осталось неясным, причем не только для нас, но и, кажется, для сотрудников служб технической поддержки упомянутых компаний. На наш взгляд, причина кроется в плохой совместимости коммутаторов SAN, адаптеров и систем хранения данных.

Управление

Наилучшее впечатление оставила продукция компании QLogic. Написанное на Java управляющее приложение SANsurfer имеет высокоинтуитивный Web-интерфейс и работает вполне стабильно. Автоматически генерируемая карта топологии показывает соединения между отдельными коммутаторами в сети с детализацией до уровня отдельного порта. Уровни интенсивности трафика выводятся на экран в режиме реального времени, а кроме того, программа обеспечивает регистрацию событий в удобном для чтения формате.

Управляющее ПО Web Tools компании Brocade, также основанное на языке Java, показалось нам достаточно надежным и эффективным, однако ему недостает информативности и некоторых функций, присущих продукту QLogic. Web Tools не строит схемы сетевой топологии, а управляющий интерфейс не позволяет быстро определять типы физических портов коммутаторов. Функция генерации отчетов о параметрах трафика не вызвала особых нареканий, однако отсутствует система экранной помощи, которая в отдельных случаях просто необходима.

Несомненное достоинство административного пакета SAN InSite 2000 фирмы Vixel, тоже написанного на Java, - хорошие средства регистрации событий. Однако указанное ПО состоит из нескольких клиентских и серверных модулей, что затрудняет его использование. Мы работали с одной из поздних бета-версий SAN InSite 2000 3.0 и обнаружили в ней больше ошибок, чем можно было ожидать. Так, один из портов постоянно распознавался как порт для кабельной линии с разъемом DB-9, в то время как он являлся оптическим. Один раз выдача отчетов о параметрах трафика в режиме реального времени попросту прекратилась, и, несмотря на все усилия, нам не удалось исправить ситуацию. Продукт имеет массу полезных функций и превосходную систему экранной помощи, но его функционирование сопровождалось постоянными ошибками.

Java-приложение Ventana SANtools производства Gadzoox явно проигрывало другим управляющим программам по части графики и функциональных возможностей. Например, в нем отсутствуют средства мониторинга параметров трафика в режиме реального времени. Мы отметили определенные недостатки в организации интерфейса и средствах навигации. Gadzoox снабдила свое приложение экранной справочной системой, но, кажется, забыла о средствах поиска.

Производительность

Первый из тестов на производительность, в котором регистрировалась задержка передачи данных, прошел на удивление гладко. Какое бы устройство мы не испытывали, суммарная задержка при транспортировке трафика по матрице из нескольких коммутаторов оказывалась в диапазоне от 10 до 15 мс. Задержка, вносимая коммутатором Capellix 2000G, была еще меньше; правда, стоит учесть, что в этом случае трафик проходил только через одно устройство.

А что происходит, когда коммутатор буквально бомбардируется потоками данных? Мы измеряли среднее время, которое необходимо семи серверам под Windows NT для выполнения случайных операций чтения/записи массивов данных объемом 10 Мбайт, причем обмен производился с одной и той же дисковой системой, подключенной через сеть коммутаторов SAN (см. ).

Среднее время одной операции ввода/вывода относится к ключевым показателям производительности, поскольку оно отражает реальное быстродействие сети SAN при передаче потоков большой интенсивности. Для SilkWorm, Capellix 2000G и 7100/7200 это время оказалось практически одинаковым (1,515, 1,512 и 1,536 мс соответственно). Коммутатору SANbox для транспортировки такого же объема данных потребовалось несколько больше - 2,177 мс.

Обратившись к пропускной способности, мы измерили ее максимальное значение для соединения Fibre Channel, по которому накопители были подключены к сети хранения данных. Мы вводили «в игру» от одного до семи серверов под Windows NT, заставляя их выполнять операции сначала чтения, затем записи, а потом смесь этих процедур и опять же общаясь с системой хранения данных через коммутационную матрицу SAN (при тестировании устройства Capellix 2000G фирмы Gadzoox сервер и дисковые накопители были подключены к одному и тому же коммутатору).

Пока операции записи выполнял один сервер, пропускная способность оставалась практически одной и той же для всех коммутаторов: они успевали обработать от 77,8 до 79,6 Мбайт/с. Очевидно, столь малым разбросом можно попросту пренебречь. Тот же результат наблюдался и для операций чтения: средняя пропускная способность составляла 81,6-85,1 Мбайт/с. Однако как только операции чтения начинали выполнять одновременно семь серверов, различия сразу же проявлялись. Коммутаторы Capellix 2000G и Vixel 7100 и 7200 работали со скоростями 95,3 и 94,3 Мбайт/с соответственно, что очень близко к максимальной пропускной способности линии Fibre Channel (100 Мбайт/с). Средняя производительность двух других устройств оказалась заметно ниже: у моделей SANbox она составила 88,9 Мбайт/с, а у SilkWorm - 73,9 Мбайт/с.

При выполнении серверами операций записи на диск, а также случайной последовательности операций чтения/записи наилучшие усредненные результаты показали коммутаторы SilkWorm. Второе место заняла модель Capellix 2000G, третье - устройства 7200 и 7100 от Vixel, а на последнем оказались коммутаторы SANbox. Надо отметить, что на практике пользователи постоянно сталкиваются с ситуацией одновременного выполнения множества операций чтения/записи.

Результаты двух других тестов на производительность нас сильно удивили. Вначале мы намеренно отключали дисковую подсистему от сети с коммутацией, по которой не передавалось никакого трафика, после чего восстанавливали соединение. Затем схожие условия моделировались в SAN, в которой использовались несколько коммутаторов, обеспечивавших обмен значительными объемами данных между несколькими серверами и дисковой системой.

Отключение и последующее подсоединение накопителей никак не повлияло на работу SilkWorm и Capellix 2000G, зато продукты Vixel не смогли адекватно отреагировать на изменения в сетевой топологии. Что же касается SANbox фирмы QLogic, иногда коммутирующая матрица корректно отрабатывала разрыв соединений, запускала процедуру повторной инициализации и налаживала новые маршруты, а иногда выдавала ошибки. Подчеркнем, что во время первого теста трафик в сети хранения данных отсутствовал.

Тест на обход отказавшего соединения при большой нагрузке c коммутатором Capellix 2000G провести не удалось, поскольку, как уже говорилось, этот продукт не способен работать в коммутируемой среде, состоящей из нескольких устройств. При обмене трафиком максимальной интенсивности между семью серверами под Windows NT и дисковой системой коммутатор SilkWorm каждый раз автоматически возобновлял передачу; период восстановления занимал от 8 до 12 с.

Устройства SANbox также продемонстрировали высокую надежность при обработке сбоев в условиях передачи больших объемов трафика. Более того, их архитектура позволяла автоматически перераспределять нагрузку между доступными маршрутами транспортировки по коммутирующей матрице, так что перерывы в передаче данных были практически незаметны.

Коммутаторы 7100 и 7200 фирмы Vixel уверенно возобновляли передачу лишь при небольших объемах трафика и участии в обмене только одного сервера. Как только мы раскручивали тест на полную катушку (подключая к сети все семь серверов), транспортировка данных прекращалась и уже не восстанавливалась.

Учитывая результаты всех тестов на производительность, победителем в данной категории следует признать коммутаторы SilkWorm 2400 и 2800 компании Brocade Communications. На втором месте оказалась модель Capellix 2000G.

Устройства от Brocade стали лидерами и всего комплекса испытаний продуктов данной категории, набрав 8,4 балла (табл. 3). Как показывает опыт компании Mier Communications, если итоговая оценка при использовании 10-балльной системы превышает 8, продукт можно смело рекомендовать потребителям. Коммутаторы SilkWorm - тот самый случай.

Эдвин Майер (Edwin Mier) - основатель и президент, а Кеннет Перси (Kennet Percy) - специалист по тестированию компании Mier Communications, специализирующейся на консалтинге и испытаниях сетевых продуктов. С ними можно связаться по адресам [email protected] и [email protected] .

Процедура тестирования

В процессе проведения тестов в лабораторной сети хранения данных использовались одни и те же источники трафика (от одного до семи серверов), одни и те же адаптеры Fibre Channel (модель QLA2200F/33 производства компании QLogic) и одна и та же дисковая система. Такая унификация дала возможность гарантировать, что единственным источником различий в обеспечиваемой полосе пропускания являются коммутаторы SAN.

Все производители, за исключением Gadzoox, предоставили в наше распоряжение по четыре коммутатора SAN, которые были соединены друг с другом по ромбовидной схеме. От Gadzoox мы получили только одно устройство.

Объединение тестировавшихся изделий в сеть с коммутацией позволило проверить их способность обнаруживать отказы и передавать трафик в обход неисправных коммутаторов или межузловых соединений (InterSwitch Link, ISL). Кроме того, мы проанализировали работу каждого продукта в среде, не содержавшей других активных устройств; в этом случае коммутатор являлся единственным промежуточным звеном между серверами и дисковой системой хранения данных. На момент проведения тестирования в ассортименте продукции Gadzoox отсутствовали устройства, поддерживавшие сетевые топологии с несколькими коммутаторами SAN, поэтому модель Capellix 2000G участвовала не во всех тестах. Поступили сообщения, что фирма уже приступила к тестированию продукта Fabric Switch Module, однако нам он так и не был предоставлен.

Для генерации трафика, а в нашем случае он был представлен запросами и результатами выполнения операций чтения/записи, использовались от одного до семи серверов, которые работали под управлением ОС Windows NT 4.0 с дополнениями Service Pack 6a. Аппаратные конфигурации всех серверов были идентичны: процессор Pentium III с тактовой частотой 500 МГц, 128 Мбайт памяти. В качестве серверных интерфейсных карт (или адаптеров HBA для коротковолновых волоконно-оптических линий Fibre Channel) применялись платы с одинаковыми оптическими разъемами, работавшие под управлением одного и того же драйвера. Мы специально советовались с поставщиками относительно выбора адаптеров, и все они поддержали наше решение остановиться на платах производства QLogic.

Для измерения параметров функционирования коммутаторов на каждом из серверов было инсталлировано бесплатное приложение IOMeter Version 1999.10.20 фирмы Intel. Это программное обеспечение способно создавать нагрузку на сеть требуемого уровня (за счет выполнения операций чтения и записи с жесткими дисками), осуществлять мониторинг производительности и генерировать подробнейшие отчеты о результатах измерений. Более того, применение IOMeter позволило нам превратить один из серверов в ведущее (master) устройство, контролировавшее параметры конфигурации других серверов и выполнение ими тестовых процедур. Этот же сервер отвечал за сбор и консолидацию результатов тестирования.

Системами накопителей, к которым обращались серверы для выполнения операций ввода/вывода, служили продукты Eurologic XL-400, каждый из которых содержал семь жестких дисков Cheetah 18LP компании Seagate емкостью 18 Гбайт и был снабжен собственным интерфейсом Fibre Channel. Два дисковых массива были объединены в каскад, в результате чего суммарное число «мишеней», на которые «нацеливались» операции чтения/записи, возросло до 14.

Для подтверждения результатов измерений производительности и задержек передачи пакетов в SAN мы воспользовались анализатором Gigabit Traffic Analyzer компании Finistar, содержавшим буферы емкостью 256 Мбайт.

При измерении пропускной способности один сервер обменивался данными с четырьмя жесткими дисками, причем поначалу трафик проходил через единственный коммутатор, а затем - через коммутирующую матрицу из нескольких устройств. В следующем тесте было задействовано уже семь серверов и 14 накопителей, и опять трафик передавался сначала через один, а потом через несколько коммутаторов. Каждый раз мы использовали приложение IOMeter, чтобы инициировать операции чтения данных общим объемом 10 Мбайт, затем - операции записи такого же объема данных, и наконец - операции чтения и записи, данные между которыми распределялись поровну, но в случайном порядке.

Каждый тест повторялся не менее трех раз, и во всех случаях мы регистрировали общую производительность операций ввода/вывода (т.е. сколько раз файл объемом 10 Мбайт мог быть прочитан или записан в течение 1 с), суммарную пропускную способность и среднее время отклика для операций ввода/вывода (оно равнялось среднему времени выполнения одной операции чтения или записи).

В целях измерения задержек передачи устройство Gigabit Traffic Analyzer осуществляло хронометраж первых десяти команд SCSI, выданных сервером в многокоммутаторную сеть SAN, а затем сравнивало полученные значения с такими же данными, но уже соответствовавшими поступлению этих команд на выход сети хранения данных. Очевидно, что разницу между временем выдачи команды и временем ее выхода из сети, усредненную по десяти командам, можно использовать в качестве оценки задержки передачи.

Чтобы определить время восстановления сети после сбоя, мы заставляли приложение IOMeter, запущенное на одном из серверов, генерировать непрерывный поток случайных запросов на последовательное считывание с четырех жестких дисков двухкилобайтных фрагментов данных. Затем, выявив одно из активных межкоммутаторных соединений, мы разрывали его. В усложненном варианте этого же теста участвовали семь серверов, число дисков, к которым направлялись запросы, было увеличено до 14, обращение к дискам осуществлялось не в циклической последовательности, а случайно, и, кроме того, объем считываемых данных возрос до 10 Мбайт. В обоих случаях сетевой анализатор производства Finistar регистрировал длительность интервала между моментом прекращения передачи данных и моментом ее восстановления.

Наконец, мы выполнили несколько сравнительных тестов на производительность сети SAN, которые включали в себя операции резервного копирования информации с NT-серверов через сеть хранения данных. На сей раз адресатом являлась не матрица жестких дисков, а ленточный накопитель.

Базовые критерии

Сравнительный анализ коммутаторов SAN проводился по пяти критериям.

Производительность. Мы оперировали десятком показателей и метрик, включая задержку передачи при прохождении трафика через отдельный коммутатор или через сеть, объединявшую несколько таких устройств; скорость изменения маршрута передачи в обход отказавшего коммутатора или соединения между коммутаторами; пропускную способность для операций чтения, записи и случайных комбинаций чтения/записи (данные передавались через коммутируемую среду, объединявшую от одного до семи серверов под Windows NT), наконец, общие параметры, характеризующие стабильность функционирования.

Управление и администрирование. Сюда относятся интуитивность и эффективность управляющего интерфейса (графического или основанного на командной строке), качество средств мониторинга в режиме реального времени и наличие таких дополнительных функций, как регистрация событий, предупреждений и служебных сообщений (с записью информации в соответствующие файлы) и генерация отчетов.

Настройка конфигурации. Проверялись поддержка полносвязной сетевой топологии с несколькими коммутаторами, различных классов сервиса Fibre Channel, разных типов соединений (коммутируемая матрица или среда общего доступа с разделяемой полосой передачи), наличие буферов кадров на отдельных портах, плотность портов, модульность, возможность «горячей» замены отдельных компонентов и наличие резервного источника питания, который является необходимым средством повышения отказоустойчивости коммутатора.

Функциональные возможности. Нас интересовало, например, поддерживаются ли различные физические интерфейсы Fibre Channel и несколько соединений между коммутаторами (для выравнивания нагрузки, обхода неисправных участков сети и логического структурирования, или зонирования, сети).

Простота инсталляции и эксплуатации. Рассматривалось, в частности, соответствие принципу Plug-and-Play при подключении накопительных систем и серверов, а также качество и содержание документации, включая сведения о способности данного устройства взаимодействовать с продуктами других производителей.

Максимальная пропускная способность

Максимальная пропускная способность коммутаторов оценивалась для операций чтения и записи на одной дисковой системе, инициированных семью серверами под Windows NT. При выполнении смешанных операций чтения/записи каждый из серверов был настроен на обмен данными с единственной дисковой системой через сеть SAN. Суммарный объем данных, составлявший 10 Мбайт, распределялся поровну между операциями чтения и записи. На момент проведения испытаний модель Capellix 2000G фирмы Gadzoox поддерживала сетевые топологии только с одним коммутатором.

Если вы управляете своей собственной инфраструктурой в своем собственном центре обработки данных, вы должны пройти выбор различных предложений для хранения. Выбор решения для хранения данных в значительной степени зависит от вашего требования. Перед окончательной доработкой определенного варианта хранения для вашего случая использования немного полезно понимание технологии.

Я на самом деле собирался написать статью об хранении объектов (которая является самой актуальной опцией хранения в облаке). Но прежде чем идти и обсуждать эту часть арены хранения, я подумал, что лучше обсудить два основных метода хранения, которые совместно существуют вместе с очень долгое время, которые используются компаниями внутри страны для их нужд.

Решение вашего типа хранилища будет зависеть от многих факторов, таких как приведенные ниже.

• Тип данных, которые вы хотите сохранить
• Схема использования
• Масштабирование
• Наконец, ваш бюджет

Когда вы начинаете свою карьеру в качестве системного администратора, вы часто слышите, как ваши коллеги рассказывают о различных методах хранения, таких как SAN, NAS, DAS и т.д. И без небольшого рытья вы должны путаться с разными условиями хранения. Путаница возникает часто из-за сходства между различными подходами к хранению. Единственное твердое и быстрое правило оставаться в курсе технических терминов — продолжать читать материалы (особенно концепции, лежащие в основе определенной технологии).

Сегодня мы обсудим два разных метода, которые определяют структуру хранилища в вашей среде. Ваш выбор из двух в вашей архитектуре должен зависеть только от вашего варианта использования и типа данных, которые вы храните.

В конце этого урока я надеюсь, что у вас будет четкое представление о двух основных методах хранения и о том, что выбрать для ваших нужд.

SAN (сеть хранения данных) и NAS (сетевое хранилище)

Ниже приводятся основные отличия каждой из этих технологий.

• Как хранилище подключено к системе. Короче, как делается соединение между системой доступа и компонентом хранения (напрямую подключенным или подключенным к сети)
• Тип кабеля, используемый для подключения. Короче говоря, это тип кабелей для подключения системы к компоненту хранения (например, Ethernet и Fibre Channel)
• Как выполняются запросы ввода и вывода. Короче говоря, это протокол, используемый для выполнения запросов ввода и вывода (например, SCSI, NFS, CIFS и т.д.)

Давайте обсудим SAN сначала, а затем NAS, и в конце давайте сравним каждую из этих технологий, чтобы очистить различия между ними.

SAN (сеть хранения)

Сегодняшние приложения очень ресурсоемкие, из-за запросов, которые необходимо обрабатывать одновременно в секунду. Возьмите пример веб-сайта электронной коммерции, где тысячи людей делают заказы в секунду, и все они должны быть правильно сохранены в базе данных для последующего поиска. Технология хранения, используемая для хранения таких баз данных с высоким трафиком, должна быть быстрой в обслуживании и ответе запросов (вкратце, это должно быть быстрым на входе и выходе).

В таких случаях (когда вам нужна высокая производительность и быстрый ввод-вывод), мы можем использовать SAN.

SAN — это не что иное, как высокоскоростная сеть, которая делает соединения между устройствами хранения и серверами.

Традиционно серверы приложений использовали свои собственные устройства хранения, прикрепленные к ним. Разговор с этими устройствами с помощью протокола, известного как SCSI (Small Computer System Interface). SCSI — это не что иное, как стандарт, используемый для связи между серверами и устройствами хранения. Все обычные жесткие диски, ленточные накопители и т.д. Используют SCSI. Вначале требования к хранилищу сервера выполнялись устройствами хранения, которые были включены внутри сервера (сервер, используемый для разговора с этим внутренним устройством хранения данных, используя SCSI. Это очень похоже на то, как обычный рабочий стол разговаривает с его внутренним жесткий диск.).

Такие устройства, как компакт-диски, подключаются к серверу (который является частью сервера) с использованием SCSI. Основным преимуществом SCSI для подключения устройств к серверу была его высокая пропускная способность. Хотя этой архитектуры достаточно для низких требований, существует несколько ограничений, таких как приведенные ниже.

• Сервер может получать доступ только к данным на устройствах, которые непосредственно привязаны к нему.
  Если что-то случится с сервером, доступ к данным завершится неудачно (поскольку устройство хранения является частью сервера и подключено к нему с использованием SCSI)
• Ограничение количества устройств хранения, к которым может получить доступ сервер. В случае, если серверу требуется больше места для хранения, не будет больше места, которое можно подключить, поскольку шина SCSI может вместить только конечное число устройств.
• Кроме того, сервер, использующий хранилище SCSI, должен находиться рядом с устройством хранения (поскольку параллельный SCSI, который является обычной реализацией на большинстве компьютеров и серверов, имеет некоторые ограничения на расстояние, он может работать до 25 метров).

Некоторые из этих ограничений можно преодолеть с помощью DAS (непосредственно привязанного хранилища). Смарт, используемый для прямого подключения хранилища к серверу, может быть любым из каналов SCSI, Ethernet, Fiber и т. Д.). Низкая сложность, низкие инвестиции, простота в развертывании привела к тому, что DAS были приняты многими для нормальных требований. Решение было хорошим даже с точки зрения производительности, если оно используется с более быстрыми средами, такими как волоконный канал.

Даже внешний USB-накопитель, подключенный к серверу, также является DAS (хорошо концептуально его DAS, так как он непосредственно подключен к USB-шине сервера). Но USB-накопители обычно не используются из-за ограничения скорости шины USB. Обычно для тяжелых и больших систем хранения данных DAS используется носитель SAS (последовательно подключенный SCSI). Внутренне устройство хранения данных может использовать RAID (что обычно имеет место) или что-либо, чтобы обеспечить объемы хранения на серверах. В настоящее время параметры хранения SAS обеспечивают скорость 6 Гбит / с.

Примером устройства хранения данных DAS является MD1220 от Dell.

На сервере хранилище DAS будет очень похоже на собственный накопитель или внешний накопитель, который вы подключили.

Хотя DAS хорош для нормальных потребностей и дает хорошую производительность, существуют такие ограничения, как количество серверов, которые могут получить к нему доступ. Храните устройство или скажем, что хранилище DAS должно находиться рядом с сервером (в той же стойке или в пределах допустимого расстояния используемого носителя).

Можно утверждать, что непосредственно прикрепленное хранилище (DAS) работает быстрее, чем любые другие методы хранения. Это связано с тем, что он не связан с некоторыми издержками передачи данных по сети (вся передача данных происходит на выделенном соединении между сервером и устройством хранения. В основном его последовательно подключен SCSI или SAS). Однако из-за последних улучшений в волоконном канале и других механизмах кэширования SAN также обеспечивает лучшую скорость, подобную DAS, и в некоторых случаях превосходит скорость, предоставляемую DAS.

Прежде чем войти в SAN, давайте разобраться в нескольких типах и методах мультимедиа, которые используются для соединения устройств хранения данных (когда я говорю о устройствах хранения данных, пожалуйста, не рассматривайте его как один жесткий диск. Возьмите его как массив дисков, возможно, на каком-то уровне RAID. Считайте это чем-то вроде Dell MD1200).

Что такое SAS (Serial Attached SCSI), FC (Fibre Channel) и iSCSI (Internet Small Computer System Interface)?

Традиционно устройства SCSI, такие как внутренний жесткий диск, подключаются к общей параллельной шине SCSI. Это означает, что все подключенные устройства будут использовать одну и ту же шину для отправки / получения данных. Но совместные параллельные соединения не очень хороши для высокой точности и создают проблемы при высокоскоростных передачах. Однако последовательное соединение между устройством и сервером может увеличить общую пропускную способность передачи данных. SAS между устройствами хранения и серверами использует выделенный 300 МБ / сек на диск. Подумайте о шине SCSI, которая имеет одинаковую скорость для всех подключенных устройств.

SAS использует одни и те же команды SCSI для отправки и приема данных с устройства. Также, пожалуйста, не думайте, что SCSI используется только для внутреннего хранилища. Он также используется для подключения внешнего устройства хранения к серверу.

Если производительность передачи данных и надежность являются выбором, то использование SAS — лучшее решение. С точки зрения надежности и частоты ошибок диски SAS намного лучше по сравнению со старыми дисками SATA. SAS был разработан с учетом производительности, благодаря которой он является полнодуплексным. Это означает, что данные могут быть отправлены и приняты одновременно с устройства, использующего SAS. Также один хост-порт SAS может подключаться к нескольким дискам SAS с использованием расширителей. SAS использует передачу данных точка-точка, используя последовательную связь между устройствами (устройствами хранения, такими как дисковые накопители и дисковые массивы) и хостами.

Первое поколение SAS обеспечило скорость 3Gb / s. Второе поколение SAS улучшило это до 6 Гбит / с. И третье поколение (которое в настоящее время используется многими организациями для экстремально высокой пропускной способности) улучшило это до 12 Гбит / с.

Протокол Fibre Channel

Fibre Channel — относительно новая технология межсоединений, используемая для быстрой передачи данных. Основная цель его конструкции — обеспечить передачу данных с более высокими скоростями с очень низкой / незначительной задержкой. Он может использоваться для соединения рабочих станций, периферийных устройств, массивов хранения и т. Д.

Основным фактором, который отличает оптоволоконный канал от другого метода соединения, является то, что он может управлять как сетью, так и связью ввода-вывода по одному каналу с использованием одних и тех же адаптеров.

ANSI (Американский национальный институт стандартов) стандартизовал канал Fiber в течение 1988 года. Когда мы говорим, что Fiber (в канале Fiber) не думает, что он поддерживает только среду оптического волокна. Fiber — термин, используемый для любого носителя, используемого для соединения по протоколу волоконного канала. Вы даже можете использовать медный провод для более низкой стоимости.

Обратите внимание на то, что стандарт волоконных каналов от ANSI поддерживает сетевое взаимодействие, хранение и передачу данных. Канал Fiber не знает тип данных, которые вы передаете. Он может отправлять команды SCSI, инкапсулированные в кадр волоконного канала (у него нет собственных команд ввода-вывода для отправки и получения памяти). Основное преимущество заключается в том, что он может включать широко распространенные протоколы, такие как SCSI и IP внутри.

Ниже перечислены компоненты соединения волоконного канала. Требование ниже минимально для достижения одноточечного соединения. Обычно это может использоваться для прямого соединения между массивом хранения и хостом.

• HBA (адаптер основной шины) с портом Fibre Channel
• Драйвер для карты HBA
• Кабели для соединения устройств в канале волоконно-оптического канала HBA

Как упоминалось ранее, протокол SCSI инкапсулируется внутри волоконного канала. Таким образом, обычно данные SCSI должны быть изменены в другом формате, который волоконный канал может доставить в пункт назначения. И когда получатель получает данные, он передает его на SCSI.

Возможно, вы думаете, почему нам нужно это сопоставление и переназначение, почему мы не можем напрямую использовать SCSI для доставки данных. Это связано с тем, что SCSI не может доставлять данные на большие расстояния до большого количества устройств (или большого количества хостов).

Канал волокна можно использовать для соединения систем до 10 км (если они используются с оптическими волокнами, вы можете увеличить это расстояние за счет наличия повторителей между ними). И вы также можете передавать данные в размере 30 м с использованием медного провода для снижения стоимости в канале волокна.

С появлением коммутаторов оптоволоконных каналов от множества крупных поставщиков, подключение большого количества устройств хранения и серверов стало легкой задачей (при условии, что у вас есть бюджет для инвестиций). Сетевая способность волоконного канала привела к передовому внедрению SAN (Storage Area Networks) для быстрого, долгого и надежного доступа к данным. Большая часть вычислительной среды (которая требует быстрой передачи больших объемов данных) использует волоконно-оптический канал SAN с оптоволоконными кабелями.

Текущий стандарт волоконного канала (называемый 16GFC) может передавать данные со скоростью 1600 МБ / с (не забывайте, что этот стандарт был выпущен в 2011 году). Ожидается, что предстоящие стандарты в ближайшие годы обеспечат скорость 3200 Мбайт / с и 6400 Мбайт / с.

Интерфейс iSCSI (интерфейс для работы с малыми компьютерами)

iSCSI — это не что иное, как стандарт на основе IP для соединения массивов и узлов хранения. Он используется для переноса трафика SCSI через IP-сети. Это самое простое и дешевое решение (хотя и не лучшее) для подключения к запоминающему устройству.

Это отличная технология для хранения, не зависящего от местоположения. Поскольку он может установить соединение с устройством хранения данных с использованием локальных сетей, глобальной сети. Его стандарт межсетевого взаимодействия с сетью хранения. Он не требует специальных кабелей и оборудования, как в случае сети волоконных каналов.

Для системы, использующей массив хранения с iSCSI, хранилище отображается как локально подключенный диск. Эта технология появилась после волоконного канала и была широко принята благодаря низкой стоимости.

Это сетевой протокол, который выполняется поверх TCP / IP. Вы можете догадаться, что это не очень хорошая производительность по сравнению с оптоволоконным каналом (просто потому, что все работает по TCP без специального оборудования и изменений в вашей архитектуре).

iSCSI вводит немного нагрузки на процессор на сервере, потому что сервер должен выполнять дополнительную обработку для всех запросов на хранение по сети с помощью обычного TCP.

iSCSI имеет следующие недостатки, по сравнению с оптоволоконным каналом

• iSCSI вводит немного больше латентности по сравнению с оптоволоконным каналом из-за накладных расходов на заголовки IP
• Приложения базы данных имеют небольшие операции чтения и записи, которые, когда они выполняются на iSCSI,
  iSCSI, когда выполняется в той же локальной сети, которая содержит другой обычный трафик (другой инфраструктурный трафик, отличный от iSCSI), приведет к задержке чтения / записи или низкой производительности.
• Максимальная скорость / пропускная способность ограничена скоростью вашего Ethernet и сети. Даже если вы объединяете несколько ссылок, он не масштабируется до уровня волоконного канала.

NAS (сетевое хранилище)

Простейшим определением NAS является «Любой сервер, который имеет собственное хранилище с другими в сети и выступает в качестве файлового сервера, является самой простой формой NAS».

Пожалуйста, обратите внимание на то, что Network Attached Storage совместно использует файлы по сети. Не устройство хранения данных по сети.

NAS будет использовать Ethernet-соединение для обмена файлами по сети. Устройство NAS будет иметь IP-адрес, а затем будет доступно через сеть через этот IP-адрес. Когда вы получаете доступ к файлам на файловом сервере в вашей системе Windows, это в основном NAS.

Основное различие заключается в том, как ваш компьютер или сервер обрабатывает конкретное хранилище. Если компьютер рассматривает хранилище как часть себя (подобно тому, как вы присоединяете DAS к вашему серверу), другими словами, если процессор сервера отвечает за управление прикрепленным хранилищем, это будет своего рода DAS. И если компьютер / сервер рассматривает хранилище, прикрепленное как другой компьютер, который делится своими данными через сеть, то это NAS.

Прямо подключенное хранилище (DAS) можно рассматривать как любое другое периферийное устройство, такое как клавиатура мыши и т. Д. Так как сервер / компьютер — это прямое устройство хранения данных. Однако NAS — это еще один сервер или сказать, что оборудование имеет свои собственные вычислительные функции, которые могут совместно использовать собственное хранилище с другими.

Даже SAN-хранилище также можно рассматривать как оборудование, имеющее собственную вычислительную мощность. Таким образом, основное различие между NAS, SAN и DAS заключается в том, как видит сервер / компьютер. Устройство хранения данных DAS появляется на сервере как часть самого себя. Сервер видит его как свою физическую часть. Хотя хранилище DAS не может находиться внутри сервера (обычно это другое устройство со своим собственным массивом хранения), сервер видит его как свою внутреннюю часть (хранилище DAS появляется на сервере как собственное внутреннее хранилище)

Когда мы говорим о NAS, нам нужно назвать их акциями, а не устройствами хранения. Поскольку NAS появляется на сервере как общая папка вместо общего устройства по сети. Не забывайте, что NAS-устройства сами по себе являются компьютерами, которые могут делиться своим хранилищем с другими. Когда вы совместно используете папку с контролем доступа, используя SAMBA, ее NAS.

Хотя NAS — более дешевый вариант для ваших потребностей в хранении. Это действительно не подходит для высокопроизводительного приложения уровня предприятия. Никогда не думайте об использовании хранилища баз данных (которое должно быть высокопроизводительным) с NAS. Основным недостатком использования NAS является проблема с производительностью и зависимость от сети (в большинстве случаев LAN, которая используется для обычного трафика, также используется для совместного использования хранилища с NAS, что делает его более перегруженным).

Когда вы совместно экспортируете NFS по сети, это также форма NAS.

NAS — это не что иное, как устройство / equipmet / server, подключенное к сети TCP / IP, которое имеет собственное хранилище с другими. Если вы копаете немного глубже, когда запрос на чтение / запись файла отправляется на общий ресурс NAS, подключенный к серверу, запрос отправляется в виде систем CIFS (общая интернет-файловая система) или NFS (Network File System) сеть. Принимающая сторона (устройство NAS) при приеме запроса NFS, CIFS затем преобразует его в набор команд локального хранилища ввода-вывода. Именно по этой причине NAS-устройство имеет собственную вычислительную мощность.

Таким образом, NAS — это хранилище на уровне файлов (поскольку в основном это технология обмена файлами). Это связано с тем, что он скрывает фактическую файловую систему под капотом. Это дает пользователям интерфейс для доступа к его общей памяти с помощью NFS или CIFS.

Общее использование NAS, которое вы можете найти, — предоставить каждому пользователю домашний каталог. Эти домашние каталоги хранятся на устройстве NAS и монтируются на компьютер, где пользователь входит в систему. Поскольку домашний каталог доступен в сети, пользователь может входить в систему с любого компьютера в сети.

Преимущества NAS

• NAS имеет менее сложную архитектуру по сравнению с SAN
• Его дешевле развертывать в существующей архитектуре.
• В вашей архитектуре не требуется никаких изменений, так как обычная сеть TCP / IP является единственным требованием

Недостатки NAS

• NAS медленный
• Низкая пропускная способность и высокая латентность, благодаря чему ее нельзя использовать для высокопроизводительных приложений

Возвращение в SAN

Теперь давайте вернемся к обсуждению SAN (сети хранения данных), которые мы начали ранее в начале.

Первой и самой важной задачей для понимания SAN (помимо того, что мы уже обсуждали в начале) является тот факт, что это решение для хранения на уровне блоков. И SAN оптимизирован для большого объема передачи данных уровня блока. SAN лучше всего работает при использовании со средой волоконного канала (оптические волокна и коммутатор волоконного канала).

Название «Сеть хранения данных» подразумевает, что хранилище находится в собственной выделенной сети. Хосты могут подключать устройство хранения к себе, используя либо Fibre Channel, сеть TCP / IP (SAN использует iSCSI при использовании по сети tcp / ip).

SAN можно рассматривать как технологию, которая сочетает в себе лучшие функции как DAS, так и NAS. Если вы помните, DAS появляется на компьютере как свое собственное устройство хранения данных и хорошо известно, DAS также является решением для хранения на уровне блоков (если вы помните, мы никогда не говорили о CIFS или NFS во время DAS). NAS известен своей гибкостью, основным доступом через сеть, контролем доступа и т.д. SAN сочетает в себе лучшие возможности обоих этих миров, потому что…

• SAN-хранилище также появляется на сервере как свое собственное устройство хранения данных
• Его решение для хранения на уровне блоков
• Хорошая производительность / скорость
• Сетевые функции с использованием iSCSI

SAN и NAS не являются конкурирующими технологиями, но предназначены для различных нужд и задач. Поскольку SAN представляет собой решение для хранения на уровне блоков, оно наилучшим образом подходит для хранения данных с высокой производительностью, хранения электронной почты и т. Д. Большинство современных решений SAN обеспечивают зеркалирование диска, архивирование функций резервного копирования и репликации.

SAN представляет собой выделенную сеть устройств хранения (может включать в себя накопители на магнитных лентах, массивы RAID-массивов и т. Д.), Которые работают вместе, чтобы обеспечить превосходное хранение на уровне блоков. В то время как NAS — это одно устройство / сервер / вычислительное устройство, он использует собственное хранилище по сети.

Основные отличия между SAN и NAS

SAN	NAS
Доступ к данным на уровне блоков	Доступ к данным уровня файла
Канал Fiber является основным носителем, используемым с SAN.	Ethernet — это основной носитель, используемый с NAS
SCSI является основным протоколом ввода-вывода	NFS / CIFS используется в качестве основного протокола ввода-вывода в NAS
Хранилище SAN отображается на компьютере как собственное хранилище	Загрузки NAS в качестве общей папки на компьютер
Он может иметь отличную скорость и производительность при использовании со световодами	Иногда это может ухудшить производительность, если сеть используется и для других вещей (что обычно имеет место)
Используется, главным образом, для хранения данных уровня более высокого уровня производительности	Используется для небольших операций чтения и записи на большие расстояния

И прочего, среды передачи данных и подключенных к ней серверов. Обычно используется достаточно крупными компаниями, имеющими развитую IT инфраструктуру, для надежного хранения данных и скоростного доступа к ним.
Упрощенно, СХД — это система, позволяющая раздавать серверам надежные быстрые диски изменяемой емкости с разных устройств хранения данных.

Немного теории.
Сервер к хранилищу данных можно подключить несколькими способами.
Первый и самый простой — DAS, Direct Attached Storage (прямое подключение), без затей ставим диски в сервер, или массив в адаптер сервера — и получаем много гигабайт дискового пространства со сравнительно быстрым доступом, и при использовании RAID-массива — достаточную надежность, хотя копья на тему надежности ломают уже давно.
Однако такое использование дискового пространства не оптимально — на одном сервере место кончается, на другом его еще много. Решение этой проблемы — NAS, Network Attached Storage (хранилище, подключенное по сети). Однако при всех преимуществах этого решения — гибкости и централизованного управления — есть один существенный недостаток — скорость доступа, еще не во всех организациях внедрена сеть 10 гигабит. И мы подходим к сети хранения данных.

Главное отличие SAN от NAS (помимо порядка букв в аббревиатурах) — это то, каким образом видятся подключаемые ресурсы на сервере. Если в NAS ресурсы подключаются протоколам NFS или SMB , в SAN мы получаем подключение к диску, с которым можем работать на уровне операций блочного ввода-вывода, что гораздо быстрее сетевого подключения (плюс контроллер массива с большим кэшем добавляет скорости на многих операциях).

Используя SAN, мы сочетаем преимущества DAS — скорость и простоту, и NAS — гибкость и управляемость. Плюс получаем возможность масштабирования систем хранения до тех пор, пока хватает денег, параллельно убивая одним выстрелом еще несколько зайцев, которых сразу не видно:

* снимаем ограничения на дальность подключения SCSI -устройств, которые обычно ограничены проводом в 12 метров,
* уменьшаем время резервного копирования,
* можем грузиться с SAN,
* в случае отказа от NAS разгружаем сеть,
* получаем большую скорость ввода-вывода за счет оптимизации на стороне системы хранения,
* получаем возможность подключать несколько серверов к одному ресурсу, это нам дает следующих двух зайцев:
- на полную используем возможности VMWare — например VMotion (миграцию виртуальной машины между физическими) и иже с ними,
- можем строить отказоустойчивые кластеры и организовывать территориально распределенные сети.

Что это дает?
Помимо освоения бюджета оптимизации системы хранения данных, мы получаем, вдобавок к тому что я написал выше:

* увеличение производительности, балансировку нагрузки и высокую доступность систем хранения за счет нескольких путей доступа к массивам;
* экономию на дисках за счет оптимизации расположения информации;
* ускоренное восстановление после сбоев — можно создать временные ресурсы, развернуть на них backup и подключить к ним сервера, а самим без спешки восстанавливать информацию, или перекинуть ресурсы на другие сервера и спокойно разбираться с умершим железом;
* уменьшение время резервного копирования — благодаря высокой скорости передачи можно бэкапиться на ленточную библиотеку быстрее, или вообще сделать snapshot (мгновенный снимок) с файловой системы и спокойно архивировать его;
* дисковое место по требованию — когда нам нужно — всегда можно добавить пару полок в систему хранения данных.
* уменьшаем стоимость хранения мегабайта информации — естественно, есть определенный порог, с которого эти системы рентабельны.
* надежное место для хранения mission critical и business critical данных (без которых организация не может существовать и нормально работать).
* отдельно хочу упомянуть VMWare — полностью все фишки вроде миграции виртуальных машин с сервера на сервер и прочих вкусностей доступны только на SAN.

Из чего это состоит?
Как я писал выше — СХД состоит из устройств хранения, среды передачи и подключенных серверов. Рассмотрим по порядку:

Системы хранения данных обычно состоят из жестких дисков и контроллеров, в уважающей себя системе как правило всего по 2 — по 2 контроллера, по 2 пути к каждому диску, по 2 интерфейса, по 2 блока питания, по 2 администратора. Из наиболее уважаемых производителей систем следует упомянуть HP, IBM, EMC и Hitachi. Тут процитирую одного представителя EMC на семинаре — «Компания HP делает отличные принтеры. Вот пусть она их и делает!» Подозреваю, что в HP тоже очень любят EMC. Конкуренция между производителями нешуточная, впрочем, как и везде. Последствия конкуренции — иногда вменяемые цены за мегабайт системы хранения и проблемы с совместимостью и поддержкой стандартов конкурентов, особенно у старого оборудования.

Среда передачи данных .

Обычно SAN строят на оптике, это дает на текущий момент скорость в 4, местами в 8 гигабит на канал. При построении раньше использовались специализированные хабы, сейчас больше свитчи, в основном от Qlogic, Brocade, McData и Cisco (последние два на площадках не видел ни разу). Кабели используются традиционные для оптических сетей — одномодовые и многомодовые , одномодовые более дальнобойные.
Внутри используется FCP — Fibre Channel Protocol , транспортный протокол. Как правило внутри него бегает классический SCSI, а FCP обеспечивает адресацию и доставку. Есть вариант с подключением по обычной сети и iSCSI , но он обычно использует (и сильно грузит) локальную, а не выделенную под передачу данных сеть, и требует адаптеров с поддержкой iSCSI, ну и скорость помедленнее, чем по оптике.

Есть еще умное слово топология, которое встречается во всех учебниках по SAN. Топологий несколько, простейший вариант — точка-точка (point to point), соединяем между собой 2 системы. Это не DAS, а сферический конь в вакууме простейший вариант SAN. Дальше идет управляемая петля (FC-AL), она работает по принципу «передай дальше» — передатчик каждого устройства соединен с приемником последующего, устройства замкнуты в кольцо. Длинные цепочки имеют свойство долго инициализироваться.

Ну и заключительный вариант — коммутируемая структура (Fabric), она создается с помощью свитчей. Структура подключений строится в зависимости от количества подключаемых портов, как и при построении локальной сети. Основной принцип построения — все пути и связи дублируются. Это значит, что до каждого устройства в сети есть минимум 2 разных пути. Здесь тоже употребимо слово топология , в смысле организации схемы подключений устройств и соединения свитчей. При этом как правило свитчи настраиваются так, что сервера не видят ничего, кроме предназначенных им ресурсов. Это достигается за счет создания виртуальных сетей и называется зонированием, ближайшая аналогия — VLAN . Каждому устройству в сети присваивается аналог MAC -адреса в сети Ethernet, он называется WWN — World Wide Name . Он присваивается каждому интерфейсу и каждому ресурсу (LUN) систем хранения данных. Массивы и свитчи умеют разграничивать доступ по WWN для серверов.

Сервера подключают к СХД через HBA - Host Bus Adapter -ы. По аналогии с сетевыми картами существуют одно-, двух-, четырехпортовые адаптеры. Лучшие "собаководы" рекомендуют ставить по 2 адаптера на сервер, это позволяет как осуществлять балансировку нагрузки, так и обеспечивает надежность.

А дальше на системах хранения нарезаются ресурсы, они же диски (LUN) для каждого сервера и оставляется место в запас, все включается, установщики системы прописывают топологию, ловят глюки в настройке свитчей и доступа, все запускается и все живут долго и счастливо*.
Я специально не касаюсь разных типов портов в оптической сети, кому надо — тот и так знает или прочитает, кому не надо — только голову забивать. Но как обычно, при неверно установленном типе порта ничего работать не будет.

Из опыта.
Обычно при создании SAN заказывают массивы с несколькими типами дисков: FC для скоростных приложений, и SATA или SAS для не очень быстрых. Таким образом получаются 2 дисковые группы с различной стоимостью мегабайта — дорогая и быстрая, и медленная и печальная дешевая. На быструю вешаются обычно все базы данных и прочие приложения с активным и быстрым вводом-выводом, на медленную — файловые ресурсы и все остальное.

Если SAN создается с нуля — имеет смысл строить ее на основе решений от одного производителя. Дело в том, что, несмотря на заявленное соответствие стандартам, существуют подводные грабли проблемы совместимости оборудования, и не факт, что часть оборудования будет работать друг с другом без плясок с бубном и консультаций с производителями. Обычно для утряски таких проблем проще позвать интегратора и дать ему денег, чем общаться с переводящими друг на друга стрелки производителями.

Если SAN создается на базе существующей инфраструктуры — все может быть сложно, особенно если есть старые SCSI массивы и зоопарк старой техники от разных производителей. В этом случае имеет смысл звать на помощь страшного зверя интегратора, который будет распутывать проблемы совместимости и наживать третью виллу на Канарах.

Часто при создании СХД фирмы не заказывают поддержку системы производителем. Обычно это оправдано, если у фирмы есть штат грамотных компетентных админов (которые уже 100 раз назвали меня чайником) и изрядный капитал, позволяющий закупить запасные комплектующие в потребных количествах. Однако компетентных админов обычно переманивают интеграторы (сам видел), а денег на закупку не выделяют, и после сбоев начинается цирк с криками «Всех уволю!» вместо звонка в саппорт и приезда инженера с запасной деталью.

Поддержка обычно сводится к замене умерших дисков и контроллеров, ну и к добавлению в систему полок с дисками и новых серверов. Много хлопот бывает после внезапной профилактики системы силами местных специалистов, особенно после полного останова и разборки-сборки системы (и такое бывает).

Про VMWare. Насколько я знаю (спецы по виртуализации поправьте меня), только у VMWare и Hyper-V есть функционал, позволяющий «на лету» перекидывать виртуальные машины между физическими серверами. И для его реализации требуется, чтобы все сервера, между которыми перемещается виртуальная машина, были подсоединены к одному диску.

Про кластеры. Аналогично случаю с VMWare, известные мне системы построения отказоустойчивых кластеров (Sun Cluster, Veritas Cluster Server) — требуют подключенного ко всем системам хранилища.

Пока писал статью — у меня спросили — в какие RAIDы обычно объединяют диски?
В моей практике обычно делали или по RAID 1+0 на каждую дисковую полку с FC дисками, оставляя 1 запасной диск (Hot Spare) и нарезали из этого куска LUN-ы под задачи, или делали RAID5 из медленных дисков, опять же оставляя 1 диск на замену. Но тут вопрос сложный, и обычно способ организации дисков в массиве выбирается под каждую ситуацию и обосновывается. Та же EMC например идет еще дальше, и у них есть дополнительная настройка массива под приложения, работающие с ним (например под OLTP, OLAP). С остальными вендорами я так глубоко не копал, но догадываюсь, что тонкая настройка есть у каждого.

* до первого серьезного сбоя, после него обычно покупается поддержка у производителя или поставщика системы.

SAN Коммутаторы (SAN switches)

SAN коммутаторы используются в качестве центрального коммутирующего устройства для узлов сети SAN. Вы вставляете один конец оптического кабеля в разъем на адаптере вашего сервера или контроллере дискового массива, а другой в порт на коммутаторе. Коммутатор можно сравнить с набором проводов, которые скроссированы таким образом, чтобы позволить каждому устройству сети «говорить» по одному проводу с любым другим устройством сети одновременно. Т.е, иными словами все абоненты могут разговаривать одновременно.
Один или несколько коммутаторов, соединенных между собой образуют фабрику. Одна фабрика может состоять из одного или нескольких коммутаторов (до 239 в настоящее время). Поэтому, фабрику можно определить как сеть, состоящую из соединенных между собой коммутаторов. SAN может состоять из нескольких фабрик. Большинство SAN состоит по крайне мере из двух фабрик, одна из которых является резервной.
Вы можете подключить серверы и хранилища к SAN используя один коммутатор, но правилом хорошего тона является использование двух коммутаторов, дабы избежать потерю данных и простои при выходе из строя одного из них. На рисунке 1 показана обычная фабрика, использующая два коммутатора для соединения серверов с дисковым массивом.

Рис 1. Простейшая фабрика с использованием 2-х коммутаторов.

С увеличением количества серверов и хранилищ в вашей SAN вы просто добавляете коммутаторы.

Рис 2. Расширение SAN Fabric

Модульные или обычные коммутаторы (modular switches)

SAN коммутаторы бывают на любой вкус от 8 до сотен портов. Большинство модульных коммутаторов поставляется с 8 или 16 портами. Последним веянием является возможность наращивать количество портов на приобретенном коммутаторе с инкрементом 4. Типичным примером такого коммутатора может служить Qlogic SANbox 5200 (рис. 3). Этот продукт вы можете приобрести с 8-ю портами в базе, и наращивать затем до 16 в одном модуле и до 64 портов (!) в четырех модулях, соединяемых между собой 10 гигабитным FC.

Рис 3. Qlogic SANbox 5200 - четырехмодульный стек с 64 портами

Директоры или коммутаторы класса предприятия (director switches)

Директоры на много дороже модульных коммутаторов и обычно содержат сотни портов (рис. 4). Директоры можно увидеть в центре очень больших коммутированных фабрик в качестве ядра сети. Директоры обладают исключительной отказоустойчивостью и поддерживают работоспособность всей инфраструктуры 24 часа в сутки, 7 дней в неделю. Они позволяют осуществлять регламентные работы и замену модулей «на лету».

Рис. 4. SilkWorm 1200 128 port и McData InterPid 6140

Директор состоит из платформы, модулей портов горячей замены (обычно 12 или 16 портов) и процессорных модулей горячей замены (обычно двухпроцессорных). Директор можно приобрести с 32 портами и наращивать его до 128 – 140 портов.
В корпоративных сетях SAN обычно используют директоры в качестве ядра сети. К ним подключают модульные коммутаторы в качестве оконечных (граничных) коммутаторов. К тем, в свою очередь подключают серверы и хранилища. Такая топология называется ядро-граница (core-to-edge topology) и позволяет масштабировать сеть до тысяч портов (рис. 5).

Рис. 5. Топология ядро-граница с использованием директоров.

SAN маршрутизаторы или мультипротокльные коммутаторы (multiprotocol switches)

SAN маршрутизаторы служат для соединения удаленных островков SAN в единую сеть для решения задач защиты от катастроф, консолидации ресурсов хранения, организации процедур back-up данных удаленных подразделений на ленточные и дисковые ресурсы головного центра данных и т.д (рис 6.). Объединение удаленных сетей SAN в единый ресурс это следующий шаг в эволюции сетей хранения данных после внедрения SAN в головной структуре и подразделениях предприятий (рис. 7).

Рис. 6: McDATA Eclipse 1620, 3300 и 4300

Рис. 7: Объединение удаленных сетей SAN в единый ресурс

Островки SAN можно соединить, используя протокол FC и обычные модульные коммутаторы или директоры, через одномодовый оптический кабель (single mode cable или dark fiber) или же используя оборудование мультиплексирования (DWDM). Однако такой метод не позволит вам выйти за рамки города (радиус 70 км.). Для большего удаления понадобится протокол Fiber Channel over IP (FCIP, http://www.iscsistorage.com/ipstorage.htm), реализованный в маршрутизаторах Eclipse компании McData (рис. 6). FCIP «заворачивает» каждый кадр FC в пакет IP для транспорта через сеть IP. Принимающая сторона распаковывает пакет IP и достает оттуда оригинальный кадр FC для дальнейшей передачи уже по локальной сети FC. Здесь расстояния не ограничены. Все дело лишь в скорости вашего канала IP.

Типы FC кабелей

В качестве физической среды передачи данных в сетях FC используют оптоволоконный или медный кабель. Медный кабель представляет собой витую пару в оболочке и использовался в основном для местных подключений в сетях FC 1Gbit/s. В современных сетях FC 2Gbit/s в основном используется оптоволоконный кабель.
Существует два вида оптоволоконного кабеля: одномодовый и многомодовый.

Одномодовый кабель (long wave)

В одномодовом кабеле (SM) существует единственный путь распространения световой волны. Размер сердцевины (core size) обычно составляет 8.3 мк. Одномодовые кабели используются в устройствах, в которых требуется низкий уровень исчезновения (потери) сигнала и высокая скорость передачи данных, например на больших интервалах между двумя системами или сетевыми устройствами. Например, между сервером и хранилищем, расстояние между которыми, несколько десятков километров.

Максимальное расстояние между двумя узлами сети FC 2Gbit, соединенных одномодовым кабелем 80км без повторителей.

Многомодовый кабель (short wave)

Многомодовый кабель (MM) способен передавать по одному волокну несколько световых волн, так как относительно большой размер сердцевины позволяет свету распространяться под различными углами (рефракция). Типичными размерами сердцевины для MM являются 50 мк и 62.5 мк. Многомодовые волоконные соединения лучше всего подходят для устройств, работающих на небольших расстояниях. Внутри офиса, здания.

Максимальное расстояние на которое многомодовый кабель поддерживает скорость 2 Gbit/s – 300 (50um) и 150м (62,5 um).

Типы разъемов FC кабелей (Cable connector types)

Разъемы FC кабелей бывают:

Типы трансиверов (GBIC types)

Устройства для преобразования света в электрический сигнал и наоборот, называют трансиверами. Их еще называют GBIC (Gigabit Interface Connectors). Трансивер находится на плате FC адаптера (FC HBA), обычно он впаян в нее, в свитче - в виде съемного модуля (см. рис.) и на устройстве хранения в том или ином виде.

Трансиверы бывают:

SFP-LC	HSSDC2

Cъемные модули трансиверов (SFP)

HSSDC2 : для 1/2Gbit FC для медного кабеля
SFP-LC : (Small Form Factor Pluggable LC) 1/2Gbit FC Short/Long wave для оптоволоконного кабеля с LC коннектором
SFP-SC : (Small Form Factor Pluggable SC) 1/2Gbit FC Short/Long wave для оптоволоконного кабеля с SC коннектором

С повседневным усложнением сетевых компьютерных систем и глобальных корпоративных решений мир начал требовать технологий, которые бы дали толчок к возрождению корпоративных систем хранения информации (сторедж-систем). И вот, одна единая технология приносит в мировую сокровищницу достижений в области сторедж невиданное ранее быстродействие, колоссальные возможности масштабирования и исключительные преимущества общей стоимости владения. Обстоятельства, которые сформировались с появлением стандарта FC-AL (Fibre Channel - Arbitrated Loop) и SAN (Storage Area Network), которая развивается на его основе, обещают революцию в дата-ориентированных технологиях компьютинга.

«The most significant development in storage we"ve seen in 15 years»

Data Communications International, March 21, 1998

Формальное определение SAN в трактовке Storage Network Industry Association (SNIA):

«Сеть, главной задачей которой является передача данных между компьютерными системами и устройствами хранения данных, а также между самими сторедж-системами. SAN состоит из коммуникационной инфраструктуры, которая обеспечивает физическую связь, а также отвечает за уровень управления (management layer), который объединяет связи, сторедж и компьютерные системы, осуществляя передачу данных безопасно и надежно».

SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000

Варианты организации доступа к сторедж-системам

Различают три основных варианта организации доступа к системам хранения:

• SAS (Server Attached Storage), сторедж, присоединенный к серверу;
• NAS (Network Attached Storage), сторедж, подсоединенный к сети;
• SAN (Storage Area Network), сеть хранения данных.

Рассмотрим топологии соответствующих сторедж-систем и их особенности.

SAS

Сторедж-система, присоединенная к серверу. Знакомый всем, традиционный способ подключения системы хранения данных к высокоскоростному интерфейсу в сервере, как правило, к параллельному SCSI интерфейсу.

Рисунок 1. Server Attached Storage

Использование отдельного корпуса для сторедж-системы в рамках топологии SAS не является обязательным.

Основное преимущество сторедж, подсоединенного к серверу, в сравнении с другими вариантами - низкая цена и высокое быстродействие из расчета один сторедж для одного сервера. Такая топология является самой оптимальной в случае использования одного сервера, через который организуется доступ к массиву данных. Но у нее остается ряд проблем, которые побудили проектировщиков искать другие варианты организации доступа к системам хранения данных.

К особенностям SAS можно отнести:

• Доступ к данных зависит от ОС и файловой системы (в общем случае);
• Сложность организации систем с высокой готовностью;
• Низкая стоимость;
• Высокое быстродействие в рамках одной ноды;
• Уменьшение скорости отклика при загрузке сервера, который обслуживает сторедж.

NAS

Сторедж-система, подсоединенная к сети. Этот вариант организации доступа появился сравнительно недавно. Основным его преимуществом является удобство интеграции дополнительной системы хранения данных в существующие сети, но сам по себе он не привносит сколь-нибудь радикальных улучшений в архитектуру сторедж. Фактически NAS есть чистый файл-сервер, и сегодня можно встретить немало новых реализаций сторедж типа NAS на основе технологии тонкого сервера (Thin Server).

Рисунок 2. Network Attached Storage.

Особенности NAS:

• Выделенный файл-сервер;
• Доступ к данным не зависит от ОС и платформы;
• Удобство администрирования;
• Максимальная простота установки;
• Низкая масштабируемость;
• Конфликт с трафиком LAN/WAN.

Сторедж, построенный по технологии NAS, является идеальным вариантом для дешевых серверов с минимальным набором функций.

SAN

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года. Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, занимающихся их прямой обработкой. Такая сеть создается на основе стандарта Fibre Channel, что дает сторедж-системам преимущества технологий LAN/WAN и возможности по организации стандартных платформ для систем с высокой готовностью и высокой интенсивностью запросов. Почти единственным недостатком SAN на сегодня остается относительно высокая цена компонент, но при этом общая стоимость владения для корпоративных систем, построенных с использованием технологии сетей хранения данных, является довольно низкой.

Рисунок 3. Storage Area Network.

К основным преимуществам SAN можно отнести практически все ее особенности:

• Независимость топологии SAN от сторедж-систем и серверов;
• Удобное централизованное управление;
• Отсутствие конфликта с трафиком LAN/WAN;
• Удобное резервирование данных без загрузки локальной сети и серверов;
• Высокое быстродействие;
• Высокая масштабируемость;
• Высокая гибкость;
• Высокая готовность и отказоустойчивость.

Следует также заметить, что технология эта еще довольно молодая и в ближайшее время она должна пережить немало усовершенствований в области стандартизации управления и способов взаимодействия SAN подсетей. Но можно надеяться, что это угрожает пионерам лишь дополнительными перспективами первенства.

FC как основа построения SAN

Подобно LAN, SAN может создаваться с использованием различных топологий и носителей. При построении SAN может использоваться как параллельный SCSI интерфейс, так и Fibre Channel или, скажем, SCI (Scalable Coherent Interface), но своей все возрастающей популярностью SAN обязана именно Fibre Channel. В проектировании этого интерфейса принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обеих технологий для того, чтобы получить что-то в самом деле революционно новое. Что именно?

Основные ключевые особенности канальных:

• Низкие задержки
• Высокие скорости
• Высокая надежность
• Топология точка-точка
• Небольшие расстояния между нодами
• Зависимость от платформы

и сетевых интерфейсов:

• Многоточечные топологии
• Большие расстояния
• Высокая масштабируемость
• Низкие скорости
• Большие задержки

объединились в Fibre Channel:

• Высокие скорости
• Независимость от протокола (0-3 уровни)
• Большие расстояния
• Низкие задержки
• Высокая надежность
• Высокая масштабируемость
• Многоточечные топологии

Традиционно сторедж интерфейсы (то, что находится между хостом и устройствами хранения информации) были преградой на пути к росту быстродействия и увеличению объема систем хранения данных. В то же время прикладные задачи требуют значительного прироста аппаратных мощностей, которые, в свою очередь, тянут за собой потребность в увеличении пропускной способности интерфейсов для связи со сторедж-системами. Именно проблемы построения гибкого высокоскоростного доступа к данным помогает решить Fibre Channel.

Стандарт Fibre Channel был окончательно определен за последние несколько лет (с 1997-го по 1999-й), на протяжении которых была проведена колоссальная работа по согласованию взаимодействия производителей различных компонент, и было сделано все необходимое, чтобы Fibre Channel превратился из чисто концептуальной технологии в реальную, которая получила поддержку в виде инсталляций в лабораториях и вычислительных центрах. В году 1997 были спроектированы первые коммерческие образцы краеугольных компонент для построения SAN на базе FC, таких как адаптеры, хабы, свичи и мосты. Таким образом, уже начиная с 1998-го года FC используется в коммерческих целях в деловой сфере, на производстве и в масштабных проектах реализации систем, критичных к отказам.

Fibre Channel - это открытый промышленный стандарт высокоскоростного последовательного интерфейса. Он обеспечивает подключение серверов и сторедж-систем на расстоянии до 10 км (при использовании стандартного оснащения) на скорости 100 MB/s (на выставке Cebit"2000 были представлены образцы продукции, которые используют новый стандарт Fibre Channel со скоростями 200 MB/s на одно кольцо, а в лабораторных условиях уже эксплуатируются реализации нового стандарта со скоростями 400 MB/s, что составляет 800 MB/s при использовании двойного кольца). (На момент публикации статьи ряд производителей уже начал отгружать сетевые карточки и свичи на FC 200 MB/s.) Fibre Channel одновременно поддерживает целый ряд стандартных протоколов (среди которых TCP/IP и SCSI-3) при использовании одного физического носителя, который потенциально упрощает построение сетевой инфраструктуры, к тому же это предоставляет возможности для уменьшения стоимости монтажа и обслуживания. Тем не менее использование отдельных подсетей для LAN/WAN и SAN имеет ряд преимуществ и является рекомендованным по умолчанию.

Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные сети, как правило, на основе концентраторов и коммутаторов, которые помогают предотвратить падение скорости при возрастании количества нод и создают возможности удобной организации систем без единой точки отказов.

Для лучшего понимания преимуществ и особенностей этого интерфейса приведем сравнительную характеристику FC и Parallel SCSI в виде таблицы.

Таблица 1. Сравнение технологий Fibre Channel и параллельного SCSI

В стандарте Fibre Channel предполагается использование разнообразных топологий, таких как точка-точка (Point-to-Point), кольцо или FC-AL концентратор (Loop или Hub FC-AL), магистральный коммутатор (Fabric/Switch).

Топология point-to-point используется для подсоединения одиночной сторедж-системы к серверу.

Loop или Hub FC-AL - для подсоединения множественных сторедж устройств к нескольким хостам. При организации двойного кольца увеличивается быстродействие и отказоустойчивость системы.

Коммутаторы используются для обеспечения максимального быстродействия и отказоустойчивости для сложных, больших и разветвленных систем.

Благодаря сетевой гибкости в SAN заложена чрезвычайно важная особенность - удобная возможность построения отказоустойчивых систем.

Предлагая альтернативные решения для систем хранения данных и возможности по объединению нескольких сторедж для резервирования аппаратных средств, SAN помогает обеспечивать защиту аппаратно-программных комплексов от аппаратных сбоев. Для демонстрации приведем пример создания двухнодовой системы без точек отказов.

Рисунок 4. No Single Point of Failure.

Построение трех- и более нодовых систем осуществляется простым добавлением в FC сеть дополнительных серверов и подключением их к обоим концентраторам/ коммутаторам).

При использовании FC построение устойчивых к сбоям (disaster tolerant) систем становится прозрачным. Сетевые каналы и для сторедж, и для локальной сети можно проложить на основе оптоволокна (до 10 км и больше с использованием усилителей сигнала) как физического носителя для FC, при этом используется стандартная аппаратура, которая дает возможность значительно уменьшить стоимость подобных систем.

Благодаря возможности доступа ко всем компонентам SAN из любой ее точки мы получаем чрезвычайно гибко управляемую сеть данных. При этом следует заметить, что в SAN обеспечивается прозрачность (возможность видеть) всех компонентов вплоть до дисков в сторедж-системах. Эта особенность подтолкнула производителей компонентов к использованию своего значительного опыта в построении систем управления для LAN/WAN с тем, чтобы заложить широкие возможности по мониторингу и управлению во все компоненты SAN. Эти возможности включают в себя мониторинг и управление отдельных нод, сторедж компонентов, корпусов, сетевых устройств и сетевых подструктур.

В системе управления и мониторинга SAN используются такие открытые стандарты, как:

• SCSI command set
• SCSI Enclosure Services (SES)
• SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
• SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
• Simple Network Management Protocol (SNMP)
• Web-Based Enterprise Management (WBEM)

Системы, построенные с использованием технологий SAN, не только обеспечивают администратору возможность следить за развитием и состоянием сторедж ресурсов, но и открывают возможности по мониторингу и контролю трафика. Благодаря таким ресурсам программные средства управления SAN реализуют наиболее эффективные схемы планирования объема сторедж и балансирование нагрузки на компоненты системы.

Сети хранения данных прекрасно интегрируются в существующие информационные инфраструктуры. Их внедрение не требует каких-либо изменений в уже существующих сетях LAN и WAN, а лишь расширяет возможности существующих систем, избавляя их от задач, ориентированных на передачу больших объемов данных. Причем при интеграции и администрировании SAN очень важным является то, что ключевые элементы сети поддерживают горячую замену и установку, с возможностями динамического конфигурирования. Так что добавить тот или другой компонент или осуществить его замену администратор может, не выключая систему. И весь этот процесс интеграции может быть визуально отображен в графической системе управления SAN.

Рассмотрев вышеперечисленные преимущества, можно выделить ряд ключевых моментов, которые непосредственно влияют на одно из основных преимуществ Storage Area Network - общую стоимость владения (Total Cost Ownership).

Невероятные возможности масштабирования позволяют предприятию, которое использует SAN, вкладывать деньги в серверы и сторедж по мере необходимости. А также сохранить свои вложения в уже инсталлированную технику при смене технологических поколений. Каждый новый сервер будет иметь возможность высокоскоростного доступа к сторедж и каждый дополнительный гигабайт сторедж будет доступен всем серверам подсети по команде администратора.

Прекрасные возможности по построению отказоустойчивых систем могут приносить прямую коммерческую выгоду от минимизации простоев и спасать систему в случае возникновения стихийного бедствия или каких-нибудь других катаклизмов.

Управляемость компонентов и прозрачность системы предоставляют возможность осуществлять централизованное администрирование всех сторедж ресурсов, а это, в свою очередь, значительно уменьшает затраты на их поддержку, стоимость которой, как правило, составляет более 50% от стоимости оснащения.

Влияние SAN на прикладные задачи

Для того чтобы нашим читателям стало понятней, насколько практически полезны технологии, которые рассматриваются в этой статье, приведем несколько примеров прикладных задач, которые без использования сетей хранения данных решались бы неэффективно, требовали бы колоссальных финансовых вложений или же вообще не решались бы стандартными методами.

Резервирование и восстановление данных (Data Backup and Recovery)

Используя традиционный SCSI интерфейс, пользователь при построении систем резервирования и восстановления данных сталкивается с рядом сложных проблем, которые можно очень просто решить, используя технологии SAN и FC.

Таким образом, использование сетей хранения данных выводит решение задачи резервирования и восстановления на новый уровень и предоставляет возможность осуществлять бэкап в несколько раз быстрее, чем раньше, без загрузки локальной сети и серверов работой по резервированию данных.

Кластеризация серверов (Server Clustering)

Одной из типичных задач, для которых эффективно используется SAN, является кластеризация серверов. Поскольку один из ключевых моментов в организации высокоскоростных кластерных систем, которые работают с данными - это доступ к сторедж, то с появлением SAN построение многонодовых кластеров на аппаратном уровне решается простым добавлением сервера с подключением к SAN (это можно сделать, даже не выключая системы, поскольку свичи FC поддерживают hot-plug). При использовании параллельного SCSI интерфейса, возможности по подсоединению и масштабируемость которого значительно хуже, чем у FC, кластеры, ориентированные на обработку данных, было бы тяжело сделать с количеством нод больше двух. Коммутаторы параллельного SCSI - весьма сложные и дорогие устройства, а для FC это стандартный компонент. Для создания кластера, который не будет иметь ни единой точки отказов, достаточно интегрировать в систему зеркальную SAN (технология DUAL Path).

В рамках кластеризации одна из технологий RAIS (Redundant Array of Inexpensive Servers) кажется особенно привлекательной для построения мощных масштабируемых систем интернет-коммерции и других видов задач с повышенными требованиями к мощности. По словам Alistair A. Croll, сооснователя Networkshop Inc, использование RAIS оказывается достаточно эффективным:«Например, за $12000-15000 вы можете купить около шести недорогих одно-двухпроцессорных (Pentium III) Linux/Apache серверов. Мощность, масштабируемость и отказоустойчивость такой системы будет значительно выше, чем, например, у одного четырехпроцессорного сервера на базе процессоров Xeon, а стоимость одинаковая».

Одновременный доступ к видео и распределение данных (Concurrent video streaming, data sharing)

Вообразите себе задачу, когда вам нужно на нескольких (скажем, >5) станциях редактировать видео или просто работать над данными огромного объема. Передача файла размером 100GB по локальной сети займет у вас несколько минут, а общая работа над ним будет очень сложной задачей. При использовании SAN каждая рабочая станция и сервер сети получают доступ к файлу на скорости, эквивалентной локальному высокоскоростному диску. Если вам нужны еще одна станция/сервер для обработки данных, вы сможете ее прибавить к SAN, не выключая сети, простым подсоединением станции к SAN коммутатору и предоставлением ей прав доступа к сторедж. Если же вас перестанет удовлетворять быстродействие подсистемы данных, вы сможете просто прибавить еще один сторедж и с использованием технологии распределения данных (например, RAID 0) получить вдвое большее быстродействие.

Основные компоненты SAN

Среда

Для соединения компонентов в рамках стандарта Fibre Channel используют медные и оптические кабели. Оба типа кабелей могут использоваться одновременно при построении SAN. Конверсия интерфейсов осуществляется с помощью GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter). Оба типа кабеля сегодня обеспечивают одинаковую скорость передачи данных. Медный кабель используется для коротких расстояний (до 30 метров), оптический - как для коротких, так и для расстояний до 10 км и больше. Используют многомодовый и одномодовый оптические кабели. Многомодовый (Multimode) кабель используется для коротких расстояний (до 2 км). Внутренний диаметр оптоволокна мультимодового кабеля составляет 62,5 или 50 микрон. Для обеспечения скорости передачи 100 МБ/с (200 МБ/с в дуплексе) при использовании многомодового оптоволокна длина кабеля не должна превышать 200 метров. Одномодовый кабель используется для больших расстояний. Длина такого кабеля ограничена мощностью лазера, который используется в передатчике сигнала. Внутренний диаметр оптоволокна одномодового кабеля составляет 7 или 9 микрон, он обеспечивает прохождение одиночного луча.

Коннекторы, адаптеры

Для подсоединения медных кабелей используются коннекторы типа DB-9 или HSSD. HSSD считается более надежным, но DB-9 используется так же часто, потому что он более простой и дешевый. Стандартным (наиболее распространенным) коннектором для оптических кабелей является SC коннектор, он обеспечивает качественное, четкое соединение. Для обычного подключения используются многомодовые SC коннекторы, а для отдаленного - одномодовые. В многопортовых адаптерах используются микроконнекторы.

Наиболее распространены адаптеры для FC под шину PCI 64 bit. Также много FC адаптеров вырабатывается под шину S-BUS, для специализированного использования выпускаются адаптеры под MCA, EISA, GIO, HIO, PMC, Compact PCI. Самые популярные - однопортовые, встречаются двух- и четырехпортовые карточки. На PCI адаптерах, как правило, используют DB-9, HSSD, SC коннекторы. Также часто встречаются GBIC-based адаптеры, которые поставляются как с модулями GBIC, так и без них. Fibre Channel адаптеры отличаются классами, которые они поддерживают, и разнообразными особенностями. Для понимания отличий приведем сравнительную таблицу адаптеров производства фирмы QLogic.

Fibre Channel Host Bus Adapter Family Chart
SANblade	64 Bit	FCAL Publ. Pvt Loop	FL Port	Class 3	F Port	Class 2	Point to Point	IP/ SCSI	Full Duplex	FC Tape	PCI 1.0 Hot Plug Spec	Solaris Dynamic Reconfig	VIВ	2Gb
2100 Series	33 & 66MHz PCI	X	X	X
2200 Series	33 & 66MHz PCI	X	X	X	X	X	X	X	X	X
	33MHz PCI	X	X	X	X	X	X	X	X	X	X
	25 MHZ Sbus	X	X	X	X	X	X	X	X	X		X
2300 Series	66 MHZ PCI/ 133MHZ PCI-X	X	X	X	X	X	X	X	X	X			X	X

Концентраторы

Fibre Channel HUBs (концентраторы) используются для подключения нод к FC кольцу (FC Loop) и имеют структуру, похожую на Token Ring концентраторы. Поскольку разрыв кольца может привести к прекращению функционирования сети, в современных FC концентраторах используются порты обхода кольца (PBC-port bypass circuit), которые разрешают автоматически открывать/закрывать кольцо (подключать/отключать системы, присоединенные к концентратору). Обычно FC HUBs поддерживают до 10 подключений и могут стекироваться до 127 портов на кольцо. Все устройства, подключенные к HUB, получают общую полосу пропускания, которую они могут разделять между собой.

Коммутаторы

Fibre Channel Switches (коммутаторы) имеют те же функции, что и привычные читателю LAN коммутаторы. Они обеспечивают полноскоростное неблокированное подключение между нодами. Любая нода, подключенная к FC коммутатору, получает полную (с возможностями масштабирования) полосу пропускания. При увеличении количества портов коммутированной сети ее пропускная способность увеличивается. Коммутаторы могут использоваться вместе с концентраторами (которые используют для участков, не требующих выделенной полосы пропуска для каждой ноды) для достижения оптимального соотношения цена/производительность. Благодаря каскадированию свичи потенциально могут использоваться для создания FC сетей с количеством адресов 2 24 (свыше 16 миллионов).

Мосты

FC Bridges (мосты или мультиплексоры) используются для подключения устройств с параллельным SCSI к сети на базе FC. Они обеспечивают трансляцию SCSI пакетов между Fibre Channel и Parallel SCSI устройствами, примерами которых могут служить Solid State Disk (SSD) или библиотеки на магнитных лентах. Следует заметить, что в последнее время практически все устройства, которые могут быть утилизированы в рамках SAN, производители начинают выпускать с вмонтированным FC интерфейсом для прямого их подключения к сетям хранения данных.

Серверы и Сторедж

Несмотря на то что серверы и сторедж - далеко не последние по важности компоненты SAN, мы на их описании останавливаться не будем, поскольку уверены, что с ними хорошо знакомы все наши читатели.

В конце хочется добавить, что эта статья - лишь первый шаг к сетям хранения данных. Для полного понимания темы читателю следует уделить немало внимания особенностям реализации компонент производителями SAN и программным средствам управления, поскольку без них Storage Area Network - это всего лишь набор элементов для коммутации сторедж-систем, которые не принесут вам полноты преимуществ от реализации сети хранения данных.

Заключение

Сегодня Storage Area Network является довольно новой технологией, которая в скором времени может стать массовой в кругу корпоративных заказчиков. В Европе и США предприятия, которые имеют достаточно большой парк инсталлированных сторедж-систем, уже начинают переходить на сети хранения данных для организации сторедж с наилучшим показателем общей стоимости владения.

По прогнозам аналитиков, в 2005 году значительное количество серверов среднего и верхнего уровня будут поставляться с предварительно установленным интерфейсом Fibre Channel (такую тенденцию можно заметить уже сегодня), и лишь для внутреннего подключения дисков в серверах будет использоваться параллельный SCSI интерфейс. Уже сегодня при построении сторедж-систем и приобретении серверов среднего и верхнего уровня следует обратить внимание на эту перспективную технологию, тем более, что уже сегодня она дает возможность реализовать ряд задач куда дешевле, чем с помощью специализированных решений. Кроме того, вкладывая в технологию SAN сегодня, вы не потеряете свои вложения завтра, поскольку особенности Fibre Channel создают прекрасные возможности для использования в будущем вложенных сегодня инвестиций.

P.S.

Предыдущая версия статьи была написана в июне 2000 года, но в связи с отсутствием массового интереса к технологии сетей хранения данных публикация была отложена на будущее. Это будущее настало сегодня, и я надеюсь, что данная статья побудит читателя осознать необходимость перехода на технологию сетей хранения данных, как передовую технологию построения сторедж-систем и организации доступа к данным.