Коммутатор сети хранения данных. Коммутаторы для сетей хранения данных. Коммутаторы связной архитектуры Fibre Channel

Рассмотрим некоторые топологии сетей хранения данных

Однокоммутаторная структура (англ. single-switch fabric) состоит из одного коммутатора Fibre Channel, сервера и системы хранения данных. Обычно эта топология является базовой для всех стандартных решений - другие топологии создаются объединением однокоммутаторных ячеек.

Рис. 1.4.

Каскадная структура- набор ячеек, коммутаторы которых соединены в дерево с помощью межкоммутаторных соединений.

Рис. 1.5.

Решетка - набор ячеек, коммутатор каждой из которых соединен со всеми другими. При отказе одного (а в ряде сочетаний - и более) соединения связность сети не нарушается. Недостаток - большая избыточность соединений

Рис. 1.6.

Кольцо- практически повторяет схему топологии решётка. Среди преимуществ - использование меньшего количества соединений.

Рис. 1.7.

Консолидация ИТ инфраструктуры

Консолидация - это объединение вычислительных ресурсов либо структур управления в едином центре .

Анализ международного опыта позволяет сегодня говорить о четкой тенденции к консолидации ИТ-ресурсов корпораций. Именно она способна существенно уменьшить затраты на ИТ. Сэкономленные же средства можно направить на повышение качества имеющихся информационных услуг и внедрение новых. Кроме оптимизации расходов на ИТ, консолидация ИТ-ресурсов позволяет улучшить управляемость предприятий за счет более актуальной и полной информации об их функционировании. Обычно говорят о консолидации:

• серверов - перемещение децентрализованных, приложений, распределенных на различных серверах компании, в один кластер централизованных гомогенных серверов;
• систем хранения - совместное использование централизованной системы хранения данных несколькими гетерогенными узлами;
• приложений - размещение нескольких приложений на одном хосте.

При этом можно выделить два базовых типа консолидации - физическую и логическую. Физическая консолидация подразумевает географическое перемещение серверов на единую площадку (в центр данных), а логическая - централизацию управления.

Перемещение компьютеров в единый центр обработки данных позволяют обеспечить комфортные условия для оборудования и технического персонала, а также увеличить степень физической защиты серверов. Кроме того, в центре обработки данных можно использовать более производительное и высококачественное оборудование, которое экономически неэффективно устанавливать в каждом подразделении. Создавая центры обработки данных, можно снизить расходы на техническую поддержку и управление самыми важными серверами предприятия. Удачным примером оборудования, которое может успешно решить задачи консолидации вычислительных ресурсов в организациях любого уровня являются блейд-системы, а также и системы и сети хранения данных.

Очевидное преимущество этого решения в том, что упрощается выделение персонала поддержки и его работа по развертыванию и управлению системами, снижается степень дублирования опытных кадров. Централизация также облегчает использование стандартизованных конфигураций и процессов управления, создание рентабельных систем резервного копирования для восстановления данных после сбоя и поддержания связности бизнеса. Упрощается и решение вопросов организации высококачественного контроля за состоянием окружающей среды и обеспечения физической защиты. Может быть улучшена и сетевая безопасность, поскольку серверы оказываются под защитой единого, централизованно управляемого межсетевого экрана.

Логический тип консолидации подразумевает перестройку системы управления ИТ-инфраструктуры. Это необходимо как для увеличения масштабируемости и управляемости сложной распределенной вычислительной системы, так и для объединения сегментов корпоративной сети. Логическая консолидация обеспечивает введение централизованного управления и унификацию работы с ресурсами компании на основе открытых стандартов. В результате появляется возможность создания глобальных информационных служб предприятия - каталога LDAP, корпоративного портала или ERP-системы, что в конечном итоге позволит улучшить управляемость предприятия за счет более актуальной и полной информации об его функционировании.

Логическая консолидация приложений приводит к централизации управления критическими для бизнеса системами и приложениями. Преимущества логической консолидации очевидны: в первую очередь это высвобождение аппаратных ресурсов, которые можно использовать на других участках информационной системы. Во-вторых, более простая и логичная структура управления ИТ-инфраструктурой делает ее более гибкой и приспособленной для будущих изменений.

Сценарий гомогенной консолидации предусматривает перенос одного масштабного приложения, ранее выполнявшегося на нескольких серверах, на один, более мощный (рис. 1.8). В качестве примера такой операции можно привести базы данных, которые зачастую наращивают экстенсивным путем по мере роста объема обрабатываемой информации. Объединение данных и приложений на одном сервере заметно ускоряет процессы обработки и поиска, а также повышает уровень целостности.

Гетерогенная консолидация по содержанию схожа с гомогенной, но в этом случае объединению подлежат разные приложения. Например, несколько экземпляров Exchange Server и SQL Server, ранее запускавшиеся на отдельных компьютерах, могут быть сведены на единой машине. Преимущества гетерогенной консолидации - возрастающая масштабируемость сервисов и более полное задействование системных ресурсов.

Рис. 1.8.

Как отмечают специалисты по облачным технологиям – консолидация ИТ-инфраструктуры – является первым шагом к "облаку". Чтобы перейти к использованию облачных технологий, компаниям необходимо сначала решить задачи неконсолидированной ИТ-инфраструктуры. "Без консолидации невозможно построить эффективное процессно-ориентированное управление, поскольку отсутствует единая точка предоставления сервисов".

Анализируя историю развития информационных технологий и современные тенденции можно сделать вывод, что эволюционный виток ИТ, начавшийся вместе с эпохой мэйнфреймов более пятидесяти лет назад, замкнулся – вместе с облаками мы вернулись к централизации ресурсов, но на этот раз не на уровне мэйнфреймов с их зелеными терминалами а на новом технологическом уровне.

Выступая на конференции, посвященной проблемам современных процессоров, профессор Массачусетского технологического института Ананд Агарвал сказал: "Процессор – это транзистор современности". Новый уровень отличается тем, что здесь также собираются мэйнфреймы, но виртуальные, и не из отдельных транзисторов, как полвека назад, а из целых процессоров или целиком из компьютеров. На заре ИТ многочисленные компании и организации "лепили" собственные компьютеры из дискретных компонентов, монтируя их на самодельных печатных платах – каждая организация делала свою машину, и ни о какой стандартизации или унификации и речи не могло быть. И вот на пороге второго десятилетия XXI века ситуация повторяется – точно так же из серверов-лезвий, компьютеров, разнообразного сетевого оборудования собираются внешние и частные облака. Одновременно наблюдается та же самая технологическая разобщенность и отсутствие унификации: Microsoft, Google, IBM, Aptana, Heroku, Rackspace, Ning, Salesforce строят глобальные мэйнфреймы, а кто-то под собственные нужды создает частные облака, которые являются теми же мэйнфреймами, но меньшего масштаба. Остается предположить, что впереди изобретение интегральной схемы и микропроцессора.

Коммутаторы Ethernet разного класса - от предназначенных для домашних сетей и небольших рабочих групп до оборудования для распределенных сетей крупных компаний – используются в качестве основного «строительного блока» при создании корпоративных сетей передачи данных. Выбор тех или иных продуктов, их функциональности и вариантов построения сетевой инфраструктуры зависит от решаемой задачи и требований к пропускной способности, масштабу, надежности сети, мобильности пользователей, поддержке приложений.

Коммутатор (switch ) - устройство, предназначенное для соединения нескольких узлов компьютерной сети в пределах одного или нескольких ее сегментов.

Чтобы правильно выбрать коммутатор, нужно представлять топологию сети, знать примерное количество пользователей, скорость передачи данных для каждого участка сети, требования к безопасности и многое другое, а также разбираться в специфике работы этого сетевого оборудования.

Коммутаторы различаются числом и типом портов, архитектурой, конструктивным исполнением, функциональностью, надежностью, производительностью и ценой.

Введение в технологию коммутации

Что такое коммутатор и для чего он нужен

Коммутатор объединяет различные сетевые устройства, такие как ПК, серверы, подключенные к сети системы хранения данных, в единый сегмент сети, дает им возможность общаться между собой. Он определяет, какому именно получателю адресованы данные, и посылает их непосредственно адресату. Исключение составляет широковещательный трафик всем узлам сети и трафик устройств, для которых неизвестен исходящий порт коммутатора.

Это повышает производительность и безопасность сети, избавляя остальные сегменты сети от необходимости обрабатывать не предназначенные им данные.

Коммутатор передает информацию только адресату.

switch ) работает на канальном (втором, L 2) уровне модели OSI. В этом случае для соединения нескольких сетей на сетевом уровне (третий уровень OSI, L 3) служат маршрутизаторы (router ).

Принципы работы коммутатора

В памяти коммутатора хранится таблица коммутации, где фиксируются MAC-адреса подключенных к портам устройств, то есть указывается соответствие MAC-адреса узла сети порту коммутатора. При получении данных с одного из портов коммутатор анализирует их и определяет адрес назначения, по таблице выбирает порт, куда их следует передать.

При включении коммутатора таблица пуста, и он работает в режиме обучения: поступающие на любой порт данные передаются на все остальные порты. При этом коммутатор анализирует фреймы (кадры) и, определив MAC-адрес хоста-отправителя, заносит его в таблицу. Впоследствии, если на один из портов коммутатора поступит фрейм, предназначенный для хоста, MAC-адрес которого уже есть в таблице, то этот фрейм будет передан только через порт, указанный в таблице. Если MAC-адрес хоста-получателя не ассоциирован с каким-либо портом коммутатора, то фрейм отправляется на все порты, за исключением порта-источника.

Формирование таблицы коммутации. MAC-адреса сетевых устройств соотносятся с конкретными портами коммутатора.

Как происходит коммутация при формированной таблице? Например, абонент с адресом А отправляет фрейм получателю с адресом D. По таблице коммутатор определяет, что станция с адресом А подключена к порту 1, а станция с адресом D - к порту 4. На основании этих данных он устанавливает виртуальное соединение для передачи сообщения между портами 1 и 4. После передачи виртуальное соединение разрывается.

Режимы коммутации

При всем многообразии конструкции коммутаторов базовая архитектура этих устройств определяется четырьмя компонентами: портами, буферами, внутренней шиной и механизмом продвижения пакетов.

Механизм продвижения пакетов/фреймов может быть следующим. При коммутации с промежуточной буферизацией коммутатор, получая пакет, не передает его дальше, пока не прочтет полностью всю необходимую ему информацию. Он не только определяет адрес получателя, но и проверяет контрольную сумму, т. е. может отсекать дефектные пакеты. Это позволяет изолировать порождающий ошибки сегмент. Таким образом, данный режим ориентирован на надежность, а не на скорость. При сквозной коммутации коммутатор считывает только адрес поступающего пакета. Пакет передается далее вне зависимости от ошибок. Такой метод характеризуется малой задержкой.

Некоторые коммутаторы используют гибридный метод, называемый пороговой или адаптивной коммутацией. В обычных условиях они осуществляют сквозную коммутацию, проверяют контрольные суммы. Если число ошибок достигает заданного порогового значения, то они переходят в режим коммутации с промежуточной буферизацией, а при снижении числа ошибок возвращаются в режим сквозной коммутации.

Один из важных параметров коммутатора - его производительность. Ее определяют три основных показателя: скорость передачи данных между портами, общая пропускная способность (наибольшая скорость, с которой данные передаются адресатам) и задержка (время между получением пакета от отправителя и до передачи его получателю). Другая ключевая характеристика – возможности управления.

Виды и особенности коммутаторов

Управляемые и неуправляемые коммутаторы

Коммутаторы Ethernet принято делить на два основных вида – неуправляемые и управляемые. Неуправляемые коммутаторы не предусматривают изменения конфигурации или каких-либо других настроек. Это простые устройства, готовые к работе сразу после включения. Их достоинства – низкая цена и автономная работа, не требующая вмешательства. Минусы – отсутствие инструментов управления и малая производительность.

Простые неуправляемые коммутаторы получили наибольшее распространение в домашних сетях и на малых предприятиях.

Управляемые коммутаторы – это более продвинутые устройства, которые также работают в автоматическом режиме, но помимо этого имеют ручное управление. Оно позволяет настроить работу коммутатора, например, предоставляет возможность настройки сетевых политик, создания виртуальных сетей и полноценного управления ими. Цена зависит от функциональности коммутатора и его производительности.

Управлять коммутацией можно на канальном (втором) и сетевом (третьем) уровне модели OSI. Устройства именуют, соответственно, управляемыми коммутаторами L2 и L3. Управление может осуществляться через веб-интерфейс, интерфейс командной строки (CLl), Telnet, SSH, RMON, протокол управления сетью (SNMP) и т.п.

Управляемый коммутатор позволяет настраивать полосу пропускания, создавать виртуальные сети (V LAN ) и др.

Стоит обратить внимание на SSH-доступ и протокол SNMP. Веб-интерфейс облегчает первоначальную настройку коммутатора, но практически всегда имеет меньшее количество функций, чем командная строка, поэтому его наличие приветствуется, но не является обязательным. Многие модели поддерживают все популярные типы управления.

К управляемым относят и так называемые смарт-коммутаторы – устройства с ограниченным набором конфигурационных настроек

Неуправляемые, смарт-коммутаторы и полностью управляемые коммутаторы. Смарт-коммутаторы могут предусматривать возможность управления через веб-интерфейс и базовые настройки.

Сложные корпоративные коммутаторы имеют полный набор средств управления, в том числе CLI, SNMP, веб-интерфейс, иногда - дополнительные функции, например, резервное копирование и восстановление конфигураций.

Многие управляемые коммутаторы поддерживают дополнительные функции, например, QoS, агрегирование и/или зеркалирование портов, стекирование. Некоторые коммутаторы можно объединять в кластер, MLAG или создать виртуальный стек.

Стекируемые коммутаторы

Стекирование – это возможность объединения нескольких коммутаторов с помощью специальных (или стандартных) кабелей, чтобы получившаяся конструкция работала как единый коммутатор. Обычно стек используется для подключения большого число узлов в локальной сети. Если коммутаторы соединены кольцом, то в случае выхода из строя какого-нибудь коммутатора стек продолжает работать.

Для чего создается такой стек? Во-первых, это защита инвестиций. Если необходимо увеличить число пользователей/устройств в сети, а портов не хватает, то можно добавить коммутатор в стек. Во-вторых, стеком удобнее управлять. С точки зрения систем мониторинга и управления это одно устройство. В-третьих, коммутаторы стека имеют единую адресную таблицу, один IP- и MAC-адрес.

Стекируемый (или стековый) коммутатор имеет специальные порты (интерфейсы) для соединения в стек, часто при этом происходит физическое объединение внутренних шин. Как правило, у стекового соединения скорость передачи данных в разы больше, чем скорость передачи по другим портам коммутатора. А в коммутаторах с неблокирующей архитектурой отсутствует блокировка трафика при обмене между коммутаторами стека.

Стекируемые управляемые коммутаторы можно объединять в одно логическое устройство - стек, увеличив тем самым число портов.

Обычно используются фирменные технологии стекирования. Иногда применяются кабели с оконечными разъемами SFP, GBIC и пр. Как правило, в стек можно объединять до 4, 8, 16 или 32 коммутаторов. Многие современные коммутаторы отказоустойчивы, наряду со стекированием поддерживают все функции L2 и L3, множество специализированных протоколов.

Существуют также технологии «виртуализации» коммутаторов, например, Cisco Virtual Switching System (VSS) и HPE Intelligent Resilient Framework (IRF). Их также можно отнести к технологиям стекирования, но, в отличие от «классического» стекирования (StackWise, FlexStack и пр.), для связи коммутаторов используются Ethernet-порты. Таким образом, коммутаторы могут находиться на относительно большом удалении друг от друга.

Резервирование и отказоустойчивость

Современные архитектуры стека предусматривают резервирование по схеме N-1, поддерживают распределенную коммутацию L2/L3, агрегирование каналов по всему стеку, а также возможность переключения каналов в случае аварии и переключение активного устройства в стеке без отказа сервисов. Кроме традиционных протоколов STP, RSTP и MSTP коммутаторы могут поддерживать усовершенствованные технологии, например, Smart Link и RRPP, выполняют защитное переключение каналов на уровне миллисекунд, гарантируют надежную работу сети.

Некоторые модели поддерживают интеллектуальный протокол защиты SEP (Smart Ethernet Protection) – протокол кольцевой сети, обеспечивающий непрерывную доставку сервисов. Еще один протокол, ERPS (Ethernet Ring Protection Switching), использует функции Ethernet OAM и механизм автоматического защитного переключения кольца – также за миллисекунды.

Многие вендоры применяют собственные технологии кольцевого резервирования сети, обеспечивающие более быстрое восстановление, чем стандартные протоколы STP/RSTP. Один из примеров показан ниже.

Выбираются основной и резервный порты для передачи данных в кольце. Коммутатор блокирует резервный порт, и передача происходит по основному маршруту. Все коммутаторы в кольце обмениваются пакетами синхронизации. При обрыве соединения будет разблокирован резервный порт и задействован резервный маршрут.

Для повышения надежности может предусматриваться «горячая» замена и/или резервирование блоков питания и элементов охлаждения коммутатора. Благодаря имеющимся в некоторых моделях оптическим портам коммутатор можно подключить к коммутатору ядра на расстоянии до 80 км. Такое оборудование позволяет создать производительный отказоустойчивый коммутационный кластер или построить любую современную L2-топологию, разнесенную на несколько десятков километров, получить отказоустойчивый стек на сотни портов с единой точкой управления, что существенно облегчает администрирование.

Коммутаторы в сетевой архитектуре

Место и роль коммутатора в сети

Коммутаторы и маршрутизаторы играют критическую роль, особенно в среде предприятия. Коммутация – одна из самых распространенных сетевых технологий. Коммутаторы вытесняют маршрутизаторы на периферию локальных сетей, оставляя за ними роль организации связи через глобальную сеть.

За счет микросегментации они позволяют повысить производительность сети, дают возможность организовать подключенные устройства в логические сети и перегруппировывать их, когда это необходимо.

Традиционная архитектура корпоративной сети включает в себя три уровня: уровень доступа, агрегирования/распределения и ядра. На каждом из них коммутаторы выполняют специфические сетевые функции.

Коммутаторы могут играть роль основных коммутаторов в филиалах и организациях среднего размера, функционировать как локальные коммутаторы доступа в крупных организациях, применяться для объединения небольших групп в единую сеть второго уровня. Они широко используются в ЦОД и в ядре сети, в сетях провайдеров на уровне доступа и агрегирования, а с распространением технологии Ethernet - и в ряде вертикальных приложений, например, в промышленности, в системах автоматизации зданий. Несмотря на распространение беспроводных технологий, такое сетевое оборудование пользуется растущей популярностью также в сегментах SMB и SOHO.

Многие разработчики акцентируют внимание на совершенствовании механизмов защиты информации и управления трафиком, в частности, для передачи голоса или видео. Растущими объемами трафика диктуется внедрение 10-гигабитных и еще более высоких скоростей.

Современные коммутаторы могут поддерживать многочисленные протоколы безопасности, в том числе полный набор инструкций ARP для фильтрации пакетов данных на уровнях L2–L7, а также динамическую маршрутизацию, включающую все необходимые протоколы нахождения кратчайших путей. Высококонкурентный рынок дает широкие возможности выбора продуктов известных западных брендов, производителей из стран Азии и российских изделий.

Мировой рынок коммутаторов и ключевые вендоры

Основной вклад в 3% рост мирового рынка коммутаторов и маршрутизаторов в 2015 году внес сегмент корпоративного оборудования: на его долю пришлось почти 60% продаж. Крупнейшие мировые производители коммутаторов Ethernet L2/L3 – Cisco (свыше 62%), HPE, Juniper, Arista, Huawei. Растет спрос на оборудование для ЦОД, коммутаторы 10 и 40 Gigabit Ethernet, коммутаторы для крупных провайдеров.

Объем продаж пяти ведущих поставщиков коммутаторов Ethernet в мире за последние кварталы (по данным IDC ).

В регионе EMEA сегмент Ethernet-коммутаторов в первой половине 2016 года показал 6,7% спад. В отчете IDC говорится, что Cisco остается крупнейшим производителем коммутаторов на рынке EMEA. На долю Cisco и HPE пришлось более 68% продаж коммутационного оборудования в регионе. В число лидеров также вошли Arista и Huawei.

По прогнозам Dell"Oro Group, наиболее быстрыми темпами будет расти сегмент коммутаторов для ЦОД. Переход на облачную модель должен также способствовать внедрению SDN и продажам коммутаторов для облачных дата-центров при снижении спроса на коммутаторы корпоративного уровня.

Возможности и разновидности коммутаторов

Коммутаторы уровня ядра, распределения, доступа позволяют создавать сетевые архитектуры разной топологии, уровня сложности и производительности. Разнообразие этих платформ варьируется от простых коммутаторов с восемью фиксированными портами до модульных устройств, состоящих из более десятка «лезвий» и насчитывающих сотни портов.

Коммутаторы для рабочих групп обычно имеют небольшое число портов и поддерживаемых MAC-адресов.

Магистральные коммутаторы отличаются большим числом высокоскоростных портов, наличием дополнительных функций управления, расширенной фильтрации пакетов и т. п. В общем случае такой коммутатор намного дороже, функциональнее и производительнее, чем коммутаторы для рабочих групп. Он обеспечивает эффективное сегментирование сети.

Основные параметры коммутаторов: количество портов (при выборе коммутатора лучше предусмотреть запас для расширения сети), скорость коммутации (у устройств начального уровня она гораздо ниже, чем у коммутатора корпоративного класса), пропускная способность, автоматическое определение MDI/MDI-X (стандартов, по которым обжата витая пара), наличие слотов расширения (например, для подключения интерфейсов SFP), размер таблицы MAC-адресов (выбирается с учетом расширения сети), форм-фактор (настольный/стоечный).

По конструктивному исполнению выделяют коммутаторы с фиксированным числом портов; модульные на основе шасси; стековые (стекируемые); модульно-стековые. Коммутаторы для поставщиков услуг подразделяются на коммутаторы агрегирования и коммутаторы уровня доступа. Первые агрегируют трафик на границе сети, вторые включают такие функции как контроль данных на прикладном уровне, встроенную безопасность и упрощенное управление.

В ЦОД должны применяться коммутаторы, которые обеспечивают масштабируемость инфраструктуры, непрерывное функционирование и гибкость транспорта данных. В сетях Wi-Fi коммутатор может играть роль контроллера, управляющего точками доступа.

Коммутаторы и сети Wi-Fi

В зависимости от сценария проектирования и развертывания сети Wi-Fi (WLAN) меняется и роль коммутаторов в ней. Например, это может быть централизованная/управляемая архитектура или конвергентная архитектура (объединение проводного и беспроводного доступа). Большинство сетей Wi-Fi среднего и большого масштаба строятся на принципах централизованной архитектуры с коммутатором в роли контроллера Wi-Fi. Все основные производители решений Wi-Fi высокого уровня (Cisco, Aruba (HPE), Ruckus (Brocade), HPE, Huawei и т.д.) имеют такие предложения.

Простая сеть WLAN не нуждается в контроллере, и коммутатор выполняет свои базовые функции.

Контроллер управляет загрузкой/изменением ПО, изменением конфигурации, RRM (динамическое управление радиоресурсами), связью с внешними серверами (ААА, DHCP, LDAP и т.п.), аутентификацией пользователей, профилями QoS, специальными функциями и т.п. Контроллеры могут объединяться в группы для бесшовного роуминга клиентов между точками доступа в зоне покрытия.

Контроллер осуществляет централизованное управление устройствами в беспроводной сети и предназначен для сетей кампусов, филиалов и предприятий SMB. Централизованная архитектура сети Wi - Fi позволяет строить крупные сети и управлять ими из одной точки.

В небольшой корпоративной сети Wi-Fi, покрывающей часть этажа, этаж, небольшое здание и т.п., могут применяться коммутаторы-контроллеры, рассчитанные на небольшое количество точек доступа (до 10-20). Большие корпоративные сети Wi-Fi, охватывающие кампусы, заводские территории, порты и т.п., требуют мощных и функциональных контроллеров (например, Cisco 5508, Aruba A6000, Ruckus ZoneDirector 3000). Иногда предлагают решение на модулях для коммутаторов или маршрутизаторов, например, модуль Cisco WiSM2 в коммутатор семейства Cisco Catalyst 6500/6800, модуль Huawei ACU2 в коммутаторы Huawei S12700, S9700, S7700, модуль HPE JD442A в коммутатор HPE 9500.

В новой редакции «магического квадранта» Gartner (август 2016 г.) по поставщикам оборудования для инфраструктуры проводных и беспроводных локальных сетей в число лидеров кроме Cisco попала только HPE, поглотившая компанию Aruba.

Функции автоматического обнаружения точек доступа и централизованного управления избавят от затрат на настройку конфигураций. Контроллеры могут также обеспечивать защиту от потенциальных атак, а функции самостоятельной оптимизации и восстановления гарантируют бесперебойную работу беспроводной сети. Поддержка PoE упростит развертывание WLAN.

Функциональные и конструктивные особенности коммутаторов

Функции коммутаторов Ethernet и поддерживаемые протоколы

Функции для работы с трафиком могут включать в себя управление потоком (Flow Control, IEEE 802.3x), которое предусматривает согласование приема-отправки при высоких нагрузках во избежание потерь пакетов. Поддержка Jumbo Frame (увеличенных пакетов), повышает общую производительность сети. Приоритезация трафика (IEEE 802.1p) позволяет определять более важные пакеты (например, VoIP) и отправлять их в первую очередь. Стоит обратить внимание на эту функцию, если планируется передача трафика аудио или видео.

Поддержка VLAN (IEEE 802.1q) – удобное средство для разграничения сети предприятия для различных отделов и т.п. Функция Traffic Segmentation для разграничения доменов на канальном уровне позволяет настраивать порты или группы портов коммутатора, используемые для подключения серверов или магистрали сети.

Зеркалирование (дублирование) трафика (Port Mirroring) может использоваться для обеспечения безопасности внутри сети, контроля или проверки производительности сетевого оборудования. Функция LoopBack Detection автоматически блокирует порт при образовании петли (особенно важна при выборе неуправляемых коммутаторов).

Агрегирование каналов (IEEE 802.3ad) повышает пропускную способность канала, объединяя несколько физических портов в один логический. IGMP Snooping пригодится при вещании IPTV. Storm Control дает порту возможность продолжать работать для пересылки всего остального трафика при широковещательном/однонаправленном «шторме».

Коммутаторы могут поддерживать протоколы динамической маршрутизации (например, RIP v2, OSPF) и управления группами интернета (например, IGMP v3). При поддержке протоколов BGP и OSPF устройство можно использовать как коммутирующий маршрутизатор для доменов и субдоменов локальной сети. Некоторые модели поддерживают создание наложенных сетей (TRILL), посредством чего снижается нагрузка на таблицы MAC-адресов и обеспечивается равномерная загрузка каналов для одинаковых маршрутов, что значительно повышает скорость доступа к сетевым ресурсам. Различается это сетевое оборудование и по способам работы.

Коммутаторы L1-L4

Чем выше уровень, на котором коммутатор работает по сетевой модели OSI, тем сложнее и дороже устройство, более развита его функциональность.

Коммутаторы 1 уровня (хабы и повторители) функционируют на физическом уровне и обрабатывают не данные, а электрические сигналы. Такое оборудование сейчас практически не производится.

Коммутаторы 2 уровня работают на канальном уровне с кадрами (фреймами), могут выполнять их анализ, определять отправителя и получателя. Они оперируют только с MAC-адресами, а различать IP-адреса не умеют. К таким устройствам относятся все неуправляемые коммутаторы и некоторые модели управляемых

• RMON (4 группы: Statistic, History, Alarm и Event)
• Два уровня паролей - пароль пользователя и резервный пароль.
• Профиль доступа и приоритезации трафика
• Сегментация трафика
• Контроль полосы пропускания
• Функции Port Security (ограничение кол-ва MAC на заданном порту)
• Контроль доступа IEEE 802.1x на основе портов / MAC-адресов
• Журналирование событий при помощи Syslog
• Поддержка TACACS, RADIUS, SSH
• Обновление ПО и сохранение файла конфигурации на внешнем носителе
• Поддержка IEEE 802.1Q VLAN (на основе меток)
• Приоритезация пакетов IEEE 802.1p и 4 очереди
• Spanning Tree protocol (IEEE 802.1D)
• Rapid Spaning Tree protocol (IEEУ 802.1w)
• Контроль широковещательных штормов
• Поддержка объединения портов в транк - Link Aggregation (IEEE 802.3ad Static mode)
• Зеркалирование портов (трафик множества портов, на один выбранный порт)
• TFTP / BOOTP / DHCP клиент
• Поддержка TELNET, встроенный WEB-сервер
• CLI - интерфейс коммандной строки
• IGMP для ограничения широковещательных доменов в VLAN
• SNMP v1/v3

Общие функции коммутаторов L 2.

Коммутаторы L2 составляют коммутационные таблицы, поддерживают протокол IEEE 802.1p (приоритезацию трафика), протокол IEEE 802.1q (VLAN), IEEE 802.1d (Spanning Tree Protocol, STP), применяемый для повышения отказоустойчивости сети, IEEE 802.1w (Rapid Spanning Tree Protocol, RSTP) с более высокой устойчивостью и меньшим временем восстановления или более современный IEEE 802.1s (Multiple Spanning Tree Protocol, MSTP), IEEE 802.3ad (Link Aggregation) для объединения нескольких портов в один высокоскоростной порт.

Коммутаторы 3 уровня работают на сетевом уровне. К ним относится ряд моделей управляемых коммутаторов, маршрутизаторы. Они могут маршрутизировать сетевой трафик и перенаправлять его в другие сети, поддерживают работу с IP-адресами и установку сетевых соединений.

Таким образом, они фактически являются маршрутизаторами, которые реализуют механизмы логической адресации и выбора пути доставки данных (маршрута) с использованием протоколов маршрутизации (RIP v.1 и v.2, OSPF, BGP, проприетарные протоколы). Традиционно коммутаторы L3 используются в локальных и территориальных сетях для обеспечения передачи данных большого количества подключенных к ним устройств, в отличие от маршрутизаторов, осуществляющих доступ к распределенной сети (WAN).

Коммутаторы 4 уровня функционируют на транспортном уровне и поддерживают работу с приложениями, обладают некоторыми интеллектуальными функциями. Они могут определять порты TCP/UDP для идентификации приложений, биты SYN и FIN, обозначающие начало и конец сеансов, распознавать информацию в заголовках сообщений. Различается и конструкция коммутаторов.

Коммутаторы Ethernet c фиксированной конфигурацией и модульные коммутаторы

Модульные коммутаторы обеспечивают масштабируемую производительность, гибкость конфигураций и возможности поэтапного расширения. Коммутаторы с фиксированной конфигурацией позволяют строить сетевую инфраструктуру для решения широкого спектра задач, включая построение сетей комплексов зданий, филиалов крупных предприятий, организации среднего размера, а также предприятий SMB

Коммутаторы фиксированной конфигурации обычно поддерживают до 48 портов. Иногда есть возможность установить дополнительные порты SFP/ SFP +.

С помощью аплинков SFP+ многие коммутаторы можно подключать к верхнему уровню – ядру сети, обеспечивая высокую производительность и балансировку нагрузки по всем каналам. Высокая плотность портов позволяет эффективнее использовать ограниченное пространство и питание.

Модульные коммутаторы обычно представляют собой высокопроизводительные платформы, поддерживающие широкий спектр протоколов L3, гибкий набор интерфейсов, виртуализацию сервисов и оптимизацию приложений, сетевые кластеры (SMLT, SLT, RSMLT). Они могут использоваться в ядре крупных и средних сетей, в сетях ЦОД (ядро сети и концентрация подключений серверов).

Типовые функции модульного коммутатора.

Модульные коммутаторы могут иметь очень высокую плотность портов за счет добавления модулей расширения. Например, некоторые поддерживают более 1000 портов. В больших корпоративных сетях, к которым подключаются тысячи устройств, лучше использовать именно модульные коммутаторы. В противном случае потребуется множество коммутаторов с фиксированной конфигурацией.

Cisco Catalyst 6800 - модульные коммутаторы для кампусных сетей с поддержкой 10/40/100G. Расширяемая платформа высотой 4,5 RU содержит от 16 до 80 портов 1/10GE с поддержкой BGP и MPLS.

Характеристики коммутаторов Ethernet

Основными характеристиками коммутатора, измеряющими его производительность, являются скорость коммутации, пропускная способность и задержка передачи кадра. На эти показатели влияют размер буфера (буферов) кадров, производительность внутренней шины, производительность процессора, размер таблицы MAC-адресов.

Общие характеристики также включают возможность установки в стойку, емкость оперативной памяти, количество портов и аплинков/SFP-портов, скорость аплинков, поддержку работы в стеке, способы управления.

Некоторые вендоры предлагают на своих сайтах удобные конфигураторы для выбора коммутаторов по их характеристикам: числу и типу портов (1/10/40GbE, оптика/медь), виду коммутации/маршрутизации (L2/L3 – базовая или динамическая), скорости и типу аплинков, наличию PoE/PoE+, поддержке IPv6 и OpenFlow (SDN), FCoE, резервированию (питания/фабрики/вентиляторов), возможности стекирования. Энергоэффективный Ethernet (IEEE 802.3az, Energy Efficient Ethernet) уменьшает потребление энергии, автоматически регулируя ее в соответствии с фактическим сетевым трафиком коммутатора.

Менее дорогие и менее производительные коммутаторы могут использоваться на уровне доступа, а более дорогие высокопроизводительные лучше применять на уровнях распределения и ядра сети, где от скорости коммутации очень сильно зависит производительность всей системы.

Типы и плотность портов

Группа портов коммутатора для подключения конечных абонентов традиционно состоит из портов для кабеля «витая пара» с разъемами RJ-45. Дальность передачи сигнала при этом составляет до 100 метров общей длины линии, и для офисов этого, в большинстве случаев, достаточно.

Порты Etherhet 1/10 Гбит/ c для «медных» кабелей с разъемами RJ -45.

Более сложен выбор типа портов аплинка, предназначенные для связи с узлами сети более высокого уровня. Во многих случаях предпочтительнее оптические кабели связи, не имеющие таких ограничений по длине, как у «витой пары». В таких портах часто применяются сменные модули SFP (Small Form-factor Pluggable). Высота и ширина модуля SFP сравнима с высотой и шириной гнезда RJ-45.

Оптический модуль SFP .

Популярные интерфейсы SFP+ и XFP могут обеспечивать скорость передачи 10 Гбит/c и дальность до 20 км. Посадочное место для модулей SFP+ имеет те же габариты что и SFP, разница заключается в протоколах передачи информации между модулем и коммутатором. XFP имеет большие, чем SFP+ габариты. Коммутаторы с портами SFP и SFP+ часто используются в сети на уровне агрегирования. Между тем в ЦОД широко применяются не только коммутаторы Ethernet, но и другие виды коммутирующего оборудования.

В сети крупного предприятия или в крупном ЦОД, где портов тысячи, большее значение имеет плотность портов, то есть, сколько максимально портов на 1U (или на стойку) требуемой скорости передачи можно разместить с учетом слотов расширений и дополнительных модулей. Нужно помнить о росте потребности в передаче больших объемов данных и соответственно, учитывать плотность портов требуемой скорости в рассматриваемых коммутаторах.

Что касается офисных сетей, то полезным качеством коммутатора может стать поддержка PoE и EEE.

Питание по сети - PoE

Технология Power over Ethernet (PoE) позволяет коммутатору подавать питание на устройство по кабелю Ethernet. Эта функция обычно используется некоторыми IP-телефонами, беспроводными точками доступа, камерами видеонаблюдения и пр.

Технология подачи электропитания через Ethernet – удобный альтернативный способ электропитания сетевых устройств.

РоЕ предоставляет гибкость при монтаже такого рода оборудования: его можно установить везде, где есть Ethernet-кабель. Но РоЕ должна быть действительно необходима, т.к. поддерживающие ее коммутаторы стоят значительно дороже.

Согласно стандарту IEEE 802.3af (PoE), обеспечивается постоянный ток до 400 мА с номинальным напряжением 48 В через две пары проводников в четырехпарном кабеле при максимальной мощности 15,4 Вт.

Стандарт IEEE 802.3at (PoE+) предусматривает увеличение мощности (до 30 Вт) и новый механизм взаимного определения (классификации) устройств. Он позволяет устройствам взаимно определять друг друга при подключении.

Эволюция сетей и коммутаторы

Коммутаторы в ЦОД: Ethernet, Fibre Channel, InfiniBand

Для высокопроизводительной коммутации серверов и систем хранения сегодня используется большой спектр технологий и устройств – коммутаторы Ethernet, Fibre Channel, InfiniBand и др.

В виртуализированных и облачных ЦОД, где преобладает «горизонтальный» трафик между серверами и виртуальными машинами, на помощь приходит конфигурация «ствол и листья» (Spine-Leaf). Иногда такую конфигурацию называют «распределенным ядром». Часто также используют термин «Ethernet-фабрика».

Spine -коммутаторы можно рассматривать как распределенное ядро, только вместо одного-двух коммутаторов ядра оно сформировано из большого числа коммутаторов «ствола» с высокой плотностью портов.

Плюсы такой конфигурации следующие: горизонтальный трафик между «листьями» гарантированно идет с одним хопом, через «дерево», поэтому задержка предсказуема, при отказе оборудования меньше страдает производительность, да и масштабировать такую конфигурацию легче.

Растет потребность и в более высокой скорости передачи данных. За предыдущие годы создано шесть стандартов Ethernet: 10 Мбит/с, 100 Мбит/с, Гбит/с, 10 Гбит/с, 40 Гбит/с и 100 Гбит/с. В 2016 году Ethernet-сообщество усиленно работает над реализацией новых стандартов скоростей: 2,5 Гбит/с, 5 Гбит/с, 25 Гбит/с, 50 Гбит/с, 200 Гбит/с. Недавно принятые спецификации IEEE 802.3 (включая подгруппы) охватывают диапазон скоростей от 25 Гбит/с на порт до суммарной пропускной способности канала на уровне 400 Гбит/с. Завершить работу над стандартом 400GbE (802.3bs) планируется в марте 2017 года. В нем будут использоваться несколько линий по 50 или 100 Гбит/с.

На мировом рынке Ethernet -коммутаторов для ЦОД доминирует Cisco Systems (по данным IDC , 2015 г.).

Наряду с 40/100GbE все более широкое внедрение в ЦОД получает InfiniBand. Технология InfiniBand (IB) применяется в основном в высокопроизводительных вычислениях (HPC), многоузловых кластерах и вычислениях GRID. Ее используют во внутренних соединениях (backplane) и коммутаторах (crossbar switch) производители модульных серверов. В коммутаторах с поддержкой InfiniBand EDR (Enhanced Data Rate) 12x скорость порта достигает 300 Гбит/с.

Модульный сервер со встроенным коммутатором InfiniBand .

Сети хранения данных (SAN) традиционно строятся на базе протокола FC (Fibre Channel), который предоставляет быстрый и надежный транспорт для передачи данных между дисковыми массивами и серверами. FC обеспечивает гарантированно низкую задержку, высокую надежность и производительность работы дисковой подсистемы.

Коммутатор FC (резервируемая фабрика) – ключевой элемент SAN .

Трафик FC можно передавать и поверх Ethernet с сохранением предсказуемости и производительности Fibre Channel (FCoE). Для этого был разработан протокол Converged Enhanced Ethernet (CEE).

Считается, что совмещение трафика SAN и LAN в одном сегменте сети c помощью FCoE позволяет получить ряд преимуществ при построении дата-центров, включая снижение начальных затрат на оборудование и операционных издержек на поддержку, обслуживание, электропитание и кондиционирование оборудования. Однако такой подход так и получил широкого распространения.

Коммутатор FCoE обеспечивает конвергенцию SAN и LAN .

Выделенная сеть хранения SAN (на основе FC или iSCSI) остается оптимальным вариантом для высокоскоростного доступа к данным. Ее традиционный протокол Fibre Channel изначально рассчитан на быструю передачу больших блоков и низкие задержки. Важным фактором роста рынка SAN станет переход на оборудование нового поколения – коммутаторы и директоры Fibre Channel Gen 6 (32 Гбит/с). Он уже начался.

Изменение скорости передачи данных в развертываемых сетях FC , InfiniBand и Ethernet по данным Mellanox.

Важно выбирать подходящее для текущих требований сети оборудование, но с запасом производительности для дальнейшего роста.

Технология Ethernet-фабрики

Технология коммутирующей фабрики, созданная для Fibre Channel SAN, нашла применение и в сетях Ethernet. Наряду с платформами виртуальной маршрутизации и SDN-контроллерами, фабрики Ethernet открывают путь к внедрению SDN/NFV, предполагают использование открытых, автоматизированных, программно-конфигурируемых компонентов, что способствует гибкости и снижению затрат.

Ethernet-фабрики наряду с дополняющими их технологиями TRILL и Shortest Path Bridging (SPB – альтернатива сложным и неэффективным трехуровневым сетям и Spanning Tree.

Коммутирующие фабрики охватывают теперь сети хранения данных, кампусные сети и сети ЦОД. Они снижают операционные расходы, увеличивают эффективность использования сети, ускоряют развертывание приложений, поддерживает виртуализацию. Эволюция коммутирующих фабрик продолжается.

Коммутаторы White-box, Bare-metal и Open Networking

В последнее время получает распространение концепция Open Networking, цель которой «отделить» операционную систему коммутатора от аппаратной платформы и дать заказчикам возможность выбора комбинаций сетевых ОС и оборудования. В отличие от традиционных коммутаторов, которые поставляются с предустановленной ОС, можно приобрести коммутатор Bare-metal («голое железо») у одного производителя, а ПО – у другого.

Bare-metal означает, что в коммутаторе не установлено сетевой ОС, есть лишь загрузчик для ее установки.

Такое оборудование выпускается, например, тайваньскими и российскими производителями. Ряд вендоров предлагают также коммутаторы White-box – Bare-metal с предустановленной сетевой ОС. Такие коммутаторы предоставляют большую гибкость и определенную независимость заказчика от производителя оборудования. Цена их ниже по сравнению с продуктами крупных вендоров. По данным Dell’Oro Group, они на 30-40% дешевле традиционных брендовых моделей. Функции сетевой ОС обычно предусматривают поддержку всех стандартных протоколов L2/L3 и, в некоторых случаях - протокола OpenFlow.

Традиционные коммутаторы (слева) и коммутаторы White box (справа).

Основной целевой сегмент рынка коммутаторов White-box – ЦОД. Они позволяют доработать сетевую ОС для решения конкретных задач. Однако целесообразность их применения в кампусных или распределенных корпоративных сетях зависит от того, сколько коммутаторов в сети и как часто меняется конфигурация, есть ли в компании специалисты, способные поддерживать сетевую ОС с открытым исходным кодом. В небольших кампусных сетях выгода сомнительна.

По прогнозу Infonetics Research, в 2019 году на долю «голого железа» будет приходиться почти 25% всего количества портов в коммутаторах, поставленных в ЦОД во всем мире.

Виртуальные коммутаторы

С увеличением вычислительной мощности процессоров х86 с ролью коммутатора вполне может справиться программный, виртуальный коммутатор. Его удобно использовать, например, для предоставления сетевого уровня доступа виртуальным машинам, запущенным на физическом сервере. На виртуальных машинах (или в контейнерах, например, Docker) создаются логические (виртуальные) порты Ethernet. ВМ подключаются к виртуальному коммутатору посредством этих портов.

Три наиболее популярных виртуальных коммутатора – VMware Virtual Switch, Cisco Nexus 1000v и Open vSwitch. Последний – это виртуальный коммутатор с открытым исходным кодом, распространяемый по лицензии Apache 2.0 и предназначенный для работы в гипервизорах на основе Linux, таких как, KVM и Xen.

Open vSwitch – программный многоуровневый коммутатор Open Source, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. Поддерживает протокол OpenFlow для управления логикой коммутации.

Open vSwitch (OVS) поддерживает широкий набор технологий, включая NetFlow, sFlow, Port Mirroring, VLAN, LACP. Он может работать как в виртуальных средах, так и использоваться в качестве Control Plane для аппаратных коммутаторов. Созданные на базе OVS сетевые ОС широко применяются на коммутаторах White-box и Bare-metal. Множество сфер применения у OVS – в SDN-сетях, при коммутации трафика между виртуальными сетевыми функциями (NFV).

Коммутаторы в архитектуре SDN/NFV

С расширением функциональности оборудования сети станут более высокоскоростными и интеллектуальными. Производительность современных моделей коммутаторов ядра сети составляет до 1,5 Тбит/с и выше, и традиционный путь развития предполагает дальнейшее наращивание их мощности. Расширение функциональности сопровождается все большей специализацией устройств ядра сети и ее периферии. У корпоративных заказчиков появляются новые требования в таких областях, как информационная безопасность, гибкость, надежность и экономичность.

Сейчас широко обсуждается концепция SDN (Software Defined Networking). Основная суть SDN состоит в физическом разделении уровня управления сетью (Control Plane) и уровня передачи данных (Forwarding) за счет переноса функций управления коммутаторами в ПО, работающее на отдельном сервере (контроллере).

Цель SDN– гибкая, управляемая, адаптивная и экономичная архитектура, которая способна эффективно адаптироваться под передачу больших потоков разнородного трафика.

SDN-коммутаторы, как правило, используют протокол управления OpenFlow. Большинство коммутаторов SDN поддерживают одновременно и стандартные сетевые протоколы. В настоящее время область применения SDN – в основном серверные фермы ЦОД и нишевые решения, где SDN удачно дополняет другие технологии. На российском рынке технология SDN наиболее востребована операторами публичных облаков.

Network Functions Virtualization (NFV), виртуализация сетевых функций, нацелена на оптимизацию сетевых сервисов за счет отделения сетевых функций (например, DNS, кэширование и пр.) от реализации аппаратного обеспечения. Считается, что NFV позволяет универсализировать программное обеспечение, ускорить внедрение новых функций сети и служб, и при этом не требует отказа от уже развернутой сетевой инфраструктуры.

По данным опроса CNews Analytics (2015 год), российские заказчики в целом оптимистично оценивают перспективы технологий SDN и NFV, позволяющих сократить капитальные затраты и ускорить ввод новых сервисов.

Прогнозы SDN и NFV в России носят пока разноречивый характер. По оценкам J’son & Partners, объем российского сегмента SDN в 2017 году составит 25–30 млн. долл. Основными пользователями SDN и NFV станут владельцы крупных ЦОД и федеральные операторы связи.

Тем временем производители коммутаторов для корпоративного сегмента рынка предлагают высокоскоростное оборудование с более низкой стоимостью владения, возможностями гибкого построения сетей, функциями поддержки различных классов приложений и расширенными средствами безопасности.

В деле познания SAN столкнулся с определённым препятствием - труднодоступностью базовой информации. В вопросе изучения прочих инфраструктурных продуктов, с которыми доводилось сталкиваться, проще - есть пробные версии ПО, возможность установить их на вирутальной машине, есть куча учебников, референс гайдов и блогов по теме. Cisco и Microsoft клепают очень качественные учебники, MS вдобавок худо-бедно причесал свою адскую чердачную кладовку под названием technet, даже по VMware есть книга, пусть и одна (и даже на русском языке!), причём с КПД около 100%. Уже и по самим устройствам хранения данных можно получить информацию с семинаров, маркетинговых мероприятий и документов, форумов. По сети же хранения - тишина и мёртвые с косами стоять. Я нашёл два учебника, но купить не решился. Это "Storage Area Networks For Dummies " (есть и такое, оказывается. Очень любознательные англоговорящие «чайники» в целевой аудитории, видимо) за полторы тысячи рублей и "Distributed Storage Networks: Architecture, Protocols and Management " - выглядит более надёжно, но 8200р при скидке 40%. Вместе с этой книгой Ozon рекомендует также книгу «Искусство кирпичной кладки».

Что посоветовать человеку, который решит с нуля изучить хотя бы теорию организации сети хранения данных, я не знаю. Как показала практика, даже дорогостоящие курсы могут дать на выходе ноль. Люди, применительно к SAN делятся на три категории: те, кто вообще не знает что это, кто знает, что такое явление просто есть и те, кто на вопрос «зачем в сети хранения делать две и более фабрики» смотрят с таким недоумением, будто их спросили что-то вроде «зачем квадрату четыре угла?».

Попробую восполнить пробел, которого не хватало мне - описать базу и описать просто. Рассматривать буду SAN на базе её классического протокола - Fibre Channel.

Итак, SAN - Storage Area Network - предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах. Суть в том, что так дисковые ресурсы экономнее используются, легче управляются и имеют большую производительность. А в вопросах виртуализации и кластеризации, когда нескольким серверам нужен доступ к одному дисковому пространству, подобные системы хранения данных вообще незаменимая штука.

Кстати, в терминологиях SAN, благодаря переводу на русский, возникает некоторая путаница. SAN в переводе означает «сеть хранения данных» - СХД. Однако классически в России под СХД понимается термин «система хранения данных», то есть именно дисковый массив (Storage Array ), который в свою очередь состоит из Управляющего блока (Storage Processor, Storage Controller ) и дисковых полок (Disk Enclosure ). Однако, в оригинале Storage Array является лишь частью SAN, хотя порой и самой значимой. В России получаем, что СХД (система хранения данных) является частью СХД (сети хранения данных). Поэтому устройства хранения обычно называют СХД, а сеть хранения - SAN (и путают с «Sun», но это уже мелочи).

Компоненты и термины

Технологически SAN состоит из следующих компонентов:

1. Узлы, ноды (nodes)

• Дисковые массивы (системы хранения данных) - хранилища (таргеты )
• Серверы - потребители дисковых ресурсов (инициаторы ).

2. Сетевая инфраструктура

• Коммутаторы (и маршрутизаторы в сложных и распределённых системах)
• Кабели

Особенности

Если не вдаваться в детали, протокол FC похож на протокол Ethernet с WWN-адресами вместо MAC-адресов. Только, вместо двух уровней Ethernet имеет пять (из которых четвёртый пока не определён, а пятый - это маппинг между транспортом FC и высокоуровневыми протоколами, которые по этому FC передаются - SCSI-3, IP). Кроме того, в коммутаторах FC используются специализированные сервисы, аналоги которых для IP сетей обычно размещаются на серверах. Например: Domain Address Manager (отвечает за назначение Domain ID коммутаторам), Name Server (хранит информацию о подключенных устройствах, эдакий аналог WINS в пределах коммутатора) и т.д.

Для SAN ключевыми параметрами являются не только производительность, но и надёжность. Ведь если у сервера БД пропадёт сеть на пару секунд (или даже минут) - ну неприятно будет, но пережить можно. А если на это же время отвалится жёсткий диск с базой или с ОС, эффект будет куда более серьёзным. Поэтому все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и, ключевая особенность SAN, по сравнению с LAN - дублирование на уровне всей инфраструктуры сетевых устройств - фабрики.

Фабрика (fabric - что вообще-то в переводе с английского ткань, т.к. термин символизирует переплетённую схему подключения сетевых и конечных устройств, но термин уже устоялся) - совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL - InterSwitch Link ).

Высоконадёжные SAN обязательно включают две (а иногда и более) фабрики, поскольку фабрика сама по себе - единая точка отказа. Те, кто хоть раз наблюдал последствия кольца в сети или ловкого движения клавиатуры, вводящего в кому коммутатор уровня ядра или распределения неудачной прошивкой или командой, понимают о чём речь.

Фабрики могут иметь идентичную (зеркальную) топологию или различаться. Например одна фабрика может состоять из четырёх коммутаторов, а другая - из одного, и к ней могут быть подключены только высококритичные узлы.

Топология

Различают следующие виды топологий фабрики:

Каскад - коммутаторы соединяются последовательно. Если их больше двух, то ненадёжно и непроизводительно.

Кольцо - замкнутый каскад. Надёжнее просто каскада, хотя при большом количестве участников (больше 4) производительность будет страдать. А единичный сбой ISL или одного из коммутаторов превращает схему в каскад со всеми вытекающими.

Сетка (mesh ). Бывает Full Mesh - когда каждый коммутатор соединяется с каждым. Характерно высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации просто не останется портов под узлы - все будут заняты под ISL. Partial Mesh - любое хаотическое объединение коммутаторов.

Центр/периферия (Core/Edge) - близкая к классической топологии LAN, но без уровня распределения. Нередко хранилища подключаются к Core-коммутаторам, а серверы - к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. Также и хранилища и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.

Зонинг (зонирование, zoning)

Ещё одна характерная для SAN технология. Это определение пар инициатор-таргет. То есть каким серверам к каким дисковым ресурсам можно иметь доступ, дабы не получилось, что все серверы видят все возможные диски. Достигается это следующим образом:

• выбранные пары добавляются в предварительно созданные на коммутаторе зоны (zones);
• зоны помещаются в наборы зон (zone set, zone config), созданные там же;
• наборы зон активируются в фабрике.

Для первоначального поста по теме SAN, думаю, достаточно. Прошу прощения за разномастные картинки - самому нарисовать на работе пока нет возможности, а дома некогда. Была мысль нарисовать на бумаге и сфотографировать, но решил, что лучше так.

Напоследок, в качестве постскриптума, перечислю базовые рекомендации по проектированию фабрики SAN .

• Проектировать структуру так, чтобы между двумя конечными устройствами было не более трёх коммутаторов.
• Желательно чтобы фабрика состояла не более чем из 31 коммутатора.
• Стоит задавать Domain ID вручную перед вводом нового коммутатора в фабрику - улучшает управляемость и помогает избежать проблем одинаковых Domain ID, в случаях, например, переподключения коммутатора из одной фабрики в другую.
• Иметь несколько равноценных маршрутов между каждым устройством хранения и инициатором.
• В случаях неопределённых требований к производительности исходить из соотношения количества Nx-портов (для конечных устройств) к количеству ISL-портов как 6:1 (рекомендация EMC) или 7:1 (рекомендация Brocade). Данное соотношение называется переподпиской (oversubscription).
• Рекомендации по зонингу:
  - использовать информативные имена зон и зон-сетов;
  - использовать WWPN-зонинг, а не Port-based (основанный на адресах устройств, а не физических портов конкретного коммутатора);
  - каждая зона - один инициатор;
  - чистить фабрику от «мёртвых» зон.
• Иметь резерв свободных портов и кабелей.
• Иметь резерв оборудования (коммутаторы). На уровне сайта - обязательно, возможно на уровне фабрики.

Прежде чем окунуться в технологии сетей хранения данных (SAN), стоит освежить свои знания, относящиеся к сетям передачи данных (СПД). SAN стали неким обособленным «ответвлением» от столбового пути развития сетевой индустрии. Однако, скажем, коммутаторы SAN играют в сетях хранения данных ту же роль, что и коммутаторы Ethernet или IP-маршрутизаторы в обычных СПД. Такие продукты выпускаются многочисленными, хотя по большей части не очень известными, производителями (табл. 1), и их функциональные возможности и технические характеристики сильно различаются. Как показали испытания, проведенные компанией Mier Communications, последние разработки четырех ведущих производителей коммутаторов SAN совершенно не похожи друг на друга.

«Голубую ленту» победителя мы присудили устройствам SilkWorm 2400 и 2800 фирмы Brocade Communications . Они полностью соответствуют технологии Plug-and-Play и обладают наивысшей производительностью среди протестированных моделей.

На второе место вышли SANbox 8 и SANbox 16 HA компании QLogic . Попытки установить их и заставить работать хотя и увенчались успехом, но отняли у нас гораздо больше сил, чем аналогичные процедуры с коммутаторами SilkWorm, да и быстродействие этих моделей оказалось весьма посредственным. Тем не менее мы по достоинству оценили удобство администрирования, которое обеспечивает приложение SANsurfer - безусловно, лучшее в своем классе. (В нынешнем году QLogic приобрела фирму Ancor, создавшую данные устройства, и коммутаторы поступили к нам от последней еще до урегулирования всех формальностей сделки. Впрочем, представители компании-покупателя заверили нас, что ее клиентам будут предлагаться продукты, идентичные «изначальным».)

Третью строчку заняли модели 7100 и 7200 фирмы Vixel , обладающие удобными средствами регистрации событий, но продемонстрировавшие крайне низкую производительность. Наконец, замыкало список устройство Capellix 2000G производства Gadgoox , главным недостатком которого является неспособность функционировать в коммутируемой сети SAN.

Три участника тестирования - QLogic, Vixel и Brocade - предоставили в наше распоряжение по два коммутатора на 8 и два - на 16 портов. Быстродействие устройств одного поставщика было практически одинаковым, что дало нам возможность привести на диаграммах, характеризующих производительность, общие для каждой пары значения. Таким же подходом мы воспользовались при выставлении оценок по критериям «Простота инсталляции», «Администрирование» и «Функциональные возможности».

Шина или матрица

Как уже упоминалось, три компании прислали нам по два экземпляра каждого из своих продуктов. Четыре коммутатора - вот тот минимум, который позволяет построить коммутирующую сеть с альтернативными маршрутами, чтобы затем проверить способность коммутаторов принимать решение о маршрутизации трафика в обход отказавшего соединения.

Фирма Gadzoox предоставила устройство Capellix 2000G, которое сам производитель позиционирует как коммутатор для сетей с разделяемым доступом. Это означает, что другие варианты подключения узлов к сети не поддерживаются. Сеть с общей шиной - так на профессиональном жаргоне называют технологию Fibre Channel с арбитражем (Fibre Channel Arbitrated Loop, FCAL) - является довольно старой разновидностью сетевой архитектуры Fibre Channel, в которой сетевые узлы совместно используют полосу пропускания разделяемой среды передачи.

Между тем для объединения нескольких коммутаторов в SAN каждый из них должен поддерживать коммутируемые (или, в терминологии SAN, матричные ) соединения, по крайней мере для части своих портов. Если прибегнуть к аналогии из сферы передачи данных, то различие между шинной (loop) и матричной (fabric) архитектурами можно уподобить различию между двумя сетями Ethernet, в одной из которых установлен концентратор, а в другой - коммутатор. Как известно, до активного проникновения технологий коммутации в локальные сети Ethernet в них использовался разделяемый доступ к среде передачи, физическим воплощением которой был коаксиальный кабель или концентратор.

Отсутствие поддержки коммутируемых соединений и топологий с несколькими коммутаторами не могло не сказаться на баллах, которые получило оборудование Gadzoox по критериям «Конфигурация» и «Функциональные возможности». Располагая только одним коммутатором, пользователи не смогут построить сеть, отличающуюся высокой надежностью и способностью маршрутизировать данные в обход отказавших узлов или соединений. Сеть хранения данных, в которой инсталлирован Capellix 2000G, будет насчитывать не более 11 коммутационных портов (в стандартной конфигурации это устройство имеет восемь портов и разъем расширения, допускающий установку трехпортового модуля). По сообщению представителей Gadzoox, в настоящее время фирма занимается разработкой модуля для коммутирующей матрицы, который будет устанавливаться в модульный коммутатор Capellix 3000.

Общие черты

Несмотря на многочисленные различия коммутаторы SAN имеют и много общего. В частности, во всех моделях присутствуют модули преобразователей гигабитных интерфейсов (Gigabit Interface Converter, GBIC) для каждого из портов. Это позволяет легко заменить физический коннектор на отдельном порте. Так, в процессе тестирования сетевых конфигураций на оптических и кабельных линиях нам частенько приходилось переключаться с кабельных портов, оснащенных разъемами DB-9, на оптические порты, работающие в коротковолновом диапазоне. Фирмы-производители предлагают для своих изделий коннекторы обоих типов, а также несколько других разновидностей модулей GBIC - например, предназначенные для работы на длинных волнах с одномодовым волокном. Мы попробовали переставить модули преобразователей с одной модели на устройства других фирм: никаких проблем ни с совместимостью, ни с производительностью при этом не возникло. Судя по всему, на уровне модулей GBIC и портов, на которых они используются, можно говорить о стопроцентном выполнении принципа Plug-and-Play.

Все коммутаторы поддерживают скорость передачи данных 1 Гбит/с на всех портах, хотя уже сегодня существуют спецификации, предусматривающие 2-Гбит/с скорость передачи по каналам Fibre Channel; по некоторым данным, ведутся работы над увеличением последнего значения еще вдвое.

Каждый коммутатор снабжен портом Ethernet, предназначенным для доступа к устройству с управляющей станции и способным автоматически определять используемую скорость передачи (10 или 100 Мбит/с). Изделия компаний Brocade, Vixel и Gadzoox располагают портом для подключения консоли; именно через него коммутатору сообщается IP-адрес, который впоследствии служит для управления. Что же касается продукта фирмы QLogic, его IP-адрес задается заранее (т.е. фиксирован), и это, на наш взгляд, может иметь негативные последствия. При подключении устройства к сети пользователь будет вынужден отслеживать предопределенный IP-адрес, а в дальнейшем его все равно придется заменить на значение, более подходящее для конкретной сети.

Все устройства в равной степени поддерживают зонирование сети хранения данных. «На языке» SAN этот термин соответствует организации виртуальных ЛС в СПД, т.е. обозначает логическое группирование отдельных портов и подключенных к коммутатору узлов с одновременным их отделением от других ресурсов. В сетях SAN зонирование используется преимущественно для контроля трафика.

Наконец, все модели поддерживают одни и те же классы сервиса Fibre Channel - второй и третий. Услуги третьего класса, которые соответствуют сервису без подтверждения приема и не ориентированы на установление соединений, сегодня обеспечивают транспортировку по сетям SAN практически всего объема трафика. Услуги второго класса отличаются от предыдущих наличием подтверждений; широкого распространения они пока не получили. Выявленные во время испытаний достоинства и недостатки коммутаторов SAN, которые мы рассмотрим ниже, отображены в табл. 2 .

Сравниваем конфигурации

Самый высокий балл по этому критерию получили устройства SilkWorm компании Brocade, поскольку они поддерживают все интересовавшие нас опции - возможности работы в разных сетевых топологиях, использования преобразователей GBIC, подключения консоли к специальному порту и доступа по каналу Ethernet с автоматическим выбором скорости передачи. Кроме того, только фирма Brocade поставляет свои коммутаторы (как 8-, так и 16-портовый) с резервными источниками питания. Корпорация QLogic устанавливает дополнительный источник питания только в 16-портовой модели SANbox 16 HA, а Gadzoox и Vixel вообще не предусмотрели такой возможности.

Буферизация кадров, которая обеспечивает временное сохранение данных перед их дальнейшей транспортировкой, также привлекла наше внимание. Она позволяет предотвратить потерю или отбрасывание пакетов при возникновении незапланированных событий или непредвиденном ухудшении условий передачи. Прежде всего нас интересовал объем буферного пространства на отдельных портах. Как оказалось, в коммутаторе производства Gadzoox буферизация кадров попросту невозможна. Устройства SANbox имеют по восемь буферов для каждого порта. В коммутаторах SilkWorm буферов уже по 16, а кроме того, существует общий динамический буфер, части которого выделяются отдельным портам по мере необходимости. Наконец, в устройствах 7200 корпорации Vixel каждый порт располагает 32 буферами.

По функциональным возможностям продукты различались не столь явно. Существенным моментом оказалась, пожалуй, лишь способность коммутаторов к взаимодействию с изделиями других фирм. Перед началом тестирования мы попросили производителей предоставить нам любую документацию, обычно предлагаемую заказчику и отражающую возможность функционирования данного продукта в той сетевой среде, где имеются коммутаторы SAN, системы хранения данных и шинные адаптеры (Host Bus Adapter, HBA; в терминологии SAN так называют сетевые карты Fibre Channel, которые устанавливаются на подключаемые к сети серверы) разных поставщиков. К сожалению, ни один из производителей не смог похвастать совместимостью своих коммутаторов с продуктами других фирм. Представители Brocade прямо заявили, что фирма не гарантирует такого взаимодействия, но ведет работы по обеспечению совместимости SilkWorm с конкретными моделями накопительных систем и сетевых карт. QLogic, Vixel и Gadzoox заняли более амбициозную позицию.

Включил и... работай?

При оценке простоты инсталляции и эксплуатации нас интересовало следующее. Сколько времени должен затратить пользователь, чтобы заставить тот или иной продукт работать в реальной сети? Каковы возможности подключения накопительных систем и адаптеров, имевшихся в нашем распоряжении? Кроме того, мы анализировали проблемы, которые возникали на этом пути.

Для тестирования всех моделей использовались одни и те же платы HBA производства QLogic. Трудно сказать, в какой мере такой выбор повлиял на полученные нами значения производительности и на возможность взаимодействия испытывавшихся устройств. Можно лишь отметить: работы по обеспечению совместимости различного оборудования SAN еще далеки от завершения, поэтому не исключено, что при установке других адаптеров или дисковых систем JBOD будут зафиксированы иные результаты.

Коммутаторы SilkWorm 2400 и 2800 компании Brocade полностью соответствуют принципу Plug-and-Play и поэтому получили наивысшие оценки. Вслед за ними идет модель Capellix: хотя фирма Gadzoox одним махом избавила себя от проблем, связанных с поддержкой многокоммутаторных сетевых сред, одно устройство заработало, что называется, с полоборота.

Модели 7100 и 7200 фирмы Vixel и, в меньшей степени, SANbox от QLogic доставили немало хлопот уже на стадии инсталляции. Происхождение возникших затруднений так и осталось неясным, причем не только для нас, но и, кажется, для сотрудников служб технической поддержки упомянутых компаний. На наш взгляд, причина кроется в плохой совместимости коммутаторов SAN, адаптеров и систем хранения данных.

Управление

Наилучшее впечатление оставила продукция компании QLogic. Написанное на Java управляющее приложение SANsurfer имеет высокоинтуитивный Web-интерфейс и работает вполне стабильно. Автоматически генерируемая карта топологии показывает соединения между отдельными коммутаторами в сети с детализацией до уровня отдельного порта. Уровни интенсивности трафика выводятся на экран в режиме реального времени, а кроме того, программа обеспечивает регистрацию событий в удобном для чтения формате.

Управляющее ПО Web Tools компании Brocade, также основанное на языке Java, показалось нам достаточно надежным и эффективным, однако ему недостает информативности и некоторых функций, присущих продукту QLogic. Web Tools не строит схемы сетевой топологии, а управляющий интерфейс не позволяет быстро определять типы физических портов коммутаторов. Функция генерации отчетов о параметрах трафика не вызвала особых нареканий, однако отсутствует система экранной помощи, которая в отдельных случаях просто необходима.

Несомненное достоинство административного пакета SAN InSite 2000 фирмы Vixel, тоже написанного на Java, - хорошие средства регистрации событий. Однако указанное ПО состоит из нескольких клиентских и серверных модулей, что затрудняет его использование. Мы работали с одной из поздних бета-версий SAN InSite 2000 3.0 и обнаружили в ней больше ошибок, чем можно было ожидать. Так, один из портов постоянно распознавался как порт для кабельной линии с разъемом DB-9, в то время как он являлся оптическим. Один раз выдача отчетов о параметрах трафика в режиме реального времени попросту прекратилась, и, несмотря на все усилия, нам не удалось исправить ситуацию. Продукт имеет массу полезных функций и превосходную систему экранной помощи, но его функционирование сопровождалось постоянными ошибками.

Java-приложение Ventana SANtools производства Gadzoox явно проигрывало другим управляющим программам по части графики и функциональных возможностей. Например, в нем отсутствуют средства мониторинга параметров трафика в режиме реального времени. Мы отметили определенные недостатки в организации интерфейса и средствах навигации. Gadzoox снабдила свое приложение экранной справочной системой, но, кажется, забыла о средствах поиска.

Производительность

Первый из тестов на производительность, в котором регистрировалась задержка передачи данных, прошел на удивление гладко. Какое бы устройство мы не испытывали, суммарная задержка при транспортировке трафика по матрице из нескольких коммутаторов оказывалась в диапазоне от 10 до 15 мс. Задержка, вносимая коммутатором Capellix 2000G, была еще меньше; правда, стоит учесть, что в этом случае трафик проходил только через одно устройство.

А что происходит, когда коммутатор буквально бомбардируется потоками данных? Мы измеряли среднее время, которое необходимо семи серверам под Windows NT для выполнения случайных операций чтения/записи массивов данных объемом 10 Мбайт, причем обмен производился с одной и той же дисковой системой, подключенной через сеть коммутаторов SAN (см. ).

Среднее время одной операции ввода/вывода относится к ключевым показателям производительности, поскольку оно отражает реальное быстродействие сети SAN при передаче потоков большой интенсивности. Для SilkWorm, Capellix 2000G и 7100/7200 это время оказалось практически одинаковым (1,515, 1,512 и 1,536 мс соответственно). Коммутатору SANbox для транспортировки такого же объема данных потребовалось несколько больше - 2,177 мс.

Обратившись к пропускной способности, мы измерили ее максимальное значение для соединения Fibre Channel, по которому накопители были подключены к сети хранения данных. Мы вводили «в игру» от одного до семи серверов под Windows NT, заставляя их выполнять операции сначала чтения, затем записи, а потом смесь этих процедур и опять же общаясь с системой хранения данных через коммутационную матрицу SAN (при тестировании устройства Capellix 2000G фирмы Gadzoox сервер и дисковые накопители были подключены к одному и тому же коммутатору).

Пока операции записи выполнял один сервер, пропускная способность оставалась практически одной и той же для всех коммутаторов: они успевали обработать от 77,8 до 79,6 Мбайт/с. Очевидно, столь малым разбросом можно попросту пренебречь. Тот же результат наблюдался и для операций чтения: средняя пропускная способность составляла 81,6-85,1 Мбайт/с. Однако как только операции чтения начинали выполнять одновременно семь серверов, различия сразу же проявлялись. Коммутаторы Capellix 2000G и Vixel 7100 и 7200 работали со скоростями 95,3 и 94,3 Мбайт/с соответственно, что очень близко к максимальной пропускной способности линии Fibre Channel (100 Мбайт/с). Средняя производительность двух других устройств оказалась заметно ниже: у моделей SANbox она составила 88,9 Мбайт/с, а у SilkWorm - 73,9 Мбайт/с.

При выполнении серверами операций записи на диск, а также случайной последовательности операций чтения/записи наилучшие усредненные результаты показали коммутаторы SilkWorm. Второе место заняла модель Capellix 2000G, третье - устройства 7200 и 7100 от Vixel, а на последнем оказались коммутаторы SANbox. Надо отметить, что на практике пользователи постоянно сталкиваются с ситуацией одновременного выполнения множества операций чтения/записи.

Результаты двух других тестов на производительность нас сильно удивили. Вначале мы намеренно отключали дисковую подсистему от сети с коммутацией, по которой не передавалось никакого трафика, после чего восстанавливали соединение. Затем схожие условия моделировались в SAN, в которой использовались несколько коммутаторов, обеспечивавших обмен значительными объемами данных между несколькими серверами и дисковой системой.

Отключение и последующее подсоединение накопителей никак не повлияло на работу SilkWorm и Capellix 2000G, зато продукты Vixel не смогли адекватно отреагировать на изменения в сетевой топологии. Что же касается SANbox фирмы QLogic, иногда коммутирующая матрица корректно отрабатывала разрыв соединений, запускала процедуру повторной инициализации и налаживала новые маршруты, а иногда выдавала ошибки. Подчеркнем, что во время первого теста трафик в сети хранения данных отсутствовал.

Тест на обход отказавшего соединения при большой нагрузке c коммутатором Capellix 2000G провести не удалось, поскольку, как уже говорилось, этот продукт не способен работать в коммутируемой среде, состоящей из нескольких устройств. При обмене трафиком максимальной интенсивности между семью серверами под Windows NT и дисковой системой коммутатор SilkWorm каждый раз автоматически возобновлял передачу; период восстановления занимал от 8 до 12 с.

Устройства SANbox также продемонстрировали высокую надежность при обработке сбоев в условиях передачи больших объемов трафика. Более того, их архитектура позволяла автоматически перераспределять нагрузку между доступными маршрутами транспортировки по коммутирующей матрице, так что перерывы в передаче данных были практически незаметны.

Коммутаторы 7100 и 7200 фирмы Vixel уверенно возобновляли передачу лишь при небольших объемах трафика и участии в обмене только одного сервера. Как только мы раскручивали тест на полную катушку (подключая к сети все семь серверов), транспортировка данных прекращалась и уже не восстанавливалась.

Учитывая результаты всех тестов на производительность, победителем в данной категории следует признать коммутаторы SilkWorm 2400 и 2800 компании Brocade Communications. На втором месте оказалась модель Capellix 2000G.

Устройства от Brocade стали лидерами и всего комплекса испытаний продуктов данной категории, набрав 8,4 балла (табл. 3). Как показывает опыт компании Mier Communications, если итоговая оценка при использовании 10-балльной системы превышает 8, продукт можно смело рекомендовать потребителям. Коммутаторы SilkWorm - тот самый случай.

Эдвин Майер (Edwin Mier) - основатель и президент, а Кеннет Перси (Kennet Percy) - специалист по тестированию компании Mier Communications, специализирующейся на консалтинге и испытаниях сетевых продуктов. С ними можно связаться по адресам [email protected] и [email protected] .

Процедура тестирования

В процессе проведения тестов в лабораторной сети хранения данных использовались одни и те же источники трафика (от одного до семи серверов), одни и те же адаптеры Fibre Channel (модель QLA2200F/33 производства компании QLogic) и одна и та же дисковая система. Такая унификация дала возможность гарантировать, что единственным источником различий в обеспечиваемой полосе пропускания являются коммутаторы SAN.

Все производители, за исключением Gadzoox, предоставили в наше распоряжение по четыре коммутатора SAN, которые были соединены друг с другом по ромбовидной схеме. От Gadzoox мы получили только одно устройство.

Объединение тестировавшихся изделий в сеть с коммутацией позволило проверить их способность обнаруживать отказы и передавать трафик в обход неисправных коммутаторов или межузловых соединений (InterSwitch Link, ISL). Кроме того, мы проанализировали работу каждого продукта в среде, не содержавшей других активных устройств; в этом случае коммутатор являлся единственным промежуточным звеном между серверами и дисковой системой хранения данных. На момент проведения тестирования в ассортименте продукции Gadzoox отсутствовали устройства, поддерживавшие сетевые топологии с несколькими коммутаторами SAN, поэтому модель Capellix 2000G участвовала не во всех тестах. Поступили сообщения, что фирма уже приступила к тестированию продукта Fabric Switch Module, однако нам он так и не был предоставлен.

Для генерации трафика, а в нашем случае он был представлен запросами и результатами выполнения операций чтения/записи, использовались от одного до семи серверов, которые работали под управлением ОС Windows NT 4.0 с дополнениями Service Pack 6a. Аппаратные конфигурации всех серверов были идентичны: процессор Pentium III с тактовой частотой 500 МГц, 128 Мбайт памяти. В качестве серверных интерфейсных карт (или адаптеров HBA для коротковолновых волоконно-оптических линий Fibre Channel) применялись платы с одинаковыми оптическими разъемами, работавшие под управлением одного и того же драйвера. Мы специально советовались с поставщиками относительно выбора адаптеров, и все они поддержали наше решение остановиться на платах производства QLogic.

Для измерения параметров функционирования коммутаторов на каждом из серверов было инсталлировано бесплатное приложение IOMeter Version 1999.10.20 фирмы Intel. Это программное обеспечение способно создавать нагрузку на сеть требуемого уровня (за счет выполнения операций чтения и записи с жесткими дисками), осуществлять мониторинг производительности и генерировать подробнейшие отчеты о результатах измерений. Более того, применение IOMeter позволило нам превратить один из серверов в ведущее (master) устройство, контролировавшее параметры конфигурации других серверов и выполнение ими тестовых процедур. Этот же сервер отвечал за сбор и консолидацию результатов тестирования.

Системами накопителей, к которым обращались серверы для выполнения операций ввода/вывода, служили продукты Eurologic XL-400, каждый из которых содержал семь жестких дисков Cheetah 18LP компании Seagate емкостью 18 Гбайт и был снабжен собственным интерфейсом Fibre Channel. Два дисковых массива были объединены в каскад, в результате чего суммарное число «мишеней», на которые «нацеливались» операции чтения/записи, возросло до 14.

Для подтверждения результатов измерений производительности и задержек передачи пакетов в SAN мы воспользовались анализатором Gigabit Traffic Analyzer компании Finistar, содержавшим буферы емкостью 256 Мбайт.

При измерении пропускной способности один сервер обменивался данными с четырьмя жесткими дисками, причем поначалу трафик проходил через единственный коммутатор, а затем - через коммутирующую матрицу из нескольких устройств. В следующем тесте было задействовано уже семь серверов и 14 накопителей, и опять трафик передавался сначала через один, а потом через несколько коммутаторов. Каждый раз мы использовали приложение IOMeter, чтобы инициировать операции чтения данных общим объемом 10 Мбайт, затем - операции записи такого же объема данных, и наконец - операции чтения и записи, данные между которыми распределялись поровну, но в случайном порядке.

Каждый тест повторялся не менее трех раз, и во всех случаях мы регистрировали общую производительность операций ввода/вывода (т.е. сколько раз файл объемом 10 Мбайт мог быть прочитан или записан в течение 1 с), суммарную пропускную способность и среднее время отклика для операций ввода/вывода (оно равнялось среднему времени выполнения одной операции чтения или записи).

В целях измерения задержек передачи устройство Gigabit Traffic Analyzer осуществляло хронометраж первых десяти команд SCSI, выданных сервером в многокоммутаторную сеть SAN, а затем сравнивало полученные значения с такими же данными, но уже соответствовавшими поступлению этих команд на выход сети хранения данных. Очевидно, что разницу между временем выдачи команды и временем ее выхода из сети, усредненную по десяти командам, можно использовать в качестве оценки задержки передачи.

Чтобы определить время восстановления сети после сбоя, мы заставляли приложение IOMeter, запущенное на одном из серверов, генерировать непрерывный поток случайных запросов на последовательное считывание с четырех жестких дисков двухкилобайтных фрагментов данных. Затем, выявив одно из активных межкоммутаторных соединений, мы разрывали его. В усложненном варианте этого же теста участвовали семь серверов, число дисков, к которым направлялись запросы, было увеличено до 14, обращение к дискам осуществлялось не в циклической последовательности, а случайно, и, кроме того, объем считываемых данных возрос до 10 Мбайт. В обоих случаях сетевой анализатор производства Finistar регистрировал длительность интервала между моментом прекращения передачи данных и моментом ее восстановления.

Наконец, мы выполнили несколько сравнительных тестов на производительность сети SAN, которые включали в себя операции резервного копирования информации с NT-серверов через сеть хранения данных. На сей раз адресатом являлась не матрица жестких дисков, а ленточный накопитель.

Базовые критерии

Сравнительный анализ коммутаторов SAN проводился по пяти критериям.

Производительность. Мы оперировали десятком показателей и метрик, включая задержку передачи при прохождении трафика через отдельный коммутатор или через сеть, объединявшую несколько таких устройств; скорость изменения маршрута передачи в обход отказавшего коммутатора или соединения между коммутаторами; пропускную способность для операций чтения, записи и случайных комбинаций чтения/записи (данные передавались через коммутируемую среду, объединявшую от одного до семи серверов под Windows NT), наконец, общие параметры, характеризующие стабильность функционирования.

Управление и администрирование. Сюда относятся интуитивность и эффективность управляющего интерфейса (графического или основанного на командной строке), качество средств мониторинга в режиме реального времени и наличие таких дополнительных функций, как регистрация событий, предупреждений и служебных сообщений (с записью информации в соответствующие файлы) и генерация отчетов.

Настройка конфигурации. Проверялись поддержка полносвязной сетевой топологии с несколькими коммутаторами, различных классов сервиса Fibre Channel, разных типов соединений (коммутируемая матрица или среда общего доступа с разделяемой полосой передачи), наличие буферов кадров на отдельных портах, плотность портов, модульность, возможность «горячей» замены отдельных компонентов и наличие резервного источника питания, который является необходимым средством повышения отказоустойчивости коммутатора.

Функциональные возможности. Нас интересовало, например, поддерживаются ли различные физические интерфейсы Fibre Channel и несколько соединений между коммутаторами (для выравнивания нагрузки, обхода неисправных участков сети и логического структурирования, или зонирования, сети).

Простота инсталляции и эксплуатации. Рассматривалось, в частности, соответствие принципу Plug-and-Play при подключении накопительных систем и серверов, а также качество и содержание документации, включая сведения о способности данного устройства взаимодействовать с продуктами других производителей.

Максимальная пропускная способность

Максимальная пропускная способность коммутаторов оценивалась для операций чтения и записи на одной дисковой системе, инициированных семью серверами под Windows NT. При выполнении смешанных операций чтения/записи каждый из серверов был настроен на обмен данными с единственной дисковой системой через сеть SAN. Суммарный объем данных, составлявший 10 Мбайт, распределялся поровну между операциями чтения и записи. На момент проведения испытаний модель Capellix 2000G фирмы Gadzoox поддерживала сетевые топологии только с одним коммутатором.

Именно информация является движущей силой современного бизнеса и в настоящий момент считается наиболее ценным стратегическим активом любого предприятия. Объем информации растет в геометрической прогрессии вместе с ростом глобальных сетей и развитием электронной коммерции. Для достижения успеха в информационной войне необходимо обладать эффективной стратегией хранения, защиты, совместного доступа и управления самым важным цифровым имуществом - данными - как сегодня, так и в ближайшем будущем.

Управление ресурсами хранения данных стало одной из самых животрепещущих стратегических проблем, стоящих перед сотрудниками отделов информационных технологий. Вследствие развития Интернета и коренных изменений в процессах бизнеса информация накапливается с невиданной скоростью. Кроме насущной проблемы обеспечения возможности постоянного увеличения объема хранимой информации, не менее остро на повестке дня стоит и проблема обеспечения надежности хранения данных и постоянного доступа к информации. Для многих компаний формула доступа к данным «24 часа в сутки, 7 дней в неделю, 365 дней в году» стала нормой жизни.

В случае отдельного ПК под системой хранения данных (СХД) можно понимать отдельный внутренний жесткий диск или систему дисков. Если же речь заходит о корпоративной СХД, то традиционно можно выделить три технологии организации хранения данных: Direct Attached Storage (DAS), Network Attach Storage (NAS) и Storage Area Network (SAN).

Direct Attached Storage (DAS)

Технология DAS подразумевает прямое (непосредственное) подключение накопителей к серверу или к ПК. При этом накопители (жесткие диски, ленточные накопители) могут быть как внутренними, так и внешними. Простейший случай DAS-системы - это один диск внутри сервера или ПК. Кроме того, к DAS-системе можно отнести и организацию внутреннего RAID-массива дисков с использованием RAID-контроллера.

Стоит отметить, что, несмотря на формальную возможность использования термина DAS-системы по отношению к одиночному диску или к внутреннему массиву дисков, под DAS-системой принято понимать внешнюю стойку или корзину с дисками, которую можно рассматривать как автономную СХД (рис. 1). Кроме независимого питания, такие автономные DAS-системы имеют специализированный контроллер (процессор) для управления массивом накопителей. К примеру, в качестве такого контроллера может выступать RAID-контроллер с возможностью организации RAID-массивов различных уровней.

Рис. 1. Пример DAS-системы хранения данных

Следует отметить, что автономные DAS-системы могут иметь несколько внешних каналов ввода-вывода, что обеспечивает возможность подключения к DAS-системе нескольких компьютеров одновременно.

В качестве интерфейсов для подключения накопителей (внутренних или внешних) в технологии DAS могут выступать интерфейсы SCSI (Small Computer Systems Interface), SATA, PATA и Fibre Channel. Если интерфейсы SCSI, SATA и PATA используются преимущественно для подключения внутренних накопителей, то интерфейс Fibre Channel применяется исключительно для подключения внешних накопителей и автономных СХД. Преимущество интерфейса Fibre Channel заключается в данном случае в том, что он не имеет жесткого ограничения по длине и может использоваться в том случае, когда сервер или ПК, подключаемый к DAS-системе, находится на значительном расстоянии от нее. Интерфейсы SCSI и SATA также могут использоваться для подключения внешних СХД (в этом случае интерфейс SATA называют eSATA), однако данные интерфейсы имеют строгое ограничение по максимальной длине кабеля, соединяющего DAS-систему и подключаемый сервер.

К основным преимуществам DAS-систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести слабую управляемость и неоптимальную утилизацию ресурсов, поскольку каждая DAS-система требует подключения выделенного сервера.

В настоящее время DAS-системы занимают лидирующее положение, однако доля продаж этих систем постоянно уменьшается. На смену DAS-системам постепенно приходят либо универсальные решения с возможностью плавной миграции с NAS-системам, либо системы, предусматривающие возможность их использования как в качестве DAS-, так и NAS- и даже SAN-систем.

Системы DAS следует использовать при необходимости увеличения дискового пространства одного сервера и вынесения его за корпус. Также DAS-системы можно рекомендовать к применению для рабочих станций, обрабатывающих большие объемы информации (например, для станций нелинейного видеомонтажа).

Network Attached Storage (NAS)

NAS-системы - это сетевые системы хранения данных, непосредственно подключаемые к сети точно так же, как и сетевой принт-сервер, маршрутизатор или любое другое сетевое устройство (рис. 2). Фактически NAS-системы представляют собой эволюцию файл-серверов: разница между традиционным файл-сервером и NAS-устройством примерно такая же, как между аппаратным сетевым маршрутизатором и программным маршрутизатором на основе выделенного сервера.

Рис. 2. Пример NAS-системы хранения данных

Для того чтобы понять разницу между традиционным файл-сервером и NAS-устройством, давайте вспомним, что традиционный файл-сервер представляет собой выделенный компьютер (сервер), на котором хранится информация, доступная пользователям сети. Для хранения информации могут использоваться жесткие диски, устанавливаемые в сервер (как правило, они устанавливаются в специальные корзины), либо к серверу могут подключаться DAS-устройства. Администрирование файл-сервера производится с использованием серверной операционной системы. Такой подход к организации систем хранения данных в настоящее время является наиболее популярным в сегменте небольших локальных сетей, однако он имеет один существенный недостаток. Дело в том, что универсальный сервер (да еще в сочетании с серверной операционной системой) - это отнюдь не дешевое решение. В то же время большинство функциональных возможностей, присущих универсальному серверу, в файл-сервере просто не используется. Идея заключается в том, чтобы создать оптимизированный файл-сервер с оптимизированной операционной системой и сбалансированной конфигурацией. Именно эту концепцию и воплощает в себе NAS-устройство. В этом смысле NAS-устройства можно рассматривать как «тонкие» файл-серверы, или, как их иначе называют, файлеры (filers).

Кроме оптимизированной ОС, освобожденной от всех функций, не связанных с обслуживанием файловой системы и реализацией ввода-вывода данных, NAS-системы имеют оптимизированную по скорости доступа файловую систему. NAS-системы проектируются таким способом, что вся их вычислительная мощь фокусируется исключительно на операциях обслуживания и хранения файлов. Сама операционная система располагается во флэш-памяти и предустанавливается фирмой-производителем. Естественно, что с выходом новой версии ОС пользователь может самостоятельно «перепрошить» систему. Подсоединение NAS-устройств к сети и их конфигурирование представляет собой достаточно простую задачу и по силам любому опытному пользователю, не говоря уже о системном администраторе.

Таким образом, в сравнении с традиционными файловыми серверами NAS-устройства являются более производительными и менее дорогими. В настоящее время практически все NAS-устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS.

CIFS (Common Internet File System System - общая файловая система Интернета) - это протокол, который обеспечивает доступ к файлам и сервисам на удаленных компьютерах (в том числе и в Интернет) и использует клиент-серверную модель взаимодействия. Клиент создает запрос к серверу на доступ к файлам, сервер выполняет запрос клиента и возвращает результат своей работы. Протокол CIFS традиционно используется в локальных сетях с ОС Windows для доступа к файлам. Для транспортировки данных CIFS использует TCP/IP-протокол. CIFS обеспечивает функциональность, похожую на FTP (File Transfer Protocol), но предоставляет клиентам улучшенный контроль над файлами. Он также позволяет разделять доступ к файлам между клиентами, используя блокирование и автоматическое восстановление связи с сервером в случае сбоя сети.

Протокол NFS (Network File System - сетевая файловая система) традиционно применяется на платформах UNIX и представляет собой совокупность распределенной файловой системы и сетевого протокола. В протоколе NFS также используется клиент-серверная модель взаимодействия. Протокол NFS обеспечивает доступ к файлам на удаленном хосте (сервере) так, как если бы они находились на компьютере пользователя. Для транспортировки данных NFS использует протокол TCP/IP. Для работы NFS в Интернeте был разработан протокол WebNFS.

Протокол DAFS (Direct Access File System - прямой доступ к файловой системе) - это стандартный протокол файлового доступа, который основан на NFS. Данный протокол позволяет прикладным задачам передавать данные в обход операционной системы и ее буферного пространства напрямую к транспортным ресурсам. Протокол DAFS обеспечивает высокие скорости файлового ввода-вывода и снижает загрузку процессора благодаря значительному уменьшению количества операций и прерываний, которые обычно необходимы при обработке сетевых протоколов.

DAFS проектировался с ориентацией на использование в кластерном и серверном окружении для баз данных и разнообразных Интернет-приложений, ориентированных на непрерывную работу. Он обеспечивает наименьшие задержки доступа к общим файловым ресурсам и данным, а также поддерживает интеллектуальные механизмы восстановления работоспособности системы и данных, что делает его привлекательным для использования в NAS-системах.

Резюмируя вышеизложенное, NAS-системы можно рекомендовать для использования в мультиплатформенных сетях в случае, когда требуется сетевой доступ к файлам и достаточно важными факторами являются простота установки администрирования системы хранения данных. Прекрасным примером является применение NAS в качестве файл-сервера в офисе небольшой компании.

Storage Area Network (SAN)

Собственно, SAN - это уже не отдельное устройство, а комплексное решение, представляющее собой специализированную сетевую инфраструктуру для хранения данных. Сети хранения данных интегрируются в виде отдельных специализированных подсетей в состав локальной (LAN) или глобальной (WAN) сети.

По сути, SAN-сети связывают один или несколько серверов (SAN-серверов) с одним или несколькими устройствами хранения данных. SAN-сети позволяют любому SAN-серверу получать доступ к любому устройству хранения данных, не загружая при этом ни другие серверы, ни локальную сеть. Кроме того, возможен обмен данными между устройствами хранения данных без участия серверов. Фактически SAN-сети позволяют очень большому числу пользователей хранить информацию в одном месте (с быстрым централизованным доступом) и совместно использовать ее. В качестве устройств хранения данных могут использоваться RAID-массивы, различные библиотеки (ленточные, магнитооптические и др.), а также JBOD-системы (массивы дисков, не объединенные в RAID).

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года.

Подобно тому как локальные сети в принципе могут строиться на основе различных технологий и стандартов, для построения сетей SAN также могут применяться различные технологии. Но точно так же, как стандарт Ethernet (Fast Ethernet, Gigabit Ethernet) стал стандартом де-факто для локальный сетей, в сетях хранения данных доминирует стандарт Fibre Channel (FC). Собственно, именно развитие стандарта Fibre Channel привело к развитию самой концепции SAN. В то же время необходимо отметить, что все большую популярность приобретает стандарт iSCSI, на основе которого тоже возможно построение SAN-сетей.

Наряду со скоростными параметрами одним из важнейших преимуществ Fibre Channel является возможность работы на больших расстояниях и гибкость топологии. Концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные локальные сети на основе коммутаторов и маршрутизаторов, что значительно упрощает построение многоузловых конфигураций систем.

Стоит отметить, что для передачи данных в стандарте Fibre Channel используются как оптоволоконные, так и медные кабели. При организации доступа к территориально удаленным узлам на расстоянии до 10 км используется стандартная аппаратура и одномодовое оптоволокно для передачи сигнала. Если же узлы разнесены на большее расстояние (десятки или даже сотни километров), применяются специальные усилители.

Топология SAN-сети

Типичный вариант SAN-сети на основе стандарта Fibre Channel показан на рис. 3. Инфраструктуру такой SAN-сети составляют устройства хранения данных с интерфейсом Fibre Channel, SAN-серверы (серверы, подключаемые как к локальной сети по интерфейсу Ethernet, так и к SAN-сети по интерфейсу Fiber Channel) и коммутационная фабрика (Fibre Channel Fabric), которая строится на основе Fibre Channel-коммутаторов (концентраторов) и оптимизирована для передачи больших блоков данных. Доступ сетевых пользователей к системе хранения данных реализуется через SAN-серверы. При этом важно, что трафик внутри SAN-сети отделен от IP-трафика локальной сети, что, безусловно, позволяет снизить загрузку локальной сети.

Рис. 3. Типичная схема SAN-сети

Преимущества SAN-сетей

К основным преимуществам технологии SAN можно отнести высокую производительность, высокий уровень доступности данных, отличную масштабируемость и управляемость, возможность консолидации и виртуализации данных.

Коммутационные фабрики Fiber Channel с неблокирующей архитектурой позволяют реализовать одновременный доступ множества SAN-серверов к устройствам хранения данных.

В архитектуре SAN данные могут легко перемещаться с одного устройства хранения данных на другое, что позволяет оптимизировать размещение данных. Это особенно важно в том случае, когда нескольким SAN-серверам требуется одновременный доступ к одним и тем же устройствам хранения данных. Отметим, что процесс консолидации данных невозможен в случае использования других технологий, как, например, при применении DAS-устройств, то есть устройств хранения данных, непосредственно подсоединяемых к серверам.

Другая возможность, предоставляемая архитектурой SAN, - это виртуализация данных. Идея виртуализации заключается в том, чтобы обеспечить SAN-серверам доступ не к отдельным устройствам хранения данных, а к ресурсам. То есть серверы должны «видеть» не устройства хранения данных, а виртуальные ресурсы. Для практической реализации виртуализации между SAN-серверами и дисковыми устройствами может размещаться специальное устройство виртуализации, к которому с одной стороны подключаются устройства хранения данных, а с другой - SAN-серверы. Кроме того, многие современные FC-коммутаторы и HBA-адаптеры предоставляют возможность реализации виртуализации.

Следующая возможность, предоставляемая SAN-сетями, - это реализация удаленного зеркалирования данных. Принцип зеркалирования данных заключается в дублировании информации на несколько носителей, что повышает надежность хранения информации. Примером простейшего случая зеркалирования данных может служить объединение двух дисков в RAID-массив уровня 1. В данном случае одна и та же информация записывается одновременно на два диска. Недостатком такого способа можно считать локальное расположение обоих дисков (как правило, диски находятся в одной и той же корзине или стойке). Сети хранения данных позволяют преодолеть этот недостаток и предоставляют возможность организации зеркалирования не просто отдельных устройств хранения данных, а самих SAN-сетей, которые могут быть удалены друг от друга на сотни километров.

Еще одно преимущество SAN-сетей заключается в простоте организации резервного копирования данных. Традиционная технология резервного копирования, которая используется в большинстве локальных сетей, требует выделенного Backup-сервера и, что особенно важно, выделенной полосы пропускания сети. Фактически во время операции резервного копирования сам сервер становится недоступным для пользователей локальной сети. Собственно, именно поэтому резервное копирование производится, как правило, в ночное время.

Архитектура сетей хранения данных позволяет принципиально по-иному подойти к проблеме резервного копирования. В этом случае Backup-сервер является составной частью SAN-сети и подключается непосредственно к коммутационной фабрике. В этом случае Backup-трафик оказывается изолированным от трафика локальной сети.

Оборудование, используемое для создания SAN-сетей

Как уже отмечалось, для развертывания SAN-сети требуются устройства хранения данных, SAN-серверы и оборудование для построения коммутационной фабрики. Коммутационные фабрики включают как устройства физического уровня (кабели, коннекторы), так и устройства подключения (Interconnect Device) для связи узлов SAN друг с другом, устройства трансляции (Translation devices), выполняющие функции преобразования протокола Fibre Channel (FC) в другие протоколы, например SCSI, FCP, FICON, Ethernet, ATM или SONET.

Кабели

Как уже отмечалось, для соединения SAN-устройств стандарт Fibre Channel допускает использование как волоконно-оптических, так и медных кабелей. При этом в одной SAN-сети могут применяться различные типы кабелей. Медный кабель используется для коротких расстояний (до 30 м), а волоконно-оптический - как для коротких, так и для расстояний до 10 км и больше. Применяют как многомодовый (Multimode), так и одномодовый (Singlemode) волоконно-оптические кабели, причем многомодовый используется для расстояний до 2 км, а одномодовый - для больших расстояний.

Сосуществование различных типов кабелей в пределах одной SAN-сети обеспечивается посредством специальных конверторов интерфейсов GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter).

В стандарте Fibre Channel предусмотрено несколько возможных скоростей передачи (см. таблицу). Отметим, что в настоящее время наиболее распространены FC-устройства стандартов 1, 2 и 4 GFC. При этом обеспечивается обратная совместимость более скоростных устройств с менее скоростными, то есть устройство стандарта 4 GFC автоматически поддерживает подключение устройств стандартов 1 и 2 GFC.

Устройства подключения (Interconnect Device)

В стандарте Fibre Channel допускается использование различных сетевых топологий подключения устройств, таких как «точка-точка» (Point-to-Point), кольцо с разделяемым доступом (Arbitrated Loop, FC-AL) и коммутируемая связная архитектура (switched fabric).

Топология «точка-точка» может применяться для подключения сервера к выделенной системе хранения данных. В этом случае данные не используются совместно с серверами SAN-сети. Фактически данная топология является вариантом DAS-системы.

Для реализации топологии «точка-точка», как минимум, необходим сервер, оснащенный адаптером Fibre Channel, и устройство хранения данных с интерфейсом Fibre Channel.

Топология кольца с разделенным доступом (FC-AL) подразумевает схему подключения устройств, при котором данные передаются по логически замкнутому контуру. При топологии кольца FC-AL в качестве устройств подключения могут выступать концентраторы или коммутаторы Fibre Channel. При использовании концентраторов полоса пропускания делится между всеми узлами кольца, в то время как каждый порт коммутатора предоставляет протокольную полосу пропускания для каждого узла.

На рис. 4 показан пример кольца Fibre Channel с разделением доступа.

Рис. 4. Пример кольца Fibre Channel с разделением доступа

Конфигурация аналогична физической звезде и логическому кольцу, используемым в локальных сетях на базе технологии Token Ring. Кроме того, как и в сетях Token Ring, данные перемещаются по кольцу в одном направлении, но, в отличие от сетей Token Ring, устройство может запросить право на передачу данных, а не ждать получения пустого маркера от коммутатора. Кольца Fibre Channel с разделением доступа могут адресовать до 127 портов, однако, как показывает практика, типичные кольца FC-AL содержат до 12 узлов, а после подключения 50 узлов производительность катастрофически снижается.

Топология коммутируемой связной архитектуры (Fibre Channel switched-fabric) реализуется на базе Fibre Channel-коммутаторов. В данной топологии каждое устройство имеет логическое подключение к любому другому устройству. Фактически Fibre Channel-коммутаторы связной архитектуры выполняют те же функции, что и традиционные Ethernet-коммутаторы. Напомним, что, в отличие от концентратора, коммутатор - это высокоскоростное устройство, которое обеспечивает подключение по схеме «каждый с каждым» и обрабатывает несколько одновременных подключений. Любой узел, подключенный к Fibre Channel-коммутатору, получает протокольную полосу пропускания.

В большинстве случаев при создании крупных SAN-сетей используется смешанная топология. На нижнем уровне применяются FC-AL-кольца, подключенные к малопроизводительным коммутаторам, которые, в свою очередь, подключаются к высокоскоростным коммутаторам, обеспечивающим максимально возможную пропускную способность. Несколько коммутаторов могут быть соединены друг с другом.

Устройства трансляции

Устройства трансляции являются промежуточными устройствами, выполняющими преобразование протокола Fibre Channel в протоколы более высоких уровней. Эти устройства предназначены для соединения Fibre Channel-сети с внешней WAN-сетью, локальной сетью, а также для присоединения к Fibre Channel-сети различных устройств и серверов. К таким устройствам относятся мосты (Bridge), Fibre Channel-адаптеры (Host Bus Adapters (HBA), маршрутизаторы, шлюзы и сетевые адаптеры. Классификация устройств трансляции показана на рис. 5.

Рис. 5. Классификация устройств трансляции

Наиболее распространенными устройствами трансляции являются HBA-адаптеры с интерфейсом PCI, которые применяются для подключения серверов к сети Fibre Channel. Сетевые адаптеры позволяют подключать локальные Ethernet-сети к сетям Fibre Channel. Мосты используются для подключения устройств хранения данных с SCSI интерфейсом к сети на базе Fibre Channel. Cледует отметить, что в последнее время практически все устройства хранения данных, которые предназначены для применения в SAN, имеют встроенный Fibre Channel и не требуют использования мостов.

Устройства хранения данных

В качестве устройств хранения данных в SAN-сетях могут использоваться как жесткие диски, так и ленточные накопители. Если говорить о возможных конфигурациях применения жестких дисков в качестве устройств хранения данных в SAN-сетях, то это могут быть как массивы JBOD, так и RAID-массивы дисков. Традиционно устройства хранения данных для SAN-сетей выпускаются в виде внешних стоек или корзин, оснащенных специализированным RAID-контроллером. В отличие от NAS- или DAS-устройств, устройства для SAN-систем оснащаются Fibre Channel-интерфейсом. При этом сами диски могут иметь как SCSI-, так и SATA-интерфейс.

Кроме устройств хранения на основе жестких дисков, в SAN-сетях широкое применение находят ленточные накопители и библиотеки.

SAN-серверы

Серверы для сетей SAN отличаются от обычных серверов приложений только одной деталью. Кроме сетевого Ethernet-адаптера, для взаимодействия сервера с локальной сетью они оснащаются HBA-адаптером, что позволяет подключать их к SAN-сетям на основе Fibre Channel.

Системы хранения данных компании Intel

Далее мы рассмотрим несколько конкретных примеров устройств хранения данных компании Intel. Строго говоря, компания Intel не выпускает законченных решений и занимается разработкой и производством платформ и отдельных компонентов для построения систем хранения данных. На основе данных платформ многие компании (в том числе и целый ряд российских компаний) производят уже законченные решения и продают их под своими логотипами.

Intel Entry Storage System SS4000-E

Система хранения данных Intel Entry Storage System SS4000-E представляет собой NAS-устройство, предназначенное для применения в небольших и средних офисах и многоплатформенных локальных сетях. При использовании системы Intel Entry Storage System SS4000-E разделяемый сетевой доступ к данным получают клиенты на основе Windows-, Linux- и Macintosh-платформ. Кроме того, Intel Entry Storage System SS4000-E может выступать как в роли DHCP-сервера, так и DHCP-клиента.

Система хранения данных Intel Entry Storage System SS4000-E представляет собой компактную внешнюю стойку с возможностью установки до четырех дисков с интерфейсом SATA (рис. 6). Таким образом, максимальная емкость системы может составлять 2 Тбайт при использовании дисков емкостью 500 Гбайт.

Рис. 6. Система хранения данных Intel Entry Storage System SS4000-E

В системе Intel Entry Storage System SS4000-E применяется SATA RAID-контроллер с поддержкой уровней RAID-массивов 1, 5 и 10. Поскольку данная система является NAS-устройством, то есть фактически «тонким» файл-сервером, система хранения данных должна иметь специализированный процессор, память и прошитую операционную систему. В качестве процессора в системе Intel Entry Storage System SS4000-E применяется Intel 80219 с тактовой частотой 400 МГц. Кроме того, система оснащена 256 Мбайт памяти DDR и 32 Мбайт флэш-памяти для хранения операционной системы. В качестве операционной системы используется Linux Kernel 2.6.

Для подключения к локальной сети в системе предусмотрен двухканальный гигабитный сетевой контроллер. Кроме того, имеются также два порта USB.

Устройство хранения данных Intel Entry Storage System SS4000-E поддерживает протоколы CIFS/SMB, NFS и FTP, а настройка устройства реализуется с использованием web-интерфейса.

В случае применения Windows-клиентов (поддерживаются ОС Windows 2000/2003/XP) дополнительно имеется возможность реализации резервного копирования и восстановления данных.

Intel Storage System SSR212CC

Система Intel Storage System SSR212CC представляет собой универсальную платформу для создания систем хранения данных типа DAS, NAS и SAN. Эта система выполнена в корпусе высотой 2 U и предназначена для монтажа в стандартную 19-дюймовую стойку (рис. 7). Система Intel Storage System SSR212CC поддерживает установку до 12 дисков с интерфейсом SATA или SATA II (поддерживается функция горячей замены), что позволяет наращивать емкость системы до 6 Тбайт при использовании дисков емкостью по 550 Гбайт.

Рис. 7. Система хранения данных Intel Storage System SSR212CC

Фактически система Intel Storage System SSR212CC представляет собой полноценный высокопроизводительный сервер, функционирующий под управлением операционных систем Red Hat Enterprise Linux 4.0, Microsoft Windows Storage Server 2003, Microsoft Windows Server 2003 Enterprise Edition и Microsoft Windows Server 2003 Standard Edition.

Основу сервера составляет процессор Intel Xeon с тактовой частотой 2,8 ГГц (частота FSB 800 МГц, размер L2-кэша 1 Мбайт). Система поддерживает использование памяти SDRAM DDR2-400 с ECC максимальным объемом до 12 Гбайт (для установки модулей памяти предусмотрено шесть DIMM-слотов).

Система Intel Storage System SSR212CC оснащена двумя RAID-контроллерами Intel RAID Controller SRCS28Xs с возможностью создания RAID-массивов уровней 0, 1, 10, 5 и 50. Кроме того, система Intel Storage System SSR212CC имеет двухканальный гигабитный сетевой контроллер.

Intel Storage System SSR212MA

Система Intel Storage System SSR212MA представляет собой платформу для создания систем хранения данных в IP SAN-сетях на основе iSCSI.

Данная система выполнена в корпусе высотой 2 U и предназначена для монтажа в стандартную 19-дюймовую стойку. Система Intel Storage System SSR212MA поддерживает установку до 12 дисков с интерфейсом SATA (поддерживается функция горячей замены), что позволяет наращивать емкость системы до 6 Тбайт при использовании дисков емкостью по 550 Гбайт.

По своей аппаратной конфигурации система Intel Storage System SSR212MA не отличается от системы Intel Storage System SSR212CC.