Триколор 

Сеть хранения данныхStorage Area Network, SAN

Коммутаторы Ethernet разного класса - от предназначенных для домашних сетей и небольших рабочих групп до оборудования для распределенных сетей крупных компаний – используются в качестве основного «строительного блока» при создании корпоративных сетей передачи данных. Выбор тех или иных продуктов, их функциональности и вариантов построения сетевой инфраструктуры зависит от решаемой задачи и требований к пропускной способности, масштабу, надежности сети, мобильности пользователей, поддержке приложений.

Коммутатор (switch ) - устройство, предназначенное для соединения нескольких узлов компьютерной сети в пределах одного или нескольких ее сегментов.

Чтобы правильно выбрать коммутатор, нужно представлять топологию сети, знать примерное количество пользователей, скорость передачи данных для каждого участка сети, требования к безопасности и многое другое, а также разбираться в специфике работы этого сетевого оборудования.

Коммутаторы различаются числом и типом портов, архитектурой, конструктивным исполнением, функциональностью, надежностью, производительностью и ценой.

Введение в технологию коммутации

Что такое коммутатор и для чего он нужен

Коммутатор объединяет различные сетевые устройства, такие как ПК, серверы, подключенные к сети системы хранения данных, в единый сегмент сети, дает им возможность общаться между собой. Он определяет, какому именно получателю адресованы данные, и посылает их непосредственно адресату. Исключение составляет широковещательный трафик всем узлам сети и трафик устройств, для которых неизвестен исходящий порт коммутатора.

Это повышает производительность и безопасность сети, избавляя остальные сегменты сети от необходимости обрабатывать не предназначенные им данные.

Коммутатор передает информацию только адресату.


switch ) работает на канальном (втором, L 2) уровне модели OSI. В этом случае для соединения нескольких сетей на сетевом уровне (третий уровень OSI, L 3) служат маршрутизаторы (router ).

Принципы работы коммутатора

В памяти коммутатора хранится таблица коммутации, где фиксируются MAC-адреса подключенных к портам устройств, то есть указывается соответствие MAC-адреса узла сети порту коммутатора. При получении данных с одного из портов коммутатор анализирует их и определяет адрес назначения, по таблице выбирает порт, куда их следует передать.

При включении коммутатора таблица пуста, и он работает в режиме обучения: поступающие на любой порт данные передаются на все остальные порты. При этом коммутатор анализирует фреймы (кадры) и, определив MAC-адрес хоста-отправителя, заносит его в таблицу. Впоследствии, если на один из портов коммутатора поступит фрейм, предназначенный для хоста, MAC-адрес которого уже есть в таблице, то этот фрейм будет передан только через порт, указанный в таблице. Если MAC-адрес хоста-получателя не ассоциирован с каким-либо портом коммутатора, то фрейм отправляется на все порты, за исключением порта-источника.

Формирование таблицы коммутации. MAC-адреса сетевых устройств соотносятся с конкретными портами коммутатора.


Как происходит коммутация при формированной таблице? Например, абонент с адресом А отправляет фрейм получателю с адресом D. По таблице коммутатор определяет, что станция с адресом А подключена к порту 1, а станция с адресом D - к порту 4. На основании этих данных он устанавливает виртуальное соединение для передачи сообщения между портами 1 и 4. После передачи виртуальное соединение разрывается.

Режимы коммутации

При всем многообразии конструкции коммутаторов базовая архитектура этих устройств определяется четырьмя компонентами: портами, буферами, внутренней шиной и механизмом продвижения пакетов.

Механизм продвижения пакетов/фреймов может быть следующим. При коммутации с промежуточной буферизацией коммутатор, получая пакет, не передает его дальше, пока не прочтет полностью всю необходимую ему информацию. Он не только определяет адрес получателя, но и проверяет контрольную сумму, т. е. может отсекать дефектные пакеты. Это позволяет изолировать порождающий ошибки сегмент. Таким образом, данный режим ориентирован на надежность, а не на скорость. При сквозной коммутации коммутатор считывает только адрес поступающего пакета. Пакет передается далее вне зависимости от ошибок. Такой метод характеризуется малой задержкой.

Некоторые коммутаторы используют гибридный метод, называемый пороговой или адаптивной коммутацией. В обычных условиях они осуществляют сквозную коммутацию, проверяют контрольные суммы. Если число ошибок достигает заданного порогового значения, то они переходят в режим коммутации с промежуточной буферизацией, а при снижении числа ошибок возвращаются в режим сквозной коммутации.

Один из важных параметров коммутатора - его производительность. Ее определяют три основных показателя: скорость передачи данных между портами, общая пропускная способность (наибольшая скорость, с которой данные передаются адресатам) и задержка (время между получением пакета от отправителя и до передачи его получателю). Другая ключевая характеристика – возможности управления.

Виды и особенности коммутаторов

Управляемые и неуправляемые коммутаторы

Коммутаторы Ethernet принято делить на два основных вида – неуправляемые и управляемые. Неуправляемые коммутаторы не предусматривают изменения конфигурации или каких-либо других настроек. Это простые устройства, готовые к работе сразу после включения. Их достоинства – низкая цена и автономная работа, не требующая вмешательства. Минусы – отсутствие инструментов управления и малая производительность.

Простые неуправляемые коммутаторы получили наибольшее распространение в домашних сетях и на малых предприятиях.

Управляемые коммутаторы – это более продвинутые устройства, которые также работают в автоматическом режиме, но помимо этого имеют ручное управление. Оно позволяет настроить работу коммутатора, например, предоставляет возможность настройки сетевых политик, создания виртуальных сетей и полноценного управления ими. Цена зависит от функциональности коммутатора и его производительности.

Управлять коммутацией можно на канальном (втором) и сетевом (третьем) уровне модели OSI. Устройства именуют, соответственно, управляемыми коммутаторами L2 и L3. Управление может осуществляться через веб-интерфейс, интерфейс командной строки (CLl), Telnet, SSH, RMON, протокол управления сетью (SNMP) и т.п.

Управляемый коммутатор позволяет настраивать полосу пропускания, создавать виртуальные сети (V LAN ) и др.

Стоит обратить внимание на SSH-доступ и протокол SNMP. Веб-интерфейс облегчает первоначальную настройку коммутатора, но практически всегда имеет меньшее количество функций, чем командная строка, поэтому его наличие приветствуется, но не является обязательным. Многие модели поддерживают все популярные типы управления.

К управляемым относят и так называемые смарт-коммутаторы – устройства с ограниченным набором конфигурационных настроек

Неуправляемые, смарт-коммутаторы и полностью управляемые коммутаторы. Смарт-коммутаторы могут предусматривать возможность управления через веб-интерфейс и базовые настройки.

Сложные корпоративные коммутаторы имеют полный набор средств управления, в том числе CLI, SNMP, веб-интерфейс, иногда - дополнительные функции, например, резервное копирование и восстановление конфигураций.

Многие управляемые коммутаторы поддерживают дополнительные функции, например, QoS, агрегирование и/или зеркалирование портов, стекирование. Некоторые коммутаторы можно объединять в кластер, MLAG или создать виртуальный стек.

Стекируемые коммутаторы

Стекирование – это возможность объединения нескольких коммутаторов с помощью специальных (или стандартных) кабелей, чтобы получившаяся конструкция работала как единый коммутатор. Обычно стек используется для подключения большого число узлов в локальной сети. Если коммутаторы соединены кольцом, то в случае выхода из строя какого-нибудь коммутатора стек продолжает работать.

Для чего создается такой стек? Во-первых, это защита инвестиций. Если необходимо увеличить число пользователей/устройств в сети, а портов не хватает, то можно добавить коммутатор в стек. Во-вторых, стеком удобнее управлять. С точки зрения систем мониторинга и управления это одно устройство. В-третьих, коммутаторы стека имеют единую адресную таблицу, один IP- и MAC-адрес.

Стекируемый (или стековый) коммутатор имеет специальные порты (интерфейсы) для соединения в стек, часто при этом происходит физическое объединение внутренних шин. Как правило, у стекового соединения скорость передачи данных в разы больше, чем скорость передачи по другим портам коммутатора. А в коммутаторах с неблокирующей архитектурой отсутствует блокировка трафика при обмене между коммутаторами стека.

Стекируемые управляемые коммутаторы можно объединять в одно логическое устройство - стек, увеличив тем самым число портов.

Обычно используются фирменные технологии стекирования. Иногда применяются кабели с оконечными разъемами SFP, GBIC и пр. Как правило, в стек можно объединять до 4, 8, 16 или 32 коммутаторов. Многие современные коммутаторы отказоустойчивы, наряду со стекированием поддерживают все функции L2 и L3, множество специализированных протоколов.

Существуют также технологии «виртуализации» коммутаторов, например, Cisco Virtual Switching System (VSS) и HPE Intelligent Resilient Framework (IRF). Их также можно отнести к технологиям стекирования, но, в отличие от «классического» стекирования (StackWise, FlexStack и пр.), для связи коммутаторов используются Ethernet-порты. Таким образом, коммутаторы могут находиться на относительно большом удалении друг от друга.

Резервирование и отказоустойчивость

Современные архитектуры стека предусматривают резервирование по схеме N-1, поддерживают распределенную коммутацию L2/L3, агрегирование каналов по всему стеку, а также возможность переключения каналов в случае аварии и переключение активного устройства в стеке без отказа сервисов. Кроме традиционных протоколов STP, RSTP и MSTP коммутаторы могут поддерживать усовершенствованные технологии, например, Smart Link и RRPP, выполняют защитное переключение каналов на уровне миллисекунд, гарантируют надежную работу сети.

Некоторые модели поддерживают интеллектуальный протокол защиты SEP (Smart Ethernet Protection) – протокол кольцевой сети, обеспечивающий непрерывную доставку сервисов. Еще один протокол, ERPS (Ethernet Ring Protection Switching), использует функции Ethernet OAM и механизм автоматического защитного переключения кольца – также за миллисекунды.

Многие вендоры применяют собственные технологии кольцевого резервирования сети, обеспечивающие более быстрое восстановление, чем стандартные протоколы STP/RSTP. Один из примеров показан ниже.

Выбираются основной и резервный порты для передачи данных в кольце. Коммутатор блокирует резервный порт, и передача происходит по основному маршруту. Все коммутаторы в кольце обмениваются пакетами синхронизации. При обрыве соединения будет разблокирован резервный порт и задействован резервный маршрут.

Для повышения надежности может предусматриваться «горячая» замена и/или резервирование блоков питания и элементов охлаждения коммутатора. Благодаря имеющимся в некоторых моделях оптическим портам коммутатор можно подключить к коммутатору ядра на расстоянии до 80 км. Такое оборудование позволяет создать производительный отказоустойчивый коммутационный кластер или построить любую современную L2-топологию, разнесенную на несколько десятков километров, получить отказоустойчивый стек на сотни портов с единой точкой управления, что существенно облегчает администрирование.

Коммутаторы в сетевой архитектуре

Место и роль коммутатора в сети

Коммутаторы и маршрутизаторы играют критическую роль, особенно в среде предприятия. Коммутация – одна из самых распространенных сетевых технологий. Коммутаторы вытесняют маршрутизаторы на периферию локальных сетей, оставляя за ними роль организации связи через глобальную сеть.

За счет микросегментации они позволяют повысить производительность сети, дают возможность организовать подключенные устройства в логические сети и перегруппировывать их, когда это необходимо.

Традиционная архитектура корпоративной сети включает в себя три уровня: уровень доступа, агрегирования/распределения и ядра. На каждом из них коммутаторы выполняют специфические сетевые функции.

Коммутаторы могут играть роль основных коммутаторов в филиалах и организациях среднего размера, функционировать как локальные коммутаторы доступа в крупных организациях, применяться для объединения небольших групп в единую сеть второго уровня. Они широко используются в ЦОД и в ядре сети, в сетях провайдеров на уровне доступа и агрегирования, а с распространением технологии Ethernet - и в ряде вертикальных приложений, например, в промышленности, в системах автоматизации зданий. Несмотря на распространение беспроводных технологий, такое сетевое оборудование пользуется растущей популярностью также в сегментах SMB и SOHO.

Многие разработчики акцентируют внимание на совершенствовании механизмов защиты информации и управления трафиком, в частности, для передачи голоса или видео. Растущими объемами трафика диктуется внедрение 10-гигабитных и еще более высоких скоростей.

Современные коммутаторы могут поддерживать многочисленные протоколы безопасности, в том числе полный набор инструкций ARP для фильтрации пакетов данных на уровнях L2–L7, а также динамическую маршрутизацию, включающую все необходимые протоколы нахождения кратчайших путей. Высококонкурентный рынок дает широкие возможности выбора продуктов известных западных брендов, производителей из стран Азии и российских изделий.

Мировой рынок коммутаторов и ключевые вендоры

Основной вклад в 3% рост мирового рынка коммутаторов и маршрутизаторов в 2015 году внес сегмент корпоративного оборудования: на его долю пришлось почти 60% продаж. Крупнейшие мировые производители коммутаторов Ethernet L2/L3 – Cisco (свыше 62%), HPE, Juniper, Arista, Huawei. Растет спрос на оборудование для ЦОД, коммутаторы 10 и 40 Gigabit Ethernet, коммутаторы для крупных провайдеров.

Объем продаж пяти ведущих поставщиков коммутаторов Ethernet в мире за последние кварталы (по данным IDC ).

В регионе EMEA сегмент Ethernet-коммутаторов в первой половине 2016 года показал 6,7% спад. В отчете IDC говорится, что Cisco остается крупнейшим производителем коммутаторов на рынке EMEA. На долю Cisco и HPE пришлось более 68% продаж коммутационного оборудования в регионе. В число лидеров также вошли Arista и Huawei.

По прогнозам Dell"Oro Group, наиболее быстрыми темпами будет расти сегмент коммутаторов для ЦОД. Переход на облачную модель должен также способствовать внедрению SDN и продажам коммутаторов для облачных дата-центров при снижении спроса на коммутаторы корпоративного уровня.

Возможности и разновидности коммутаторов

Коммутаторы уровня ядра, распределения, доступа позволяют создавать сетевые архитектуры разной топологии, уровня сложности и производительности. Разнообразие этих платформ варьируется от простых коммутаторов с восемью фиксированными портами до модульных устройств, состоящих из более десятка «лезвий» и насчитывающих сотни портов.

Коммутаторы для рабочих групп обычно имеют небольшое число портов и поддерживаемых MAC-адресов.

Магистральные коммутаторы отличаются большим числом высокоскоростных портов, наличием дополнительных функций управления, расширенной фильтрации пакетов и т. п. В общем случае такой коммутатор намного дороже, функциональнее и производительнее, чем коммутаторы для рабочих групп. Он обеспечивает эффективное сегментирование сети.

Основные параметры коммутаторов: количество портов (при выборе коммутатора лучше предусмотреть запас для расширения сети), скорость коммутации (у устройств начального уровня она гораздо ниже, чем у коммутатора корпоративного класса), пропускная способность, автоматическое определение MDI/MDI-X (стандартов, по которым обжата витая пара), наличие слотов расширения (например, для подключения интерфейсов SFP), размер таблицы MAC-адресов (выбирается с учетом расширения сети), форм-фактор (настольный/стоечный).

По конструктивному исполнению выделяют коммутаторы с фиксированным числом портов; модульные на основе шасси; стековые (стекируемые); модульно-стековые. Коммутаторы для поставщиков услуг подразделяются на коммутаторы агрегирования и коммутаторы уровня доступа. Первые агрегируют трафик на границе сети, вторые включают такие функции как контроль данных на прикладном уровне, встроенную безопасность и упрощенное управление.

В ЦОД должны применяться коммутаторы, которые обеспечивают масштабируемость инфраструктуры, непрерывное функционирование и гибкость транспорта данных. В сетях Wi-Fi коммутатор может играть роль контроллера, управляющего точками доступа.

Коммутаторы и сети Wi-Fi

В зависимости от сценария проектирования и развертывания сети Wi-Fi (WLAN) меняется и роль коммутаторов в ней. Например, это может быть централизованная/управляемая архитектура или конвергентная архитектура (объединение проводного и беспроводного доступа). Большинство сетей Wi-Fi среднего и большого масштаба строятся на принципах централизованной архитектуры с коммутатором в роли контроллера Wi-Fi. Все основные производители решений Wi-Fi высокого уровня (Cisco, Aruba (HPE), Ruckus (Brocade), HPE, Huawei и т.д.) имеют такие предложения.

Простая сеть WLAN не нуждается в контроллере, и коммутатор выполняет свои базовые функции.

Контроллер управляет загрузкой/изменением ПО, изменением конфигурации, RRM (динамическое управление радиоресурсами), связью с внешними серверами (ААА, DHCP, LDAP и т.п.), аутентификацией пользователей, профилями QoS, специальными функциями и т.п. Контроллеры могут объединяться в группы для бесшовного роуминга клиентов между точками доступа в зоне покрытия.

Контроллер осуществляет централизованное управление устройствами в беспроводной сети и предназначен для сетей кампусов, филиалов и предприятий SMB. Централизованная архитектура сети Wi - Fi позволяет строить крупные сети и управлять ими из одной точки.

В небольшой корпоративной сети Wi-Fi, покрывающей часть этажа, этаж, небольшое здание и т.п., могут применяться коммутаторы-контроллеры, рассчитанные на небольшое количество точек доступа (до 10-20). Большие корпоративные сети Wi-Fi, охватывающие кампусы, заводские территории, порты и т.п., требуют мощных и функциональных контроллеров (например, Cisco 5508, Aruba A6000, Ruckus ZoneDirector 3000). Иногда предлагают решение на модулях для коммутаторов или маршрутизаторов, например, модуль Cisco WiSM2 в коммутатор семейства Cisco Catalyst 6500/6800, модуль Huawei ACU2 в коммутаторы Huawei S12700, S9700, S7700, модуль HPE JD442A в коммутатор HPE 9500.

В новой редакции «магического квадранта» Gartner (август 2016 г.) по поставщикам оборудования для инфраструктуры проводных и беспроводных локальных сетей в число лидеров кроме Cisco попала только HPE, поглотившая компанию Aruba.

Функции автоматического обнаружения точек доступа и централизованного управления избавят от затрат на настройку конфигураций. Контроллеры могут также обеспечивать защиту от потенциальных атак, а функции самостоятельной оптимизации и восстановления гарантируют бесперебойную работу беспроводной сети. Поддержка PoE упростит развертывание WLAN.

Функциональные и конструктивные особенности коммутаторов

Функции коммутаторов Ethernet и поддерживаемые протоколы

Функции для работы с трафиком могут включать в себя управление потоком (Flow Control, IEEE 802.3x), которое предусматривает согласование приема-отправки при высоких нагрузках во избежание потерь пакетов. Поддержка Jumbo Frame (увеличенных пакетов), повышает общую производительность сети. Приоритезация трафика (IEEE 802.1p) позволяет определять более важные пакеты (например, VoIP) и отправлять их в первую очередь. Стоит обратить внимание на эту функцию, если планируется передача трафика аудио или видео.

Поддержка VLAN (IEEE 802.1q) – удобное средство для разграничения сети предприятия для различных отделов и т.п. Функция Traffic Segmentation для разграничения доменов на канальном уровне позволяет настраивать порты или группы портов коммутатора, используемые для подключения серверов или магистрали сети.

Зеркалирование (дублирование) трафика (Port Mirroring) может использоваться для обеспечения безопасности внутри сети, контроля или проверки производительности сетевого оборудования. Функция LoopBack Detection автоматически блокирует порт при образовании петли (особенно важна при выборе неуправляемых коммутаторов).

Агрегирование каналов (IEEE 802.3ad) повышает пропускную способность канала, объединяя несколько физических портов в один логический. IGMP Snooping пригодится при вещании IPTV. Storm Control дает порту возможность продолжать работать для пересылки всего остального трафика при широковещательном/однонаправленном «шторме».

Коммутаторы могут поддерживать протоколы динамической маршрутизации (например, RIP v2, OSPF) и управления группами интернета (например, IGMP v3). При поддержке протоколов BGP и OSPF устройство можно использовать как коммутирующий маршрутизатор для доменов и субдоменов локальной сети. Некоторые модели поддерживают создание наложенных сетей (TRILL), посредством чего снижается нагрузка на таблицы MAC-адресов и обеспечивается равномерная загрузка каналов для одинаковых маршрутов, что значительно повышает скорость доступа к сетевым ресурсам. Различается это сетевое оборудование и по способам работы.

Коммутаторы L1-L4

Чем выше уровень, на котором коммутатор работает по сетевой модели OSI, тем сложнее и дороже устройство, более развита его функциональность.

Коммутаторы 1 уровня (хабы и повторители) функционируют на физическом уровне и обрабатывают не данные, а электрические сигналы. Такое оборудование сейчас практически не производится.

Коммутаторы 2 уровня работают на канальном уровне с кадрами (фреймами), могут выполнять их анализ, определять отправителя и получателя. Они оперируют только с MAC-адресами, а различать IP-адреса не умеют. К таким устройствам относятся все неуправляемые коммутаторы и некоторые модели управляемых

  • RMON (4 группы: Statistic, History, Alarm и Event)
  • Два уровня паролей - пароль пользователя и резервный пароль.
  • Профиль доступа и приоритезации трафика
  • Сегментация трафика
  • Контроль полосы пропускания
  • Функции Port Security (ограничение кол-ва MAC на заданном порту)
  • Контроль доступа IEEE 802.1x на основе портов / MAC-адресов
  • Журналирование событий при помощи Syslog
  • Поддержка TACACS, RADIUS, SSH
  • Обновление ПО и сохранение файла конфигурации на внешнем носителе
  • Поддержка IEEE 802.1Q VLAN (на основе меток)
  • Приоритезация пакетов IEEE 802.1p и 4 очереди
  • Spanning Tree protocol (IEEE 802.1D)
  • Rapid Spaning Tree protocol (IEEУ 802.1w)
  • Контроль широковещательных штормов
  • Поддержка объединения портов в транк - Link Aggregation (IEEE 802.3ad Static mode)
  • Зеркалирование портов (трафик множества портов, на один выбранный порт)
  • TFTP / BOOTP / DHCP клиент
  • Поддержка TELNET, встроенный WEB-сервер
  • CLI - интерфейс коммандной строки
  • IGMP для ограничения широковещательных доменов в VLAN
  • SNMP v1/v3

Общие функции коммутаторов L 2.

Коммутаторы L2 составляют коммутационные таблицы, поддерживают протокол IEEE 802.1p (приоритезацию трафика), протокол IEEE 802.1q (VLAN), IEEE 802.1d (Spanning Tree Protocol, STP), применяемый для повышения отказоустойчивости сети, IEEE 802.1w (Rapid Spanning Tree Protocol, RSTP) с более высокой устойчивостью и меньшим временем восстановления или более современный IEEE 802.1s (Multiple Spanning Tree Protocol, MSTP), IEEE 802.3ad (Link Aggregation) для объединения нескольких портов в один высокоскоростной порт.

Коммутаторы 3 уровня работают на сетевом уровне. К ним относится ряд моделей управляемых коммутаторов, маршрутизаторы. Они могут маршрутизировать сетевой трафик и перенаправлять его в другие сети, поддерживают работу с IP-адресами и установку сетевых соединений.

Таким образом, они фактически являются маршрутизаторами, которые реализуют механизмы логической адресации и выбора пути доставки данных (маршрута) с использованием протоколов маршрутизации (RIP v.1 и v.2, OSPF, BGP, проприетарные протоколы). Традиционно коммутаторы L3 используются в локальных и территориальных сетях для обеспечения передачи данных большого количества подключенных к ним устройств, в отличие от маршрутизаторов, осуществляющих доступ к распределенной сети (WAN).

Коммутаторы 4 уровня функционируют на транспортном уровне и поддерживают работу с приложениями, обладают некоторыми интеллектуальными функциями. Они могут определять порты TCP/UDP для идентификации приложений, биты SYN и FIN, обозначающие начало и конец сеансов, распознавать информацию в заголовках сообщений. Различается и конструкция коммутаторов.

Коммутаторы Ethernet c фиксированной конфигурацией и модульные коммутаторы

Модульные коммутаторы обеспечивают масштабируемую производительность, гибкость конфигураций и возможности поэтапного расширения. Коммутаторы с фиксированной конфигурацией позволяют строить сетевую инфраструктуру для решения широкого спектра задач, включая построение сетей комплексов зданий, филиалов крупных предприятий, организации среднего размера, а также предприятий SMB

Коммутаторы фиксированной конфигурации обычно поддерживают до 48 портов. Иногда есть возможность установить дополнительные порты SFP/ SFP +.

С помощью аплинков SFP+ многие коммутаторы можно подключать к верхнему уровню – ядру сети, обеспечивая высокую производительность и балансировку нагрузки по всем каналам. Высокая плотность портов позволяет эффективнее использовать ограниченное пространство и питание.

Модульные коммутаторы обычно представляют собой высокопроизводительные платформы, поддерживающие широкий спектр протоколов L3, гибкий набор интерфейсов, виртуализацию сервисов и оптимизацию приложений, сетевые кластеры (SMLT, SLT, RSMLT). Они могут использоваться в ядре крупных и средних сетей, в сетях ЦОД (ядро сети и концентрация подключений серверов).

Типовые функции модульного коммутатора.

Модульные коммутаторы могут иметь очень высокую плотность портов за счет добавления модулей расширения. Например, некоторые поддерживают более 1000 портов. В больших корпоративных сетях, к которым подключаются тысячи устройств, лучше использовать именно модульные коммутаторы. В противном случае потребуется множество коммутаторов с фиксированной конфигурацией.

Cisco Catalyst 6800 - модульные коммутаторы для кампусных сетей с поддержкой 10/40/100G. Расширяемая платформа высотой 4,5 RU содержит от 16 до 80 портов 1/10GE с поддержкой BGP и MPLS.

Характеристики коммутаторов Ethernet

Основными характеристиками коммутатора, измеряющими его производительность, являются скорость коммутации, пропускная способность и задержка передачи кадра. На эти показатели влияют размер буфера (буферов) кадров, производительность внутренней шины, производительность процессора, размер таблицы MAC-адресов.

Общие характеристики также включают возможность установки в стойку, емкость оперативной памяти, количество портов и аплинков/SFP-портов, скорость аплинков, поддержку работы в стеке, способы управления.

Некоторые вендоры предлагают на своих сайтах удобные конфигураторы для выбора коммутаторов по их характеристикам: числу и типу портов (1/10/40GbE, оптика/медь), виду коммутации/маршрутизации (L2/L3 – базовая или динамическая), скорости и типу аплинков, наличию PoE/PoE+, поддержке IPv6 и OpenFlow (SDN), FCoE, резервированию (питания/фабрики/вентиляторов), возможности стекирования. Энергоэффективный Ethernet (IEEE 802.3az, Energy Efficient Ethernet) уменьшает потребление энергии, автоматически регулируя ее в соответствии с фактическим сетевым трафиком коммутатора.

Менее дорогие и менее производительные коммутаторы могут использоваться на уровне доступа, а более дорогие высокопроизводительные лучше применять на уровнях распределения и ядра сети, где от скорости коммутации очень сильно зависит производительность всей системы.

Типы и плотность портов

Группа портов коммутатора для подключения конечных абонентов традиционно состоит из портов для кабеля «витая пара» с разъемами RJ-45. Дальность передачи сигнала при этом составляет до 100 метров общей длины линии, и для офисов этого, в большинстве случаев, достаточно.

Порты Etherhet 1/10 Гбит/ c для «медных» кабелей с разъемами RJ -45.

Более сложен выбор типа портов аплинка, предназначенные для связи с узлами сети более высокого уровня. Во многих случаях предпочтительнее оптические кабели связи, не имеющие таких ограничений по длине, как у «витой пары». В таких портах часто применяются сменные модули SFP (Small Form-factor Pluggable). Высота и ширина модуля SFP сравнима с высотой и шириной гнезда RJ-45.

Оптический модуль SFP .

Популярные интерфейсы SFP+ и XFP могут обеспечивать скорость передачи 10 Гбит/c и дальность до 20 км. Посадочное место для модулей SFP+ имеет те же габариты что и SFP, разница заключается в протоколах передачи информации между модулем и коммутатором. XFP имеет большие, чем SFP+ габариты. Коммутаторы с портами SFP и SFP+ часто используются в сети на уровне агрегирования. Между тем в ЦОД широко применяются не только коммутаторы Ethernet, но и другие виды коммутирующего оборудования.

В сети крупного предприятия или в крупном ЦОД, где портов тысячи, большее значение имеет плотность портов, то есть, сколько максимально портов на 1U (или на стойку) требуемой скорости передачи можно разместить с учетом слотов расширений и дополнительных модулей. Нужно помнить о росте потребности в передаче больших объемов данных и соответственно, учитывать плотность портов требуемой скорости в рассматриваемых коммутаторах.

Что касается офисных сетей, то полезным качеством коммутатора может стать поддержка PoE и EEE.

Питание по сети - PoE

Технология Power over Ethernet (PoE) позволяет коммутатору подавать питание на устройство по кабелю Ethernet. Эта функция обычно используется некоторыми IP-телефонами, беспроводными точками доступа, камерами видеонаблюдения и пр.

Технология подачи электропитания через Ethernet – удобный альтернативный способ электропитания сетевых устройств.

РоЕ предоставляет гибкость при монтаже такого рода оборудования: его можно установить везде, где есть Ethernet-кабель. Но РоЕ должна быть действительно необходима, т.к. поддерживающие ее коммутаторы стоят значительно дороже.

Согласно стандарту IEEE 802.3af (PoE), обеспечивается постоянный ток до 400 мА с номинальным напряжением 48 В через две пары проводников в четырехпарном кабеле при максимальной мощности 15,4 Вт.

Стандарт IEEE 802.3at (PoE+) предусматривает увеличение мощности (до 30 Вт) и новый механизм взаимного определения (классификации) устройств. Он позволяет устройствам взаимно определять друг друга при подключении.

Эволюция сетей и коммутаторы

Коммутаторы в ЦОД: Ethernet, Fibre Channel, InfiniBand

Для высокопроизводительной коммутации серверов и систем хранения сегодня используется большой спектр технологий и устройств – коммутаторы Ethernet, Fibre Channel, InfiniBand и др.

В виртуализированных и облачных ЦОД, где преобладает «горизонтальный» трафик между серверами и виртуальными машинами, на помощь приходит конфигурация «ствол и листья» (Spine-Leaf). Иногда такую конфигурацию называют «распределенным ядром». Часто также используют термин «Ethernet-фабрика».

Spine -коммутаторы можно рассматривать как распределенное ядро, только вместо одного-двух коммутаторов ядра оно сформировано из большого числа коммутаторов «ствола» с высокой плотностью портов.

Плюсы такой конфигурации следующие: горизонтальный трафик между «листьями» гарантированно идет с одним хопом, через «дерево», поэтому задержка предсказуема, при отказе оборудования меньше страдает производительность, да и масштабировать такую конфигурацию легче.

Растет потребность и в более высокой скорости передачи данных. За предыдущие годы создано шесть стандартов Ethernet: 10 Мбит/с, 100 Мбит/с, Гбит/с, 10 Гбит/с, 40 Гбит/с и 100 Гбит/с. В 2016 году Ethernet-сообщество усиленно работает над реализацией новых стандартов скоростей: 2,5 Гбит/с, 5 Гбит/с, 25 Гбит/с, 50 Гбит/с, 200 Гбит/с. Недавно принятые спецификации IEEE 802.3 (включая подгруппы) охватывают диапазон скоростей от 25 Гбит/с на порт до суммарной пропускной способности канала на уровне 400 Гбит/с. Завершить работу над стандартом 400GbE (802.3bs) планируется в марте 2017 года. В нем будут использоваться несколько линий по 50 или 100 Гбит/с.

На мировом рынке Ethernet -коммутаторов для ЦОД доминирует Cisco Systems (по данным IDC , 2015 г.).

Наряду с 40/100GbE все более широкое внедрение в ЦОД получает InfiniBand. Технология InfiniBand (IB) применяется в основном в высокопроизводительных вычислениях (HPC), многоузловых кластерах и вычислениях GRID. Ее используют во внутренних соединениях (backplane) и коммутаторах (crossbar switch) производители модульных серверов. В коммутаторах с поддержкой InfiniBand EDR (Enhanced Data Rate) 12x скорость порта достигает 300 Гбит/с.

Модульный сервер со встроенным коммутатором InfiniBand .

Сети хранения данных (SAN) традиционно строятся на базе протокола FC (Fibre Channel), который предоставляет быстрый и надежный транспорт для передачи данных между дисковыми массивами и серверами. FC обеспечивает гарантированно низкую задержку, высокую надежность и производительность работы дисковой подсистемы.

Коммутатор FC (резервируемая фабрика) – ключевой элемент SAN .

Трафик FC можно передавать и поверх Ethernet с сохранением предсказуемости и производительности Fibre Channel (FCoE). Для этого был разработан протокол Converged Enhanced Ethernet (CEE).

Считается, что совмещение трафика SAN и LAN в одном сегменте сети c помощью FCoE позволяет получить ряд преимуществ при построении дата-центров, включая снижение начальных затрат на оборудование и операционных издержек на поддержку, обслуживание, электропитание и кондиционирование оборудования. Однако такой подход так и получил широкого распространения.

Коммутатор FCoE обеспечивает конвергенцию SAN и LAN .

Выделенная сеть хранения SAN (на основе FC или iSCSI) остается оптимальным вариантом для высокоскоростного доступа к данным. Ее традиционный протокол Fibre Channel изначально рассчитан на быструю передачу больших блоков и низкие задержки. Важным фактором роста рынка SAN станет переход на оборудование нового поколения – коммутаторы и директоры Fibre Channel Gen 6 (32 Гбит/с). Он уже начался.

Изменение скорости передачи данных в развертываемых сетях FC , InfiniBand и Ethernet по данным Mellanox.

Важно выбирать подходящее для текущих требований сети оборудование, но с запасом производительности для дальнейшего роста.

Технология Ethernet-фабрики

Технология коммутирующей фабрики, созданная для Fibre Channel SAN, нашла применение и в сетях Ethernet. Наряду с платформами виртуальной маршрутизации и SDN-контроллерами, фабрики Ethernet открывают путь к внедрению SDN/NFV, предполагают использование открытых, автоматизированных, программно-конфигурируемых компонентов, что способствует гибкости и снижению затрат.

Ethernet-фабрики наряду с дополняющими их технологиями TRILL и Shortest Path Bridging (SPB – альтернатива сложным и неэффективным трехуровневым сетям и Spanning Tree.

Коммутирующие фабрики охватывают теперь сети хранения данных, кампусные сети и сети ЦОД. Они снижают операционные расходы, увеличивают эффективность использования сети, ускоряют развертывание приложений, поддерживает виртуализацию. Эволюция коммутирующих фабрик продолжается.

Коммутаторы White-box, Bare-metal и Open Networking

В последнее время получает распространение концепция Open Networking, цель которой «отделить» операционную систему коммутатора от аппаратной платформы и дать заказчикам возможность выбора комбинаций сетевых ОС и оборудования. В отличие от традиционных коммутаторов, которые поставляются с предустановленной ОС, можно приобрести коммутатор Bare-metal («голое железо») у одного производителя, а ПО – у другого.

Bare-metal означает, что в коммутаторе не установлено сетевой ОС, есть лишь загрузчик для ее установки.

Такое оборудование выпускается, например, тайваньскими и российскими производителями. Ряд вендоров предлагают также коммутаторы White-box – Bare-metal с предустановленной сетевой ОС. Такие коммутаторы предоставляют большую гибкость и определенную независимость заказчика от производителя оборудования. Цена их ниже по сравнению с продуктами крупных вендоров. По данным Dell’Oro Group, они на 30-40% дешевле традиционных брендовых моделей. Функции сетевой ОС обычно предусматривают поддержку всех стандартных протоколов L2/L3 и, в некоторых случаях - протокола OpenFlow.

Традиционные коммутаторы (слева) и коммутаторы White box (справа).

Основной целевой сегмент рынка коммутаторов White-box – ЦОД. Они позволяют доработать сетевую ОС для решения конкретных задач. Однако целесообразность их применения в кампусных или распределенных корпоративных сетях зависит от того, сколько коммутаторов в сети и как часто меняется конфигурация, есть ли в компании специалисты, способные поддерживать сетевую ОС с открытым исходным кодом. В небольших кампусных сетях выгода сомнительна.

По прогнозу Infonetics Research, в 2019 году на долю «голого железа» будет приходиться почти 25% всего количества портов в коммутаторах, поставленных в ЦОД во всем мире.

Виртуальные коммутаторы

С увеличением вычислительной мощности процессоров х86 с ролью коммутатора вполне может справиться программный, виртуальный коммутатор. Его удобно использовать, например, для предоставления сетевого уровня доступа виртуальным машинам, запущенным на физическом сервере. На виртуальных машинах (или в контейнерах, например, Docker) создаются логические (виртуальные) порты Ethernet. ВМ подключаются к виртуальному коммутатору посредством этих портов.

Три наиболее популярных виртуальных коммутатора – VMware Virtual Switch, Cisco Nexus 1000v и Open vSwitch. Последний – это виртуальный коммутатор с открытым исходным кодом, распространяемый по лицензии Apache 2.0 и предназначенный для работы в гипервизорах на основе Linux, таких как, KVM и Xen.

Open vSwitch – программный многоуровневый коммутатор Open Source, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. Поддерживает протокол OpenFlow для управления логикой коммутации.

Open vSwitch (OVS) поддерживает широкий набор технологий, включая NetFlow, sFlow, Port Mirroring, VLAN, LACP. Он может работать как в виртуальных средах, так и использоваться в качестве Control Plane для аппаратных коммутаторов. Созданные на базе OVS сетевые ОС широко применяются на коммутаторах White-box и Bare-metal. Множество сфер применения у OVS – в SDN-сетях, при коммутации трафика между виртуальными сетевыми функциями (NFV).

Коммутаторы в архитектуре SDN/NFV

С расширением функциональности оборудования сети станут более высокоскоростными и интеллектуальными. Производительность современных моделей коммутаторов ядра сети составляет до 1,5 Тбит/с и выше, и традиционный путь развития предполагает дальнейшее наращивание их мощности. Расширение функциональности сопровождается все большей специализацией устройств ядра сети и ее периферии. У корпоративных заказчиков появляются новые требования в таких областях, как информационная безопасность, гибкость, надежность и экономичность.

Сейчас широко обсуждается концепция SDN (Software Defined Networking). Основная суть SDN состоит в физическом разделении уровня управления сетью (Control Plane) и уровня передачи данных (Forwarding) за счет переноса функций управления коммутаторами в ПО, работающее на отдельном сервере (контроллере).

Цель SDN– гибкая, управляемая, адаптивная и экономичная архитектура, которая способна эффективно адаптироваться под передачу больших потоков разнородного трафика.

SDN-коммутаторы, как правило, используют протокол управления OpenFlow. Большинство коммутаторов SDN поддерживают одновременно и стандартные сетевые протоколы. В настоящее время область применения SDN – в основном серверные фермы ЦОД и нишевые решения, где SDN удачно дополняет другие технологии. На российском рынке технология SDN наиболее востребована операторами публичных облаков.

Network Functions Virtualization (NFV), виртуализация сетевых функций, нацелена на оптимизацию сетевых сервисов за счет отделения сетевых функций (например, DNS, кэширование и пр.) от реализации аппаратного обеспечения. Считается, что NFV позволяет универсализировать программное обеспечение, ускорить внедрение новых функций сети и служб, и при этом не требует отказа от уже развернутой сетевой инфраструктуры.

По данным опроса CNews Analytics (2015 год), российские заказчики в целом оптимистично оценивают перспективы технологий SDN и NFV, позволяющих сократить капитальные затраты и ускорить ввод новых сервисов.

Прогнозы SDN и NFV в России носят пока разноречивый характер. По оценкам J’son & Partners, объем российского сегмента SDN в 2017 году составит 25–30 млн. долл. Основными пользователями SDN и NFV станут владельцы крупных ЦОД и федеральные операторы связи.

Тем временем производители коммутаторов для корпоративного сегмента рынка предлагают высокоскоростное оборудование с более низкой стоимостью владения, возможностями гибкого построения сетей, функциями поддержки различных классов приложений и расширенными средствами безопасности.

7 Структурные элементы SAN

В предыдущих разделах приведен обзор топологий и протокола Fibre Channel. Теперь рассмотрим различные устройства и компоненты, которые используются для создания сетей хранения данных Fibre Channel. К основным структурным элементам SAN относятся:

■ адаптеры шины;

■ кабели Fibre Channel;

■ разъемы;

■ устройства подключения, в число которых входят концентраторы, коммутаторы и коммутаторы связной архитектуры.

Обратите внимание, что все адресуемые компоненты в пределах сети хранения данных на основе Fibre Channel имеют уникальные имена WWN (World Wide Names), которые представляют собой аналоги уникальных адресов MAC. Имя WWN в спецификации Fibre Channel - это 64-разрядное число, записываемое в виде XX: XX: XX: XX: XX: XX: XX: XX. Институт IEEE назначает каждому производителю определенный диапазон адресов. Производитель отвечает за уникальное выделение назначенных адресов.

7.1 Адаптеры шины

Адаптер шины (host bus adapter - НВА ) подключается к компьютеру и обеспечивает взаимодействие с устройствами хранения данных. В мире персональных компьютеров под управлением Windows адаптеры шины обычно подключаются к шине PCI и могут предоставлять подключение для устройств IDE, SCSI и Fibre Channel. Адаптеры шины работают под управлением драйвера устройства, т.е. драйвера мини-порта SCSIPort или Storport.
При инициализации порт адаптера шины регистрируется на коммутаторе связной архитектуры (если таковой доступен) и регистрирует хранящиеся на нем атрибуты. Атрибуты доступны приложениям с помощью API от производителя коммутатора или адаптера шины. Ассоциация SNIA (Storage Networking Industry Association) pa6oтaeт над стандартизированным API, поддерживающим различные API производителей.
Для сети хранения данных, к которой выдвигаются серьезные требования по отказоустойчивости, некоторые производители адаптеров шины предоставляют дополнительные возможности, например автоматическое переключение на другой адаптер шины при отказе в работе основного.
В кольце с разделением доступа только два устройства могут одновременно осуществлять прием и передачу данных. Предположим, что одно из них - это адаптер шины, подключенный к узлу и получающий данные от устройства хранения. Но, если этот адаптер подключен к сети хранения данных на основе коммутируемой связной архитектуры, он может одновременно отправлять несколько запросов на чтение нескольким устройствам хранения.

Ответы на эти запросы могут приходить в любом порядке. Обычно коммутатор связной архитектуры предоставляет службу циклического обслуживания для портов, что еще более усложняет задачу адаптера шины; в этом случае порядок поступления пакетов окажется таким, что каждый следующий пакет будет приходить от другого источника.
Адаптеры шины позволяют решить эту проблему одним из двух способов. Первая стратегия, которая называется сохранить и отсортировать, подразумевает хранение данных в памяти узла с последующей сортировкой буферов за счет центрального процессора. Очевидно, что это неэффективный подход с точки зрения центрального процессора и общая нагрузка связана с переключением контекста каждые несколько десятков микросекунд. Другая стратегия - на лету - подразумевает использование дополнительной системной логики и микросхем на самом адаптере шины, что позволяет осуществлять переключение контекста без использования циклов центрального процессора. Обычно время между переключениями контекста при использовании такой стратегии составляет несколько секунд.
Одно резервирование позволяет отправить один кадр Fibre Channel. Перед отправкой следующего кадра отправитель должен получить сигнал Receiver Ready . Для эффективного использования канала Fibre Channel необходимо одновременно передавать несколько кадров, что потребует несколько резервирований, следовательно, понадобится больший объем памяти для принятия кадров. Некоторые адаптеры шины имеют четыре буфера размером 1 Кбайт и два буфера по 2 Кбайт, хотя на некоторых высокоуровневых адаптерах устанавливается 128 и 256 Кбайт для резервирования буфера. Обратите внимание, что для этой памяти обычно требуется два порта; т.е. когда одна область памяти принимает данные от SAN Fibre Channel, остальные области памяти могут передавать данные шине PCI узла.
Кроме того, адаптеры шины играют роль в обеспечении-отказоустойчивости и в архитектуре с аварийным восстановлением данных, в которой предоставляется несколько маршрутов ввода-вывода к одному устройству хранения данных.

7.1.1 Операционная система Windows и адаптеры шины

В Windows NT и Windows 2000 адаптеры Fibre Channel рассматриваются как устройства SCSI, а драйверы создаются в виде драйверов мини-портов SCSI. Проблема состоит в том, что драйвер SCSIPort устарел и не поддерживает возможности, предоставляемые новыми устройствами SCSI, не говоря уже об устройствах Fibre Channel. Поэтому в Windows Server 2003 была введена новая модель драйвера Storport, которая должна заменить модель SCSIPort, особенно для устройств SCSI-3 и Fibre Channel. Обратите внимание, что диски Fibre Channel используются Windows в качестве DAS - устройств, что обеспечивается уровнем абстракции, предоставляемым драйверами SCSIPort и Storport.

7.1.2 Двойные маршруты

Иногда необходима повышенная производительность и надежность, даже за счет увеличения стоимости готового решения. В таких случаях сервер подключается к двухпортовым дискам через несколько адаптеров шины и несколько независимых сетей хранения данных Fibre Channel. Основная идея - исключить единую точку отказа в работе сети. Кроме того, в те моменты, когда система работает нормально, несколько маршрутов могут использоваться для балансировки нагрузки и повышения производительности.

7.2 Типы кабелей Fibre Channel

В основном используется два типа кабелей: оптические и медные. Ниже перечислены основные преимущества и недостатки кабелей.

■ Медные кабели дешевле оптических.

■ Оптические кабели поддерживают более высокие скорости передачи данных по сравнению с медными кабелями.

■ Медный кабель может использоваться на меньшем расстоянии, до 30 метров. При этом оптический кабель может использоваться на расстоянии до 2 километров (многомодовый кабель) или до 10 километров (одномодовый кабель).

■ Медный кабель более восприимчив к электромагнитным помехам и взаимному влиянию других кабелей.

■ Оптические данные обычно должны быть преобразованы в электрические сигналы для передачи через коммутатор и обратно в оптическую форму для дальнейшей передачи.
Существует только один тип медного кабеля, в отличие от оптического, который представлен двумя видами: многомодовым и одномодовым.
На коротких дистанциях используется многомодовый кабель, который имеет сердцевину диаметром 50 или 62,5 микрона (микрон - микрометр, или одна миллионная часть метра.) Световая волна, которая используется в многомодовом кабеле, имеет длину 780 нанометров, что не поддерживается в одномодовых кабелях. Для больших расстояний предназначен одномодовый кабель, диаметр сердцевины которого составляет 9 микрон. В одномодовом кабеле используется световой луч с длиной волны в 1300 нанометров. Несмотря на тематику этой главы (интерфейс Fibre Channel), стоит упомянуть, что такие кабели могут использоваться для построения сетей на основе других интерфейсов, например Gigabit Ethernet.

7.3 Разъемы

Поскольку интерфейсом Fibre Channel поддерживается несколько типов кабелей (и технологий передачи данных), устройства (например, адаптеры шины, устройства взаимодействия и хранения данных) выпускаются с разъемами, которые поддерживают подключение к передающей среде, что делается для снижения общих затрат. Существует несколько видов разъемов, предназначенных для различных передающих сред и интерфейсов.

■ Конверторы интерфейса Gigabit (Gigabit interface converters - GBIC) поддерживают последовательную и параллельную трансляцию передаваемых данных. Конверторы GBIC предоставляют возможность "горячего" подключения, т.е. включение/выключение GBIC не влияет на работу других портов. Конверторами используется 20-битовый параллельный интерфейс.

■ Модули линий Gigabit (Gigabit link modules - GLM) предоставляют функции, аналогичные GBIC, но для своей установки требуют отключения устройства. С другой стороны, они несколько дешевле, чем GBIC.

■ Адаптеры интерфейса носителя (Media Interface Adapters) используются для преобразования сигналов между медным и оптическим носителем и наоборот. Адаптеры интерфейса носителя обычно используются в адаптерах шины, но могут применяться и на коммутаторах и концентраторах.

■ Адаптеры малого формфактора (Small Form Factor Adapters - SFF) позволяют размещать большее количество разъемов различных интерфейсов на плате определенного размера.

7.4 Устройства взаимодействия

Устройства взаимодействия соединяют между собой компоненты сетей хранения данных. К ним относятся различные устройства, начиная от дешевых концентраторов Fibre Channel и заканчивая дорогими, высокопроизводительными и управляемыми коммутаторами связной архитектуры.

7.4.1 Концентраторы кольца Fibre Channel с разделением доступа

Концентраторы FC-AL представляют собой бюджетный вариант для подключения нескольких узлов Fibre Channel (устройств хранения данных, серверов, компьютерных систем, других концентраторов и коммутаторов) в кольцевую конфигурацию. Обычно в концентраторах предоставляется от 8 до 16 портов. Концентратор может поддерживать различные среды передачи, например медные или оптические.
Концентраторы Fibre Channel - это пассивные устройства, т.е. любое другое устройство в кольце не может обнаружить их присутствия. Концентраторы обеспечивают следующие возможности:

■ внутренние соединения, которые позволяют любому порту подключаться к любому другому порту;

■ возможность обхода порта, к которому подключено неправильно работающее устройство.
Самая большая проблема в работе портов связана с тем, что в текущий момент времени они могут поддерживать только одно подключение Fibre Channel. На рисунке показано, что, если порт 1 получил управление для установки сеанса с портом 8, ни один другой порт не сможет передавать данные, пока установленный сеанс не завершится.
Концентраторы могут быть подключены к коммутаторам связной архитектуры Fibre Channel без модификации. Кроме того, можно создавать каскад концентраторов, соединив два концентратора кабелем.
Концентраторы FC-AL занимают лидирующее положение на рынке Fibre Channel, но в процессе снижения стоимости коммутаторы связной архитектуры Fibre Channel становятся все более популярными.
Концентраторы FC-AL создаются такими компаниями, как Gadzoox Networks, Emulex и Brocade.

7.4.2 Коммутаторы кольца Fibre Channel с разделением доступа

Самое значительное преимущество коммутаторов FC-AL перед концентраторами состоит в одновременной поддержке нескольких подключений, тогда как концентраторы поддерживают только одно подключение в текущий момент времени.

Рис. Концентратор Fibre Channel

Возможность одновременной поддержки нескольких подключений связана с определенными сложностями. Устройства, подключенные к коммутатору кольца, даже не "подозревают" о своей роли. Коммутаторы кольца участвуют как в передаче данных, так и в адресации кольца. Ниже приводится дополнительная информация по этому вопросу, а также рассматривается роль коммутаторов в сетях хранения данных и методы, с помощью которых поставщики добавляют новые функции к своим продуктам.

Рис.Коммутатор Fibre Channel

Коммутаторы кольца и передача данных

Сервер, который намерен получить доступ к устройству хранения данных, должен отправить арбитражный запрос на управление кольцом. В нормальном кольце FC-AL на базе концентратора каждое устройство получает арбитражный пакет до его возвращения адаптеру шины сервера, благодаря чему сервер получает контроль над кольцом. Коммутатор кольца отправит ответ об успешном получении управления немедленно, не отправляя запросы другим узлам. На этом этапе адаптер шины отправит базовый пакет Open предназначенный для порта устройства хранения, который будет передан коммутатором кольца. Если порт в это время не выполняет передачи данных, особых проблем не должно возникнуть. В противном случае возможно появление конфликтных ситуаций. Для решения этой проблемы коммутатор кольца должен предоставить буфера для временного хранения кадров предназначенных для порта 7. Некоторые поставщики коммутаторов предоставляют для этих целей 32 буфера на каждый порт.

Коммутаторы кольца и адресация FC-AL

Концентраторы FC-AL не играют роли в назначении адресов устройствам а только передают базовые кадры адресов по кольцу. То же можно сказать и о большинстве коммутаторов. Однако некоторые устройства могут настаивать на получении определенного адреса. Некоторые концентраторы имеют возможность управлять порядком инициализации портов, что позволяет определенному порту инициализироваться первому, после чего устройство будет подключено к требующемуся порту.

Коммутаторы и инициализация кольца

Протокол FC-AL требует повторной инициализации кольца при подключении, отключении или повторной инициализации устройства. Такая инициализация кольца может привести к нарушению существующей связи между другими двумя устройствами. Некоторые производители коммутаторов предоставляют возможность выборочно экранировать и передавать пакеты LIP (Loop Initialization Primitives). Эта операция предназначена для минимизации проблем, сокращения времени повторной инициализации кольца и по возможности сохранения существующих сеансов передачи данных. В то же время необходимо обеспечить уникальность адресов устройств.
Если все устройства принимают участие в повторной инициализации кольца, дублирования адресов не происходит, так как устройства "защищают" свои адреса. Но, если некоторые устройства не принимают участия в повторной инициализации кольца, необходимо предотвратить назначение уже распределенных адресов устройствам, принимающим участие в повторной инициализации кольца. Уникальность адресов обеспечивается дополнительной логикой коммутатора кольца. При добавлении устройства хранения пакет LIP должен быть отправлен на сервер, однако LIP не требуется передавать устройствам хранения, которые никогда не устанавливают связь с другими устройствами хранения данных.
Некоторые устройства хранения могут устанавливать связь непосредственно с другими устройствами хранения, что используется для резервного копирования данных.

Коммутаторы кольца и связная архитектура

Если все устройства в кольце "знают" о связной архитектуре, коммутатор кольца передает обычным образом необходимые кадры, например кадры Fabric Login Если устройства в кольце не поддерживают связную архитектуру, коммутатор кольца должен самостоятельно выполнять достаточно большой
объем работы.
Коммутаторы кольца некоторых поставщиков не поддерживают каскадирование. Кроме того, некоторым коммутаторам кольца требуется обновление прошивки перед подключением к коммутаторам связной архитектуры. Ряд коммутаторов следует модернизировать для полной поддержки связной архитектуры перед их подключением к SAN.
Коммутаторы FC-AL производятся такими компаниями, как Brocade, McDATA, Gadzoox Networks, Vixel и QLogic.

7.4.3 Коммутаторы связной архитектуры Fibre Channel

Коммутаторы связной архитектуры Fibre Channel (Fibre Channel Fabric Switches - FC-SW) обеспечивают несколько выскоскоростных сеансов связи одновременно со всеми устройствами. На данный момент основные коммутаторы поддерживают быстродействие порядка 1 Гбит/с, в то время как скорость в 2 Гбит/с также перестает быть диковинкой. В основном коммутаторы связной архитектуры в пересчете на один порт стоят дороже чем концентраторы и коммутаторы FC-AL, но они предоставляют намного больше функциональных возможностей.
Коммутаторы связной архитектуры более эффективны в сравнении с концентраторами и коммутаторами FC-AL. Например, коммутаторы предоставляют специальные службы, описанные выше, обеспечивают управление потоком с помощью базовых пакетов управления, а также, что гораздо важнее, некоторые коммутаторы способны эмулировать функции FC-AL для обеспечения обратной совместимости с более старыми устройствами.
Некоторые коммутаторы связной архитектуры поддерживают маршрутизацию без буферизации. Суть ее в том, что при получении заголовка кадра коммутатор быстро находит заголовок трчки назначения, пока кадр все еще принимается. Преимущество такого подхода - снижение задержек при доставке кадра и отсутствие необходимости хранения содержимого кадра в памяти буфера. А недостаток заключается в немедленной передаче всех кадров, включая поврежденные.
Коммутаторы связной архитектуры играют важную роль в безопасности сетей хранения данных на основе Fibre Channel.

7.4.4 Сравнение трех устройств подключения

В таблице.приведены функциональные возможности и различия между тремя типами устройств Fibre Channel.

7.4.5 Мосты и маршрутизаторы

Как в этой главе, так и во всей статье термины мосты (bridges) и маршрутизаторы (routers) не относятся к традиционным мостам Ethernet и маршрутизаторам IP. В данном случае под мостами и маршрутизаторами подразумеваются устройства для Fibre Channel, а не для сетевых протоколов 2-го и 3-го уровней.
Мосты - это устройства, обеспечивающие взаимодействие между Fibre Channel и устаревшими протоколами, например SCSI. Мосты Fibre Channel-SCSI позволяют сохранить существующие инвестиции в устройства хранения SCSI. Такие мосты поддерживают интерфейсы SCSI и Fibre Channel и преобразуют данные двух протоколов. Таким образом, новый сервер с установленным адаптером шины Fibre Channel может получить доступ к существующим устройствам хранения SCSI. Мосты предоставляют интерфейс между параллельной шиной SCSI и интерфейсом Fibre Channel. Маршрутизаторы обладают аналогичными возможностями, но для нескольких шин SCSI и интерфейсов Fibre Channel. Маршрутизаторы систем хранения данных, или "интеллектуальные" мосты, предоставляют такие дополнительные возможности, как маскировка и отображение LUN, а также поддерживают команды SCSI Extended Copy. В качестве устройств, передающих данные, маршрутизаторы применяют команды Extended Copy для использования библиотеками хранения, что позволяет копировать данные между указанным целевым устройством и подключенной библиотекой. Эта функция также называется независимым резервным копированием (без сервера).
В качестве примера производителей маршрутизаторов и мостов можно привести такие компании, как Crossroads Systems, Chaparral Network Storage, Advanced Digital Information Corporation (ADIC после приобретения Path-light) и MTI.

SAN Коммутаторы (SAN switches)

SAN коммутаторы используются в качестве центрального коммутирующего устройства для узлов сети SAN. Вы вставляете один конец оптического кабеля в разъем на адаптере вашего сервера или контроллере дискового массива, а другой в порт на коммутаторе. Коммутатор можно сравнить с набором проводов, которые скроссированы таким образом, чтобы позволить каждому устройству сети «говорить» по одному проводу с любым другим устройством сети одновременно. Т.е, иными словами все абоненты могут разговаривать одновременно.
Один или несколько коммутаторов, соединенных между собой образуют фабрику. Одна фабрика может состоять из одного или нескольких коммутаторов (до 239 в настоящее время). Поэтому, фабрику можно определить как сеть, состоящую из соединенных между собой коммутаторов. SAN может состоять из нескольких фабрик. Большинство SAN состоит по крайне мере из двух фабрик, одна из которых является резервной.
Вы можете подключить серверы и хранилища к SAN используя один коммутатор, но правилом хорошего тона является использование двух коммутаторов, дабы избежать потерю данных и простои при выходе из строя одного из них. На рисунке 1 показана обычная фабрика, использующая два коммутатора для соединения серверов с дисковым массивом.

Рис 1. Простейшая фабрика с использованием 2-х коммутаторов.

С увеличением количества серверов и хранилищ в вашей SAN вы просто добавляете коммутаторы.

Рис 2. Расширение SAN Fabric

Модульные или обычные коммутаторы (modular switches)

SAN коммутаторы бывают на любой вкус от 8 до сотен портов. Большинство модульных коммутаторов поставляется с 8 или 16 портами. Последним веянием является возможность наращивать количество портов на приобретенном коммутаторе с инкрементом 4. Типичным примером такого коммутатора может служить Qlogic SANbox 5200 (рис. 3). Этот продукт вы можете приобрести с 8-ю портами в базе, и наращивать затем до 16 в одном модуле и до 64 портов (!) в четырех модулях, соединяемых между собой 10 гигабитным FC.

Рис 3. Qlogic SANbox 5200 - четырехмодульный стек с 64 портами

Директоры или коммутаторы класса предприятия (director switches)

Директоры на много дороже модульных коммутаторов и обычно содержат сотни портов (рис. 4). Директоры можно увидеть в центре очень больших коммутированных фабрик в качестве ядра сети. Директоры обладают исключительной отказоустойчивостью и поддерживают работоспособность всей инфраструктуры 24 часа в сутки, 7 дней в неделю. Они позволяют осуществлять регламентные работы и замену модулей «на лету».

Рис. 4. SilkWorm 1200 128 port и McData InterPid 6140

Директор состоит из платформы, модулей портов горячей замены (обычно 12 или 16 портов) и процессорных модулей горячей замены (обычно двухпроцессорных). Директор можно приобрести с 32 портами и наращивать его до 128 – 140 портов.
В корпоративных сетях SAN обычно используют директоры в качестве ядра сети. К ним подключают модульные коммутаторы в качестве оконечных (граничных) коммутаторов. К тем, в свою очередь подключают серверы и хранилища. Такая топология называется ядро-граница (core-to-edge topology) и позволяет масштабировать сеть до тысяч портов (рис. 5).

Рис. 5. Топология ядро-граница с использованием директоров.


SAN маршрутизаторы или мультипротокльные коммутаторы (multiprotocol switches)

SAN маршрутизаторы служат для соединения удаленных островков SAN в единую сеть для решения задач защиты от катастроф, консолидации ресурсов хранения, организации процедур back-up данных удаленных подразделений на ленточные и дисковые ресурсы головного центра данных и т.д (рис 6.). Объединение удаленных сетей SAN в единый ресурс это следующий шаг в эволюции сетей хранения данных после внедрения SAN в головной структуре и подразделениях предприятий (рис. 7).

Рис. 6: McDATA Eclipse 1620, 3300 и 4300

Рис. 7: Объединение удаленных сетей SAN в единый ресурс

Островки SAN можно соединить, используя протокол FC и обычные модульные коммутаторы или директоры, через одномодовый оптический кабель (single mode cable или dark fiber) или же используя оборудование мультиплексирования (DWDM). Однако такой метод не позволит вам выйти за рамки города (радиус 70 км.). Для большего удаления понадобится протокол Fiber Channel over IP (FCIP, http://www.iscsistorage.com/ipstorage.htm), реализованный в маршрутизаторах Eclipse компании McData (рис. 6). FCIP «заворачивает» каждый кадр FC в пакет IP для транспорта через сеть IP. Принимающая сторона распаковывает пакет IP и достает оттуда оригинальный кадр FC для дальнейшей передачи уже по локальной сети FC. Здесь расстояния не ограничены. Все дело лишь в скорости вашего канала IP.

Типы FC кабелей

В качестве физической среды передачи данных в сетях FC используют оптоволоконный или медный кабель. Медный кабель представляет собой витую пару в оболочке и использовался в основном для местных подключений в сетях FC 1Gbit/s. В современных сетях FC 2Gbit/s в основном используется оптоволоконный кабель.
Существует два вида оптоволоконного кабеля: одномодовый и многомодовый.

Одномодовый кабель (long wave)

В одномодовом кабеле (SM) существует единственный путь распространения световой волны. Размер сердцевины (core size) обычно составляет 8.3 мк. Одномодовые кабели используются в устройствах, в которых требуется низкий уровень исчезновения (потери) сигнала и высокая скорость передачи данных, например на больших интервалах между двумя системами или сетевыми устройствами. Например, между сервером и хранилищем, расстояние между которыми, несколько десятков километров.

Максимальное расстояние между двумя узлами сети FC 2Gbit, соединенных одномодовым кабелем 80км без повторителей.

Многомодовый кабель (short wave)

Многомодовый кабель (MM) способен передавать по одному волокну несколько световых волн, так как относительно большой размер сердцевины позволяет свету распространяться под различными углами (рефракция). Типичными размерами сердцевины для MM являются 50 мк и 62.5 мк. Многомодовые волоконные соединения лучше всего подходят для устройств, работающих на небольших расстояниях. Внутри офиса, здания.

Максимальное расстояние на которое многомодовый кабель поддерживает скорость 2 Gbit/s – 300 (50um) и 150м (62,5 um).

Типы разъемов FC кабелей (Cable connector types)

Разъемы FC кабелей бывают:

Типы трансиверов (GBIC types)

Устройства для преобразования света в электрический сигнал и наоборот, называют трансиверами. Их еще называют GBIC (Gigabit Interface Connectors). Трансивер находится на плате FC адаптера (FC HBA), обычно он впаян в нее, в свитче - в виде съемного модуля (см. рис.) и на устройстве хранения в том или ином виде.

Трансиверы бывают:
SFP-LC HSSDC2

Cъемные модули трансиверов (SFP)

HSSDC2 : для 1/2Gbit FC для медного кабеля
SFP-LC : (Small Form Factor Pluggable LC) 1/2Gbit FC Short/Long wave для оптоволоконного кабеля с LC коннектором
SFP-SC : (Small Form Factor Pluggable SC) 1/2Gbit FC Short/Long wave для оптоволоконного кабеля с SC коннектором

В деле познания SAN столкнулся с определённым препятствием - труднодоступностью базовой информации. В вопросе изучения прочих инфраструктурных продуктов, с которыми доводилось сталкиваться, проще - есть пробные версии ПО, возможность установить их на вирутальной машине, есть куча учебников, референс гайдов и блогов по теме. Cisco и Microsoft клепают очень качественные учебники, MS вдобавок худо-бедно причесал свою адскую чердачную кладовку под названием technet, даже по VMware есть книга, пусть и одна (и даже на русском языке!), причём с КПД около 100%. Уже и по самим устройствам хранения данных можно получить информацию с семинаров, маркетинговых мероприятий и документов, форумов. По сети же хранения - тишина и мёртвые с косами стоять. Я нашёл два учебника, но купить не решился. Это "Storage Area Networks For Dummies " (есть и такое, оказывается. Очень любознательные англоговорящие «чайники» в целевой аудитории, видимо) за полторы тысячи рублей и "Distributed Storage Networks: Architecture, Protocols and Management " - выглядит более надёжно, но 8200р при скидке 40%. Вместе с этой книгой Ozon рекомендует также книгу «Искусство кирпичной кладки».

Что посоветовать человеку, который решит с нуля изучить хотя бы теорию организации сети хранения данных, я не знаю. Как показала практика, даже дорогостоящие курсы могут дать на выходе ноль. Люди, применительно к SAN делятся на три категории: те, кто вообще не знает что это, кто знает, что такое явление просто есть и те, кто на вопрос «зачем в сети хранения делать две и более фабрики» смотрят с таким недоумением, будто их спросили что-то вроде «зачем квадрату четыре угла?».

Попробую восполнить пробел, которого не хватало мне - описать базу и описать просто. Рассматривать буду SAN на базе её классического протокола - Fibre Channel.

Итак, SAN - Storage Area Network - предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах. Суть в том, что так дисковые ресурсы экономнее используются, легче управляются и имеют большую производительность. А в вопросах виртуализации и кластеризации, когда нескольким серверам нужен доступ к одному дисковому пространству, подобные системы хранения данных вообще незаменимая штука.

Кстати, в терминологиях SAN, благодаря переводу на русский, возникает некоторая путаница. SAN в переводе означает «сеть хранения данных» - СХД. Однако классически в России под СХД понимается термин «система хранения данных», то есть именно дисковый массив (Storage Array ), который в свою очередь состоит из Управляющего блока (Storage Processor, Storage Controller ) и дисковых полок (Disk Enclosure ). Однако, в оригинале Storage Array является лишь частью SAN, хотя порой и самой значимой. В России получаем, что СХД (система хранения данных) является частью СХД (сети хранения данных). Поэтому устройства хранения обычно называют СХД, а сеть хранения - SAN (и путают с «Sun», но это уже мелочи).

Компоненты и термины

Технологически SAN состоит из следующих компонентов:
1. Узлы, ноды (nodes)
  • Дисковые массивы (системы хранения данных) - хранилища (таргеты )
  • Серверы - потребители дисковых ресурсов (инициаторы ).
2. Сетевая инфраструктура
  • Коммутаторы (и маршрутизаторы в сложных и распределённых системах)
  • Кабели

Особенности

Если не вдаваться в детали, протокол FC похож на протокол Ethernet с WWN-адресами вместо MAC-адресов. Только, вместо двух уровней Ethernet имеет пять (из которых четвёртый пока не определён, а пятый - это маппинг между транспортом FC и высокоуровневыми протоколами, которые по этому FC передаются - SCSI-3, IP). Кроме того, в коммутаторах FC используются специализированные сервисы, аналоги которых для IP сетей обычно размещаются на серверах. Например: Domain Address Manager (отвечает за назначение Domain ID коммутаторам), Name Server (хранит информацию о подключенных устройствах, эдакий аналог WINS в пределах коммутатора) и т.д.

Для SAN ключевыми параметрами являются не только производительность, но и надёжность. Ведь если у сервера БД пропадёт сеть на пару секунд (или даже минут) - ну неприятно будет, но пережить можно. А если на это же время отвалится жёсткий диск с базой или с ОС, эффект будет куда более серьёзным. Поэтому все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и, ключевая особенность SAN, по сравнению с LAN - дублирование на уровне всей инфраструктуры сетевых устройств - фабрики.

Фабрика (fabric - что вообще-то в переводе с английского ткань, т.к. термин символизирует переплетённую схему подключения сетевых и конечных устройств, но термин уже устоялся) - совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL - InterSwitch Link ).

Высоконадёжные SAN обязательно включают две (а иногда и более) фабрики, поскольку фабрика сама по себе - единая точка отказа. Те, кто хоть раз наблюдал последствия кольца в сети или ловкого движения клавиатуры, вводящего в кому коммутатор уровня ядра или распределения неудачной прошивкой или командой, понимают о чём речь.

Фабрики могут иметь идентичную (зеркальную) топологию или различаться. Например одна фабрика может состоять из четырёх коммутаторов, а другая - из одного, и к ней могут быть подключены только высококритичные узлы.

Топология

Различают следующие виды топологий фабрики:

Каскад - коммутаторы соединяются последовательно. Если их больше двух, то ненадёжно и непроизводительно.

Кольцо - замкнутый каскад. Надёжнее просто каскада, хотя при большом количестве участников (больше 4) производительность будет страдать. А единичный сбой ISL или одного из коммутаторов превращает схему в каскад со всеми вытекающими.

Сетка (mesh ). Бывает Full Mesh - когда каждый коммутатор соединяется с каждым. Характерно высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации просто не останется портов под узлы - все будут заняты под ISL. Partial Mesh - любое хаотическое объединение коммутаторов.

Центр/периферия (Core/Edge) - близкая к классической топологии LAN, но без уровня распределения. Нередко хранилища подключаются к Core-коммутаторам, а серверы - к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. Также и хранилища и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.

Зонинг (зонирование, zoning)

Ещё одна характерная для SAN технология. Это определение пар инициатор-таргет. То есть каким серверам к каким дисковым ресурсам можно иметь доступ, дабы не получилось, что все серверы видят все возможные диски. Достигается это следующим образом:
  • выбранные пары добавляются в предварительно созданные на коммутаторе зоны (zones);
  • зоны помещаются в наборы зон (zone set, zone config), созданные там же;
  • наборы зон активируются в фабрике.

Для первоначального поста по теме SAN, думаю, достаточно. Прошу прощения за разномастные картинки - самому нарисовать на работе пока нет возможности, а дома некогда. Была мысль нарисовать на бумаге и сфотографировать, но решил, что лучше так.

Напоследок, в качестве постскриптума, перечислю базовые рекомендации по проектированию фабрики SAN .

  • Проектировать структуру так, чтобы между двумя конечными устройствами было не более трёх коммутаторов.
  • Желательно чтобы фабрика состояла не более чем из 31 коммутатора.
  • Стоит задавать Domain ID вручную перед вводом нового коммутатора в фабрику - улучшает управляемость и помогает избежать проблем одинаковых Domain ID, в случаях, например, переподключения коммутатора из одной фабрики в другую.
  • Иметь несколько равноценных маршрутов между каждым устройством хранения и инициатором.
  • В случаях неопределённых требований к производительности исходить из соотношения количества Nx-портов (для конечных устройств) к количеству ISL-портов как 6:1 (рекомендация EMC) или 7:1 (рекомендация Brocade). Данное соотношение называется переподпиской (oversubscription).
  • Рекомендации по зонингу:
    - использовать информативные имена зон и зон-сетов;
    - использовать WWPN-зонинг, а не Port-based (основанный на адресах устройств, а не физических портов конкретного коммутатора);
    - каждая зона - один инициатор;
    - чистить фабрику от «мёртвых» зон.
  • Иметь резерв свободных портов и кабелей.
  • Иметь резерв оборудования (коммутаторы). На уровне сайта - обязательно, возможно на уровне фабрики.