Топологии сетей хранения данных. Сеть хранения данныхStorage Area Network, SAN. Коммутаторы в ЦОД: Ethernet, Fibre Channel, InfiniBand

С повседневным усложнением сетевых компьютерных систем и глобальных корпоративных решений мир начал требовать технологий, которые бы дали толчок к возрождению корпоративных систем хранения информации (сторедж-систем). И вот, одна единая технология приносит в мировую сокровищницу достижений в области сторедж невиданное ранее быстродействие, колоссальные возможности масштабирования и исключительные преимущества общей стоимости владения. Обстоятельства, которые сформировались с появлением стандарта FC-AL (Fibre Channel - Arbitrated Loop) и SAN (Storage Area Network), которая развивается на его основе, обещают революцию в дата-ориентированных технологиях компьютинга.

«The most significant development in storage we"ve seen in 15 years»

Data Communications International, March 21, 1998

Формальное определение SAN в трактовке Storage Network Industry Association (SNIA):

«Сеть, главной задачей которой является передача данных между компьютерными системами и устройствами хранения данных, а также между самими сторедж-системами. SAN состоит из коммуникационной инфраструктуры, которая обеспечивает физическую связь, а также отвечает за уровень управления (management layer), который объединяет связи, сторедж и компьютерные системы, осуществляя передачу данных безопасно и надежно».

SNIA Technical Dictionary, copyright Storage Network Industry Association, 2000

Варианты организации доступа к сторедж-системам

Различают три основных варианта организации доступа к системам хранения:

• SAS (Server Attached Storage), сторедж, присоединенный к серверу;
• NAS (Network Attached Storage), сторедж, подсоединенный к сети;
• SAN (Storage Area Network), сеть хранения данных.

Рассмотрим топологии соответствующих сторедж-систем и их особенности.

SAS

Сторедж-система, присоединенная к серверу. Знакомый всем, традиционный способ подключения системы хранения данных к высокоскоростному интерфейсу в сервере, как правило, к параллельному SCSI интерфейсу.

Рисунок 1. Server Attached Storage

Использование отдельного корпуса для сторедж-системы в рамках топологии SAS не является обязательным.

Основное преимущество сторедж, подсоединенного к серверу, в сравнении с другими вариантами - низкая цена и высокое быстродействие из расчета один сторедж для одного сервера. Такая топология является самой оптимальной в случае использования одного сервера, через который организуется доступ к массиву данных. Но у нее остается ряд проблем, которые побудили проектировщиков искать другие варианты организации доступа к системам хранения данных.

К особенностям SAS можно отнести:

• Доступ к данных зависит от ОС и файловой системы (в общем случае);
• Сложность организации систем с высокой готовностью;
• Низкая стоимость;
• Высокое быстродействие в рамках одной ноды;
• Уменьшение скорости отклика при загрузке сервера, который обслуживает сторедж.

NAS

Сторедж-система, подсоединенная к сети. Этот вариант организации доступа появился сравнительно недавно. Основным его преимуществом является удобство интеграции дополнительной системы хранения данных в существующие сети, но сам по себе он не привносит сколь-нибудь радикальных улучшений в архитектуру сторедж. Фактически NAS есть чистый файл-сервер, и сегодня можно встретить немало новых реализаций сторедж типа NAS на основе технологии тонкого сервера (Thin Server).

Рисунок 2. Network Attached Storage.

Особенности NAS:

• Выделенный файл-сервер;
• Доступ к данным не зависит от ОС и платформы;
• Удобство администрирования;
• Максимальная простота установки;
• Низкая масштабируемость;
• Конфликт с трафиком LAN/WAN.

Сторедж, построенный по технологии NAS, является идеальным вариантом для дешевых серверов с минимальным набором функций.

SAN

Сети хранения данных начали интенсивно развиваться и внедряться лишь с 1999 года. Основой SAN является отдельная от LAN/WAN сеть, которая служит для организации доступа к данным серверов и рабочих станций, занимающихся их прямой обработкой. Такая сеть создается на основе стандарта Fibre Channel, что дает сторедж-системам преимущества технологий LAN/WAN и возможности по организации стандартных платформ для систем с высокой готовностью и высокой интенсивностью запросов. Почти единственным недостатком SAN на сегодня остается относительно высокая цена компонент, но при этом общая стоимость владения для корпоративных систем, построенных с использованием технологии сетей хранения данных, является довольно низкой.

Рисунок 3. Storage Area Network.

К основным преимуществам SAN можно отнести практически все ее особенности:

• Независимость топологии SAN от сторедж-систем и серверов;
• Удобное централизованное управление;
• Отсутствие конфликта с трафиком LAN/WAN;
• Удобное резервирование данных без загрузки локальной сети и серверов;
• Высокое быстродействие;
• Высокая масштабируемость;
• Высокая гибкость;
• Высокая готовность и отказоустойчивость.

Следует также заметить, что технология эта еще довольно молодая и в ближайшее время она должна пережить немало усовершенствований в области стандартизации управления и способов взаимодействия SAN подсетей. Но можно надеяться, что это угрожает пионерам лишь дополнительными перспективами первенства.

FC как основа построения SAN

Подобно LAN, SAN может создаваться с использованием различных топологий и носителей. При построении SAN может использоваться как параллельный SCSI интерфейс, так и Fibre Channel или, скажем, SCI (Scalable Coherent Interface), но своей все возрастающей популярностью SAN обязана именно Fibre Channel. В проектировании этого интерфейса принимали участие специалисты со значительным опытом в разработке как канальных, так и сетевых интерфейсов, и им удалось объединить все важные положительные черты обеих технологий для того, чтобы получить что-то в самом деле революционно новое. Что именно?

Основные ключевые особенности канальных:

• Низкие задержки
• Высокие скорости
• Высокая надежность
• Топология точка-точка
• Небольшие расстояния между нодами
• Зависимость от платформы

и сетевых интерфейсов:

• Многоточечные топологии
• Большие расстояния
• Высокая масштабируемость
• Низкие скорости
• Большие задержки

объединились в Fibre Channel:

• Высокие скорости
• Независимость от протокола (0-3 уровни)
• Большие расстояния
• Низкие задержки
• Высокая надежность
• Высокая масштабируемость
• Многоточечные топологии

Традиционно сторедж интерфейсы (то, что находится между хостом и устройствами хранения информации) были преградой на пути к росту быстродействия и увеличению объема систем хранения данных. В то же время прикладные задачи требуют значительного прироста аппаратных мощностей, которые, в свою очередь, тянут за собой потребность в увеличении пропускной способности интерфейсов для связи со сторедж-системами. Именно проблемы построения гибкого высокоскоростного доступа к данным помогает решить Fibre Channel.

Стандарт Fibre Channel был окончательно определен за последние несколько лет (с 1997-го по 1999-й), на протяжении которых была проведена колоссальная работа по согласованию взаимодействия производителей различных компонент, и было сделано все необходимое, чтобы Fibre Channel превратился из чисто концептуальной технологии в реальную, которая получила поддержку в виде инсталляций в лабораториях и вычислительных центрах. В году 1997 были спроектированы первые коммерческие образцы краеугольных компонент для построения SAN на базе FC, таких как адаптеры, хабы, свичи и мосты. Таким образом, уже начиная с 1998-го года FC используется в коммерческих целях в деловой сфере, на производстве и в масштабных проектах реализации систем, критичных к отказам.

Fibre Channel - это открытый промышленный стандарт высокоскоростного последовательного интерфейса. Он обеспечивает подключение серверов и сторедж-систем на расстоянии до 10 км (при использовании стандартного оснащения) на скорости 100 MB/s (на выставке Cebit"2000 были представлены образцы продукции, которые используют новый стандарт Fibre Channel со скоростями 200 MB/s на одно кольцо, а в лабораторных условиях уже эксплуатируются реализации нового стандарта со скоростями 400 MB/s, что составляет 800 MB/s при использовании двойного кольца). (На момент публикации статьи ряд производителей уже начал отгружать сетевые карточки и свичи на FC 200 MB/s.) Fibre Channel одновременно поддерживает целый ряд стандартных протоколов (среди которых TCP/IP и SCSI-3) при использовании одного физического носителя, который потенциально упрощает построение сетевой инфраструктуры, к тому же это предоставляет возможности для уменьшения стоимости монтажа и обслуживания. Тем не менее использование отдельных подсетей для LAN/WAN и SAN имеет ряд преимуществ и является рекомендованным по умолчанию.

Одним из важнейших преимуществ Fibre Channel наряду со скоростными параметрами (которые, кстати, не всегда являются главными для пользователей SAN и могут быть реализованы с помощью других технологий) является возможность работы на больших расстояниях и гибкость топологии, которая пришла в новый стандарт из сетевых технологий. Таким образом, концепция построения топологии сети хранения данных базируется на тех же принципах, что и традиционные сети, как правило, на основе концентраторов и коммутаторов, которые помогают предотвратить падение скорости при возрастании количества нод и создают возможности удобной организации систем без единой точки отказов.

Для лучшего понимания преимуществ и особенностей этого интерфейса приведем сравнительную характеристику FC и Parallel SCSI в виде таблицы.

Таблица 1. Сравнение технологий Fibre Channel и параллельного SCSI

В стандарте Fibre Channel предполагается использование разнообразных топологий, таких как точка-точка (Point-to-Point), кольцо или FC-AL концентратор (Loop или Hub FC-AL), магистральный коммутатор (Fabric/Switch).

Топология point-to-point используется для подсоединения одиночной сторедж-системы к серверу.

Loop или Hub FC-AL - для подсоединения множественных сторедж устройств к нескольким хостам. При организации двойного кольца увеличивается быстродействие и отказоустойчивость системы.

Коммутаторы используются для обеспечения максимального быстродействия и отказоустойчивости для сложных, больших и разветвленных систем.

Благодаря сетевой гибкости в SAN заложена чрезвычайно важная особенность - удобная возможность построения отказоустойчивых систем.

Предлагая альтернативные решения для систем хранения данных и возможности по объединению нескольких сторедж для резервирования аппаратных средств, SAN помогает обеспечивать защиту аппаратно-программных комплексов от аппаратных сбоев. Для демонстрации приведем пример создания двухнодовой системы без точек отказов.

Рисунок 4. No Single Point of Failure.

Построение трех- и более нодовых систем осуществляется простым добавлением в FC сеть дополнительных серверов и подключением их к обоим концентраторам/ коммутаторам).

При использовании FC построение устойчивых к сбоям (disaster tolerant) систем становится прозрачным. Сетевые каналы и для сторедж, и для локальной сети можно проложить на основе оптоволокна (до 10 км и больше с использованием усилителей сигнала) как физического носителя для FC, при этом используется стандартная аппаратура, которая дает возможность значительно уменьшить стоимость подобных систем.

Благодаря возможности доступа ко всем компонентам SAN из любой ее точки мы получаем чрезвычайно гибко управляемую сеть данных. При этом следует заметить, что в SAN обеспечивается прозрачность (возможность видеть) всех компонентов вплоть до дисков в сторедж-системах. Эта особенность подтолкнула производителей компонентов к использованию своего значительного опыта в построении систем управления для LAN/WAN с тем, чтобы заложить широкие возможности по мониторингу и управлению во все компоненты SAN. Эти возможности включают в себя мониторинг и управление отдельных нод, сторедж компонентов, корпусов, сетевых устройств и сетевых подструктур.

В системе управления и мониторинга SAN используются такие открытые стандарты, как:

• SCSI command set
• SCSI Enclosure Services (SES)
• SCSI Self Monitoring Analysis and Reporting Technology (S.M.A.R.T.)
• SAF-TE (SCSI Accessed Fault-Tolerant Enclosures)
• Simple Network Management Protocol (SNMP)
• Web-Based Enterprise Management (WBEM)

Системы, построенные с использованием технологий SAN, не только обеспечивают администратору возможность следить за развитием и состоянием сторедж ресурсов, но и открывают возможности по мониторингу и контролю трафика. Благодаря таким ресурсам программные средства управления SAN реализуют наиболее эффективные схемы планирования объема сторедж и балансирование нагрузки на компоненты системы.

Сети хранения данных прекрасно интегрируются в существующие информационные инфраструктуры. Их внедрение не требует каких-либо изменений в уже существующих сетях LAN и WAN, а лишь расширяет возможности существующих систем, избавляя их от задач, ориентированных на передачу больших объемов данных. Причем при интеграции и администрировании SAN очень важным является то, что ключевые элементы сети поддерживают горячую замену и установку, с возможностями динамического конфигурирования. Так что добавить тот или другой компонент или осуществить его замену администратор может, не выключая систему. И весь этот процесс интеграции может быть визуально отображен в графической системе управления SAN.

Рассмотрев вышеперечисленные преимущества, можно выделить ряд ключевых моментов, которые непосредственно влияют на одно из основных преимуществ Storage Area Network - общую стоимость владения (Total Cost Ownership).

Невероятные возможности масштабирования позволяют предприятию, которое использует SAN, вкладывать деньги в серверы и сторедж по мере необходимости. А также сохранить свои вложения в уже инсталлированную технику при смене технологических поколений. Каждый новый сервер будет иметь возможность высокоскоростного доступа к сторедж и каждый дополнительный гигабайт сторедж будет доступен всем серверам подсети по команде администратора.

Прекрасные возможности по построению отказоустойчивых систем могут приносить прямую коммерческую выгоду от минимизации простоев и спасать систему в случае возникновения стихийного бедствия или каких-нибудь других катаклизмов.

Управляемость компонентов и прозрачность системы предоставляют возможность осуществлять централизованное администрирование всех сторедж ресурсов, а это, в свою очередь, значительно уменьшает затраты на их поддержку, стоимость которой, как правило, составляет более 50% от стоимости оснащения.

Влияние SAN на прикладные задачи

Для того чтобы нашим читателям стало понятней, насколько практически полезны технологии, которые рассматриваются в этой статье, приведем несколько примеров прикладных задач, которые без использования сетей хранения данных решались бы неэффективно, требовали бы колоссальных финансовых вложений или же вообще не решались бы стандартными методами.

Резервирование и восстановление данных (Data Backup and Recovery)

Используя традиционный SCSI интерфейс, пользователь при построении систем резервирования и восстановления данных сталкивается с рядом сложных проблем, которые можно очень просто решить, используя технологии SAN и FC.

Таким образом, использование сетей хранения данных выводит решение задачи резервирования и восстановления на новый уровень и предоставляет возможность осуществлять бэкап в несколько раз быстрее, чем раньше, без загрузки локальной сети и серверов работой по резервированию данных.

Кластеризация серверов (Server Clustering)

Одной из типичных задач, для которых эффективно используется SAN, является кластеризация серверов. Поскольку один из ключевых моментов в организации высокоскоростных кластерных систем, которые работают с данными - это доступ к сторедж, то с появлением SAN построение многонодовых кластеров на аппаратном уровне решается простым добавлением сервера с подключением к SAN (это можно сделать, даже не выключая системы, поскольку свичи FC поддерживают hot-plug). При использовании параллельного SCSI интерфейса, возможности по подсоединению и масштабируемость которого значительно хуже, чем у FC, кластеры, ориентированные на обработку данных, было бы тяжело сделать с количеством нод больше двух. Коммутаторы параллельного SCSI - весьма сложные и дорогие устройства, а для FC это стандартный компонент. Для создания кластера, который не будет иметь ни единой точки отказов, достаточно интегрировать в систему зеркальную SAN (технология DUAL Path).

В рамках кластеризации одна из технологий RAIS (Redundant Array of Inexpensive Servers) кажется особенно привлекательной для построения мощных масштабируемых систем интернет-коммерции и других видов задач с повышенными требованиями к мощности. По словам Alistair A. Croll, сооснователя Networkshop Inc, использование RAIS оказывается достаточно эффективным:«Например, за $12000-15000 вы можете купить около шести недорогих одно-двухпроцессорных (Pentium III) Linux/Apache серверов. Мощность, масштабируемость и отказоустойчивость такой системы будет значительно выше, чем, например, у одного четырехпроцессорного сервера на базе процессоров Xeon, а стоимость одинаковая».

Одновременный доступ к видео и распределение данных (Concurrent video streaming, data sharing)

Вообразите себе задачу, когда вам нужно на нескольких (скажем, >5) станциях редактировать видео или просто работать над данными огромного объема. Передача файла размером 100GB по локальной сети займет у вас несколько минут, а общая работа над ним будет очень сложной задачей. При использовании SAN каждая рабочая станция и сервер сети получают доступ к файлу на скорости, эквивалентной локальному высокоскоростному диску. Если вам нужны еще одна станция/сервер для обработки данных, вы сможете ее прибавить к SAN, не выключая сети, простым подсоединением станции к SAN коммутатору и предоставлением ей прав доступа к сторедж. Если же вас перестанет удовлетворять быстродействие подсистемы данных, вы сможете просто прибавить еще один сторедж и с использованием технологии распределения данных (например, RAID 0) получить вдвое большее быстродействие.

Основные компоненты SAN

Среда

Для соединения компонентов в рамках стандарта Fibre Channel используют медные и оптические кабели. Оба типа кабелей могут использоваться одновременно при построении SAN. Конверсия интерфейсов осуществляется с помощью GBIC (Gigabit Interface Converter) и MIA (Media Interface Adapter). Оба типа кабеля сегодня обеспечивают одинаковую скорость передачи данных. Медный кабель используется для коротких расстояний (до 30 метров), оптический - как для коротких, так и для расстояний до 10 км и больше. Используют многомодовый и одномодовый оптические кабели. Многомодовый (Multimode) кабель используется для коротких расстояний (до 2 км). Внутренний диаметр оптоволокна мультимодового кабеля составляет 62,5 или 50 микрон. Для обеспечения скорости передачи 100 МБ/с (200 МБ/с в дуплексе) при использовании многомодового оптоволокна длина кабеля не должна превышать 200 метров. Одномодовый кабель используется для больших расстояний. Длина такого кабеля ограничена мощностью лазера, который используется в передатчике сигнала. Внутренний диаметр оптоволокна одномодового кабеля составляет 7 или 9 микрон, он обеспечивает прохождение одиночного луча.

Коннекторы, адаптеры

Для подсоединения медных кабелей используются коннекторы типа DB-9 или HSSD. HSSD считается более надежным, но DB-9 используется так же часто, потому что он более простой и дешевый. Стандартным (наиболее распространенным) коннектором для оптических кабелей является SC коннектор, он обеспечивает качественное, четкое соединение. Для обычного подключения используются многомодовые SC коннекторы, а для отдаленного - одномодовые. В многопортовых адаптерах используются микроконнекторы.

Наиболее распространены адаптеры для FC под шину PCI 64 bit. Также много FC адаптеров вырабатывается под шину S-BUS, для специализированного использования выпускаются адаптеры под MCA, EISA, GIO, HIO, PMC, Compact PCI. Самые популярные - однопортовые, встречаются двух- и четырехпортовые карточки. На PCI адаптерах, как правило, используют DB-9, HSSD, SC коннекторы. Также часто встречаются GBIC-based адаптеры, которые поставляются как с модулями GBIC, так и без них. Fibre Channel адаптеры отличаются классами, которые они поддерживают, и разнообразными особенностями. Для понимания отличий приведем сравнительную таблицу адаптеров производства фирмы QLogic.

Fibre Channel Host Bus Adapter Family Chart
SANblade	64 Bit	FCAL Publ. Pvt Loop	FL Port	Class 3	F Port	Class 2	Point to Point	IP/ SCSI	Full Duplex	FC Tape	PCI 1.0 Hot Plug Spec	Solaris Dynamic Reconfig	VIВ	2Gb
2100 Series	33 & 66MHz PCI	X	X	X
2200 Series	33 & 66MHz PCI	X	X	X	X	X	X	X	X	X
	33MHz PCI	X	X	X	X	X	X	X	X	X	X
	25 MHZ Sbus	X	X	X	X	X	X	X	X	X		X
2300 Series	66 MHZ PCI/ 133MHZ PCI-X	X	X	X	X	X	X	X	X	X			X	X

Концентраторы

Fibre Channel HUBs (концентраторы) используются для подключения нод к FC кольцу (FC Loop) и имеют структуру, похожую на Token Ring концентраторы. Поскольку разрыв кольца может привести к прекращению функционирования сети, в современных FC концентраторах используются порты обхода кольца (PBC-port bypass circuit), которые разрешают автоматически открывать/закрывать кольцо (подключать/отключать системы, присоединенные к концентратору). Обычно FC HUBs поддерживают до 10 подключений и могут стекироваться до 127 портов на кольцо. Все устройства, подключенные к HUB, получают общую полосу пропускания, которую они могут разделять между собой.

Коммутаторы

Fibre Channel Switches (коммутаторы) имеют те же функции, что и привычные читателю LAN коммутаторы. Они обеспечивают полноскоростное неблокированное подключение между нодами. Любая нода, подключенная к FC коммутатору, получает полную (с возможностями масштабирования) полосу пропускания. При увеличении количества портов коммутированной сети ее пропускная способность увеличивается. Коммутаторы могут использоваться вместе с концентраторами (которые используют для участков, не требующих выделенной полосы пропуска для каждой ноды) для достижения оптимального соотношения цена/производительность. Благодаря каскадированию свичи потенциально могут использоваться для создания FC сетей с количеством адресов 2 24 (свыше 16 миллионов).

Мосты

FC Bridges (мосты или мультиплексоры) используются для подключения устройств с параллельным SCSI к сети на базе FC. Они обеспечивают трансляцию SCSI пакетов между Fibre Channel и Parallel SCSI устройствами, примерами которых могут служить Solid State Disk (SSD) или библиотеки на магнитных лентах. Следует заметить, что в последнее время практически все устройства, которые могут быть утилизированы в рамках SAN, производители начинают выпускать с вмонтированным FC интерфейсом для прямого их подключения к сетям хранения данных.

Серверы и Сторедж

Несмотря на то что серверы и сторедж - далеко не последние по важности компоненты SAN, мы на их описании останавливаться не будем, поскольку уверены, что с ними хорошо знакомы все наши читатели.

В конце хочется добавить, что эта статья - лишь первый шаг к сетям хранения данных. Для полного понимания темы читателю следует уделить немало внимания особенностям реализации компонент производителями SAN и программным средствам управления, поскольку без них Storage Area Network - это всего лишь набор элементов для коммутации сторедж-систем, которые не принесут вам полноты преимуществ от реализации сети хранения данных.

Заключение

Сегодня Storage Area Network является довольно новой технологией, которая в скором времени может стать массовой в кругу корпоративных заказчиков. В Европе и США предприятия, которые имеют достаточно большой парк инсталлированных сторедж-систем, уже начинают переходить на сети хранения данных для организации сторедж с наилучшим показателем общей стоимости владения.

По прогнозам аналитиков, в 2005 году значительное количество серверов среднего и верхнего уровня будут поставляться с предварительно установленным интерфейсом Fibre Channel (такую тенденцию можно заметить уже сегодня), и лишь для внутреннего подключения дисков в серверах будет использоваться параллельный SCSI интерфейс. Уже сегодня при построении сторедж-систем и приобретении серверов среднего и верхнего уровня следует обратить внимание на эту перспективную технологию, тем более, что уже сегодня она дает возможность реализовать ряд задач куда дешевле, чем с помощью специализированных решений. Кроме того, вкладывая в технологию SAN сегодня, вы не потеряете свои вложения завтра, поскольку особенности Fibre Channel создают прекрасные возможности для использования в будущем вложенных сегодня инвестиций.

P.S.

Предыдущая версия статьи была написана в июне 2000 года, но в связи с отсутствием массового интереса к технологии сетей хранения данных публикация была отложена на будущее. Это будущее настало сегодня, и я надеюсь, что данная статья побудит читателя осознать необходимость перехода на технологию сетей хранения данных, как передовую технологию построения сторедж-систем и организации доступа к данным.

Коммутаторы Ethernet разного класса - от предназначенных для домашних сетей и небольших рабочих групп до оборудования для распределенных сетей крупных компаний – используются в качестве основного «строительного блока» при создании корпоративных сетей передачи данных. Выбор тех или иных продуктов, их функциональности и вариантов построения сетевой инфраструктуры зависит от решаемой задачи и требований к пропускной способности, масштабу, надежности сети, мобильности пользователей, поддержке приложений.

Коммутатор (switch ) - устройство, предназначенное для соединения нескольких узлов компьютерной сети в пределах одного или нескольких ее сегментов.

Чтобы правильно выбрать коммутатор, нужно представлять топологию сети, знать примерное количество пользователей, скорость передачи данных для каждого участка сети, требования к безопасности и многое другое, а также разбираться в специфике работы этого сетевого оборудования.

Коммутаторы различаются числом и типом портов, архитектурой, конструктивным исполнением, функциональностью, надежностью, производительностью и ценой.

Введение в технологию коммутации

Что такое коммутатор и для чего он нужен

Коммутатор объединяет различные сетевые устройства, такие как ПК, серверы, подключенные к сети системы хранения данных, в единый сегмент сети, дает им возможность общаться между собой. Он определяет, какому именно получателю адресованы данные, и посылает их непосредственно адресату. Исключение составляет широковещательный трафик всем узлам сети и трафик устройств, для которых неизвестен исходящий порт коммутатора.

Это повышает производительность и безопасность сети, избавляя остальные сегменты сети от необходимости обрабатывать не предназначенные им данные.

Коммутатор передает информацию только адресату.

switch ) работает на канальном (втором, L 2) уровне модели OSI. В этом случае для соединения нескольких сетей на сетевом уровне (третий уровень OSI, L 3) служат маршрутизаторы (router ).

Принципы работы коммутатора

В памяти коммутатора хранится таблица коммутации, где фиксируются MAC-адреса подключенных к портам устройств, то есть указывается соответствие MAC-адреса узла сети порту коммутатора. При получении данных с одного из портов коммутатор анализирует их и определяет адрес назначения, по таблице выбирает порт, куда их следует передать.

При включении коммутатора таблица пуста, и он работает в режиме обучения: поступающие на любой порт данные передаются на все остальные порты. При этом коммутатор анализирует фреймы (кадры) и, определив MAC-адрес хоста-отправителя, заносит его в таблицу. Впоследствии, если на один из портов коммутатора поступит фрейм, предназначенный для хоста, MAC-адрес которого уже есть в таблице, то этот фрейм будет передан только через порт, указанный в таблице. Если MAC-адрес хоста-получателя не ассоциирован с каким-либо портом коммутатора, то фрейм отправляется на все порты, за исключением порта-источника.

Формирование таблицы коммутации. MAC-адреса сетевых устройств соотносятся с конкретными портами коммутатора.

Как происходит коммутация при формированной таблице? Например, абонент с адресом А отправляет фрейм получателю с адресом D. По таблице коммутатор определяет, что станция с адресом А подключена к порту 1, а станция с адресом D - к порту 4. На основании этих данных он устанавливает виртуальное соединение для передачи сообщения между портами 1 и 4. После передачи виртуальное соединение разрывается.

Режимы коммутации

При всем многообразии конструкции коммутаторов базовая архитектура этих устройств определяется четырьмя компонентами: портами, буферами, внутренней шиной и механизмом продвижения пакетов.

Механизм продвижения пакетов/фреймов может быть следующим. При коммутации с промежуточной буферизацией коммутатор, получая пакет, не передает его дальше, пока не прочтет полностью всю необходимую ему информацию. Он не только определяет адрес получателя, но и проверяет контрольную сумму, т. е. может отсекать дефектные пакеты. Это позволяет изолировать порождающий ошибки сегмент. Таким образом, данный режим ориентирован на надежность, а не на скорость. При сквозной коммутации коммутатор считывает только адрес поступающего пакета. Пакет передается далее вне зависимости от ошибок. Такой метод характеризуется малой задержкой.

Некоторые коммутаторы используют гибридный метод, называемый пороговой или адаптивной коммутацией. В обычных условиях они осуществляют сквозную коммутацию, проверяют контрольные суммы. Если число ошибок достигает заданного порогового значения, то они переходят в режим коммутации с промежуточной буферизацией, а при снижении числа ошибок возвращаются в режим сквозной коммутации.

Один из важных параметров коммутатора - его производительность. Ее определяют три основных показателя: скорость передачи данных между портами, общая пропускная способность (наибольшая скорость, с которой данные передаются адресатам) и задержка (время между получением пакета от отправителя и до передачи его получателю). Другая ключевая характеристика – возможности управления.

Виды и особенности коммутаторов

Управляемые и неуправляемые коммутаторы

Коммутаторы Ethernet принято делить на два основных вида – неуправляемые и управляемые. Неуправляемые коммутаторы не предусматривают изменения конфигурации или каких-либо других настроек. Это простые устройства, готовые к работе сразу после включения. Их достоинства – низкая цена и автономная работа, не требующая вмешательства. Минусы – отсутствие инструментов управления и малая производительность.

Простые неуправляемые коммутаторы получили наибольшее распространение в домашних сетях и на малых предприятиях.

Управляемые коммутаторы – это более продвинутые устройства, которые также работают в автоматическом режиме, но помимо этого имеют ручное управление. Оно позволяет настроить работу коммутатора, например, предоставляет возможность настройки сетевых политик, создания виртуальных сетей и полноценного управления ими. Цена зависит от функциональности коммутатора и его производительности.

Управлять коммутацией можно на канальном (втором) и сетевом (третьем) уровне модели OSI. Устройства именуют, соответственно, управляемыми коммутаторами L2 и L3. Управление может осуществляться через веб-интерфейс, интерфейс командной строки (CLl), Telnet, SSH, RMON, протокол управления сетью (SNMP) и т.п.

Управляемый коммутатор позволяет настраивать полосу пропускания, создавать виртуальные сети (V LAN ) и др.

Стоит обратить внимание на SSH-доступ и протокол SNMP. Веб-интерфейс облегчает первоначальную настройку коммутатора, но практически всегда имеет меньшее количество функций, чем командная строка, поэтому его наличие приветствуется, но не является обязательным. Многие модели поддерживают все популярные типы управления.

К управляемым относят и так называемые смарт-коммутаторы – устройства с ограниченным набором конфигурационных настроек

Неуправляемые, смарт-коммутаторы и полностью управляемые коммутаторы. Смарт-коммутаторы могут предусматривать возможность управления через веб-интерфейс и базовые настройки.

Сложные корпоративные коммутаторы имеют полный набор средств управления, в том числе CLI, SNMP, веб-интерфейс, иногда - дополнительные функции, например, резервное копирование и восстановление конфигураций.

Многие управляемые коммутаторы поддерживают дополнительные функции, например, QoS, агрегирование и/или зеркалирование портов, стекирование. Некоторые коммутаторы можно объединять в кластер, MLAG или создать виртуальный стек.

Стекируемые коммутаторы

Стекирование – это возможность объединения нескольких коммутаторов с помощью специальных (или стандартных) кабелей, чтобы получившаяся конструкция работала как единый коммутатор. Обычно стек используется для подключения большого число узлов в локальной сети. Если коммутаторы соединены кольцом, то в случае выхода из строя какого-нибудь коммутатора стек продолжает работать.

Для чего создается такой стек? Во-первых, это защита инвестиций. Если необходимо увеличить число пользователей/устройств в сети, а портов не хватает, то можно добавить коммутатор в стек. Во-вторых, стеком удобнее управлять. С точки зрения систем мониторинга и управления это одно устройство. В-третьих, коммутаторы стека имеют единую адресную таблицу, один IP- и MAC-адрес.

Стекируемый (или стековый) коммутатор имеет специальные порты (интерфейсы) для соединения в стек, часто при этом происходит физическое объединение внутренних шин. Как правило, у стекового соединения скорость передачи данных в разы больше, чем скорость передачи по другим портам коммутатора. А в коммутаторах с неблокирующей архитектурой отсутствует блокировка трафика при обмене между коммутаторами стека.

Стекируемые управляемые коммутаторы можно объединять в одно логическое устройство - стек, увеличив тем самым число портов.

Обычно используются фирменные технологии стекирования. Иногда применяются кабели с оконечными разъемами SFP, GBIC и пр. Как правило, в стек можно объединять до 4, 8, 16 или 32 коммутаторов. Многие современные коммутаторы отказоустойчивы, наряду со стекированием поддерживают все функции L2 и L3, множество специализированных протоколов.

Существуют также технологии «виртуализации» коммутаторов, например, Cisco Virtual Switching System (VSS) и HPE Intelligent Resilient Framework (IRF). Их также можно отнести к технологиям стекирования, но, в отличие от «классического» стекирования (StackWise, FlexStack и пр.), для связи коммутаторов используются Ethernet-порты. Таким образом, коммутаторы могут находиться на относительно большом удалении друг от друга.

Резервирование и отказоустойчивость

Современные архитектуры стека предусматривают резервирование по схеме N-1, поддерживают распределенную коммутацию L2/L3, агрегирование каналов по всему стеку, а также возможность переключения каналов в случае аварии и переключение активного устройства в стеке без отказа сервисов. Кроме традиционных протоколов STP, RSTP и MSTP коммутаторы могут поддерживать усовершенствованные технологии, например, Smart Link и RRPP, выполняют защитное переключение каналов на уровне миллисекунд, гарантируют надежную работу сети.

Некоторые модели поддерживают интеллектуальный протокол защиты SEP (Smart Ethernet Protection) – протокол кольцевой сети, обеспечивающий непрерывную доставку сервисов. Еще один протокол, ERPS (Ethernet Ring Protection Switching), использует функции Ethernet OAM и механизм автоматического защитного переключения кольца – также за миллисекунды.

Многие вендоры применяют собственные технологии кольцевого резервирования сети, обеспечивающие более быстрое восстановление, чем стандартные протоколы STP/RSTP. Один из примеров показан ниже.

Выбираются основной и резервный порты для передачи данных в кольце. Коммутатор блокирует резервный порт, и передача происходит по основному маршруту. Все коммутаторы в кольце обмениваются пакетами синхронизации. При обрыве соединения будет разблокирован резервный порт и задействован резервный маршрут.

Для повышения надежности может предусматриваться «горячая» замена и/или резервирование блоков питания и элементов охлаждения коммутатора. Благодаря имеющимся в некоторых моделях оптическим портам коммутатор можно подключить к коммутатору ядра на расстоянии до 80 км. Такое оборудование позволяет создать производительный отказоустойчивый коммутационный кластер или построить любую современную L2-топологию, разнесенную на несколько десятков километров, получить отказоустойчивый стек на сотни портов с единой точкой управления, что существенно облегчает администрирование.

Коммутаторы в сетевой архитектуре

Место и роль коммутатора в сети

Коммутаторы и маршрутизаторы играют критическую роль, особенно в среде предприятия. Коммутация – одна из самых распространенных сетевых технологий. Коммутаторы вытесняют маршрутизаторы на периферию локальных сетей, оставляя за ними роль организации связи через глобальную сеть.

За счет микросегментации они позволяют повысить производительность сети, дают возможность организовать подключенные устройства в логические сети и перегруппировывать их, когда это необходимо.

Традиционная архитектура корпоративной сети включает в себя три уровня: уровень доступа, агрегирования/распределения и ядра. На каждом из них коммутаторы выполняют специфические сетевые функции.

Коммутаторы могут играть роль основных коммутаторов в филиалах и организациях среднего размера, функционировать как локальные коммутаторы доступа в крупных организациях, применяться для объединения небольших групп в единую сеть второго уровня. Они широко используются в ЦОД и в ядре сети, в сетях провайдеров на уровне доступа и агрегирования, а с распространением технологии Ethernet - и в ряде вертикальных приложений, например, в промышленности, в системах автоматизации зданий. Несмотря на распространение беспроводных технологий, такое сетевое оборудование пользуется растущей популярностью также в сегментах SMB и SOHO.

Многие разработчики акцентируют внимание на совершенствовании механизмов защиты информации и управления трафиком, в частности, для передачи голоса или видео. Растущими объемами трафика диктуется внедрение 10-гигабитных и еще более высоких скоростей.

Современные коммутаторы могут поддерживать многочисленные протоколы безопасности, в том числе полный набор инструкций ARP для фильтрации пакетов данных на уровнях L2–L7, а также динамическую маршрутизацию, включающую все необходимые протоколы нахождения кратчайших путей. Высококонкурентный рынок дает широкие возможности выбора продуктов известных западных брендов, производителей из стран Азии и российских изделий.

Мировой рынок коммутаторов и ключевые вендоры

Основной вклад в 3% рост мирового рынка коммутаторов и маршрутизаторов в 2015 году внес сегмент корпоративного оборудования: на его долю пришлось почти 60% продаж. Крупнейшие мировые производители коммутаторов Ethernet L2/L3 – Cisco (свыше 62%), HPE, Juniper, Arista, Huawei. Растет спрос на оборудование для ЦОД, коммутаторы 10 и 40 Gigabit Ethernet, коммутаторы для крупных провайдеров.

Объем продаж пяти ведущих поставщиков коммутаторов Ethernet в мире за последние кварталы (по данным IDC ).

В регионе EMEA сегмент Ethernet-коммутаторов в первой половине 2016 года показал 6,7% спад. В отчете IDC говорится, что Cisco остается крупнейшим производителем коммутаторов на рынке EMEA. На долю Cisco и HPE пришлось более 68% продаж коммутационного оборудования в регионе. В число лидеров также вошли Arista и Huawei.

По прогнозам Dell"Oro Group, наиболее быстрыми темпами будет расти сегмент коммутаторов для ЦОД. Переход на облачную модель должен также способствовать внедрению SDN и продажам коммутаторов для облачных дата-центров при снижении спроса на коммутаторы корпоративного уровня.

Возможности и разновидности коммутаторов

Коммутаторы уровня ядра, распределения, доступа позволяют создавать сетевые архитектуры разной топологии, уровня сложности и производительности. Разнообразие этих платформ варьируется от простых коммутаторов с восемью фиксированными портами до модульных устройств, состоящих из более десятка «лезвий» и насчитывающих сотни портов.

Коммутаторы для рабочих групп обычно имеют небольшое число портов и поддерживаемых MAC-адресов.

Магистральные коммутаторы отличаются большим числом высокоскоростных портов, наличием дополнительных функций управления, расширенной фильтрации пакетов и т. п. В общем случае такой коммутатор намного дороже, функциональнее и производительнее, чем коммутаторы для рабочих групп. Он обеспечивает эффективное сегментирование сети.

Основные параметры коммутаторов: количество портов (при выборе коммутатора лучше предусмотреть запас для расширения сети), скорость коммутации (у устройств начального уровня она гораздо ниже, чем у коммутатора корпоративного класса), пропускная способность, автоматическое определение MDI/MDI-X (стандартов, по которым обжата витая пара), наличие слотов расширения (например, для подключения интерфейсов SFP), размер таблицы MAC-адресов (выбирается с учетом расширения сети), форм-фактор (настольный/стоечный).

По конструктивному исполнению выделяют коммутаторы с фиксированным числом портов; модульные на основе шасси; стековые (стекируемые); модульно-стековые. Коммутаторы для поставщиков услуг подразделяются на коммутаторы агрегирования и коммутаторы уровня доступа. Первые агрегируют трафик на границе сети, вторые включают такие функции как контроль данных на прикладном уровне, встроенную безопасность и упрощенное управление.

В ЦОД должны применяться коммутаторы, которые обеспечивают масштабируемость инфраструктуры, непрерывное функционирование и гибкость транспорта данных. В сетях Wi-Fi коммутатор может играть роль контроллера, управляющего точками доступа.

Коммутаторы и сети Wi-Fi

В зависимости от сценария проектирования и развертывания сети Wi-Fi (WLAN) меняется и роль коммутаторов в ней. Например, это может быть централизованная/управляемая архитектура или конвергентная архитектура (объединение проводного и беспроводного доступа). Большинство сетей Wi-Fi среднего и большого масштаба строятся на принципах централизованной архитектуры с коммутатором в роли контроллера Wi-Fi. Все основные производители решений Wi-Fi высокого уровня (Cisco, Aruba (HPE), Ruckus (Brocade), HPE, Huawei и т.д.) имеют такие предложения.

Простая сеть WLAN не нуждается в контроллере, и коммутатор выполняет свои базовые функции.

Контроллер управляет загрузкой/изменением ПО, изменением конфигурации, RRM (динамическое управление радиоресурсами), связью с внешними серверами (ААА, DHCP, LDAP и т.п.), аутентификацией пользователей, профилями QoS, специальными функциями и т.п. Контроллеры могут объединяться в группы для бесшовного роуминга клиентов между точками доступа в зоне покрытия.

Контроллер осуществляет централизованное управление устройствами в беспроводной сети и предназначен для сетей кампусов, филиалов и предприятий SMB. Централизованная архитектура сети Wi - Fi позволяет строить крупные сети и управлять ими из одной точки.

В небольшой корпоративной сети Wi-Fi, покрывающей часть этажа, этаж, небольшое здание и т.п., могут применяться коммутаторы-контроллеры, рассчитанные на небольшое количество точек доступа (до 10-20). Большие корпоративные сети Wi-Fi, охватывающие кампусы, заводские территории, порты и т.п., требуют мощных и функциональных контроллеров (например, Cisco 5508, Aruba A6000, Ruckus ZoneDirector 3000). Иногда предлагают решение на модулях для коммутаторов или маршрутизаторов, например, модуль Cisco WiSM2 в коммутатор семейства Cisco Catalyst 6500/6800, модуль Huawei ACU2 в коммутаторы Huawei S12700, S9700, S7700, модуль HPE JD442A в коммутатор HPE 9500.

В новой редакции «магического квадранта» Gartner (август 2016 г.) по поставщикам оборудования для инфраструктуры проводных и беспроводных локальных сетей в число лидеров кроме Cisco попала только HPE, поглотившая компанию Aruba.

Функции автоматического обнаружения точек доступа и централизованного управления избавят от затрат на настройку конфигураций. Контроллеры могут также обеспечивать защиту от потенциальных атак, а функции самостоятельной оптимизации и восстановления гарантируют бесперебойную работу беспроводной сети. Поддержка PoE упростит развертывание WLAN.

Функциональные и конструктивные особенности коммутаторов

Функции коммутаторов Ethernet и поддерживаемые протоколы

Функции для работы с трафиком могут включать в себя управление потоком (Flow Control, IEEE 802.3x), которое предусматривает согласование приема-отправки при высоких нагрузках во избежание потерь пакетов. Поддержка Jumbo Frame (увеличенных пакетов), повышает общую производительность сети. Приоритезация трафика (IEEE 802.1p) позволяет определять более важные пакеты (например, VoIP) и отправлять их в первую очередь. Стоит обратить внимание на эту функцию, если планируется передача трафика аудио или видео.

Поддержка VLAN (IEEE 802.1q) – удобное средство для разграничения сети предприятия для различных отделов и т.п. Функция Traffic Segmentation для разграничения доменов на канальном уровне позволяет настраивать порты или группы портов коммутатора, используемые для подключения серверов или магистрали сети.

Зеркалирование (дублирование) трафика (Port Mirroring) может использоваться для обеспечения безопасности внутри сети, контроля или проверки производительности сетевого оборудования. Функция LoopBack Detection автоматически блокирует порт при образовании петли (особенно важна при выборе неуправляемых коммутаторов).

Агрегирование каналов (IEEE 802.3ad) повышает пропускную способность канала, объединяя несколько физических портов в один логический. IGMP Snooping пригодится при вещании IPTV. Storm Control дает порту возможность продолжать работать для пересылки всего остального трафика при широковещательном/однонаправленном «шторме».

Коммутаторы могут поддерживать протоколы динамической маршрутизации (например, RIP v2, OSPF) и управления группами интернета (например, IGMP v3). При поддержке протоколов BGP и OSPF устройство можно использовать как коммутирующий маршрутизатор для доменов и субдоменов локальной сети. Некоторые модели поддерживают создание наложенных сетей (TRILL), посредством чего снижается нагрузка на таблицы MAC-адресов и обеспечивается равномерная загрузка каналов для одинаковых маршрутов, что значительно повышает скорость доступа к сетевым ресурсам. Различается это сетевое оборудование и по способам работы.

Коммутаторы L1-L4

Чем выше уровень, на котором коммутатор работает по сетевой модели OSI, тем сложнее и дороже устройство, более развита его функциональность.

Коммутаторы 1 уровня (хабы и повторители) функционируют на физическом уровне и обрабатывают не данные, а электрические сигналы. Такое оборудование сейчас практически не производится.

Коммутаторы 2 уровня работают на канальном уровне с кадрами (фреймами), могут выполнять их анализ, определять отправителя и получателя. Они оперируют только с MAC-адресами, а различать IP-адреса не умеют. К таким устройствам относятся все неуправляемые коммутаторы и некоторые модели управляемых

• RMON (4 группы: Statistic, History, Alarm и Event)
• Два уровня паролей - пароль пользователя и резервный пароль.
• Профиль доступа и приоритезации трафика
• Сегментация трафика
• Контроль полосы пропускания
• Функции Port Security (ограничение кол-ва MAC на заданном порту)
• Контроль доступа IEEE 802.1x на основе портов / MAC-адресов
• Журналирование событий при помощи Syslog
• Поддержка TACACS, RADIUS, SSH
• Обновление ПО и сохранение файла конфигурации на внешнем носителе
• Поддержка IEEE 802.1Q VLAN (на основе меток)
• Приоритезация пакетов IEEE 802.1p и 4 очереди
• Spanning Tree protocol (IEEE 802.1D)
• Rapid Spaning Tree protocol (IEEУ 802.1w)
• Контроль широковещательных штормов
• Поддержка объединения портов в транк - Link Aggregation (IEEE 802.3ad Static mode)
• Зеркалирование портов (трафик множества портов, на один выбранный порт)
• TFTP / BOOTP / DHCP клиент
• Поддержка TELNET, встроенный WEB-сервер
• CLI - интерфейс коммандной строки
• IGMP для ограничения широковещательных доменов в VLAN
• SNMP v1/v3

Общие функции коммутаторов L 2.

Коммутаторы L2 составляют коммутационные таблицы, поддерживают протокол IEEE 802.1p (приоритезацию трафика), протокол IEEE 802.1q (VLAN), IEEE 802.1d (Spanning Tree Protocol, STP), применяемый для повышения отказоустойчивости сети, IEEE 802.1w (Rapid Spanning Tree Protocol, RSTP) с более высокой устойчивостью и меньшим временем восстановления или более современный IEEE 802.1s (Multiple Spanning Tree Protocol, MSTP), IEEE 802.3ad (Link Aggregation) для объединения нескольких портов в один высокоскоростной порт.

Коммутаторы 3 уровня работают на сетевом уровне. К ним относится ряд моделей управляемых коммутаторов, маршрутизаторы. Они могут маршрутизировать сетевой трафик и перенаправлять его в другие сети, поддерживают работу с IP-адресами и установку сетевых соединений.

Таким образом, они фактически являются маршрутизаторами, которые реализуют механизмы логической адресации и выбора пути доставки данных (маршрута) с использованием протоколов маршрутизации (RIP v.1 и v.2, OSPF, BGP, проприетарные протоколы). Традиционно коммутаторы L3 используются в локальных и территориальных сетях для обеспечения передачи данных большого количества подключенных к ним устройств, в отличие от маршрутизаторов, осуществляющих доступ к распределенной сети (WAN).

Коммутаторы 4 уровня функционируют на транспортном уровне и поддерживают работу с приложениями, обладают некоторыми интеллектуальными функциями. Они могут определять порты TCP/UDP для идентификации приложений, биты SYN и FIN, обозначающие начало и конец сеансов, распознавать информацию в заголовках сообщений. Различается и конструкция коммутаторов.

Коммутаторы Ethernet c фиксированной конфигурацией и модульные коммутаторы

Модульные коммутаторы обеспечивают масштабируемую производительность, гибкость конфигураций и возможности поэтапного расширения. Коммутаторы с фиксированной конфигурацией позволяют строить сетевую инфраструктуру для решения широкого спектра задач, включая построение сетей комплексов зданий, филиалов крупных предприятий, организации среднего размера, а также предприятий SMB

Коммутаторы фиксированной конфигурации обычно поддерживают до 48 портов. Иногда есть возможность установить дополнительные порты SFP/ SFP +.

С помощью аплинков SFP+ многие коммутаторы можно подключать к верхнему уровню – ядру сети, обеспечивая высокую производительность и балансировку нагрузки по всем каналам. Высокая плотность портов позволяет эффективнее использовать ограниченное пространство и питание.

Модульные коммутаторы обычно представляют собой высокопроизводительные платформы, поддерживающие широкий спектр протоколов L3, гибкий набор интерфейсов, виртуализацию сервисов и оптимизацию приложений, сетевые кластеры (SMLT, SLT, RSMLT). Они могут использоваться в ядре крупных и средних сетей, в сетях ЦОД (ядро сети и концентрация подключений серверов).

Типовые функции модульного коммутатора.

Модульные коммутаторы могут иметь очень высокую плотность портов за счет добавления модулей расширения. Например, некоторые поддерживают более 1000 портов. В больших корпоративных сетях, к которым подключаются тысячи устройств, лучше использовать именно модульные коммутаторы. В противном случае потребуется множество коммутаторов с фиксированной конфигурацией.

Cisco Catalyst 6800 - модульные коммутаторы для кампусных сетей с поддержкой 10/40/100G. Расширяемая платформа высотой 4,5 RU содержит от 16 до 80 портов 1/10GE с поддержкой BGP и MPLS.

Характеристики коммутаторов Ethernet

Основными характеристиками коммутатора, измеряющими его производительность, являются скорость коммутации, пропускная способность и задержка передачи кадра. На эти показатели влияют размер буфера (буферов) кадров, производительность внутренней шины, производительность процессора, размер таблицы MAC-адресов.

Общие характеристики также включают возможность установки в стойку, емкость оперативной памяти, количество портов и аплинков/SFP-портов, скорость аплинков, поддержку работы в стеке, способы управления.

Некоторые вендоры предлагают на своих сайтах удобные конфигураторы для выбора коммутаторов по их характеристикам: числу и типу портов (1/10/40GbE, оптика/медь), виду коммутации/маршрутизации (L2/L3 – базовая или динамическая), скорости и типу аплинков, наличию PoE/PoE+, поддержке IPv6 и OpenFlow (SDN), FCoE, резервированию (питания/фабрики/вентиляторов), возможности стекирования. Энергоэффективный Ethernet (IEEE 802.3az, Energy Efficient Ethernet) уменьшает потребление энергии, автоматически регулируя ее в соответствии с фактическим сетевым трафиком коммутатора.

Менее дорогие и менее производительные коммутаторы могут использоваться на уровне доступа, а более дорогие высокопроизводительные лучше применять на уровнях распределения и ядра сети, где от скорости коммутации очень сильно зависит производительность всей системы.

Типы и плотность портов

Группа портов коммутатора для подключения конечных абонентов традиционно состоит из портов для кабеля «витая пара» с разъемами RJ-45. Дальность передачи сигнала при этом составляет до 100 метров общей длины линии, и для офисов этого, в большинстве случаев, достаточно.

Порты Etherhet 1/10 Гбит/ c для «медных» кабелей с разъемами RJ -45.

Более сложен выбор типа портов аплинка, предназначенные для связи с узлами сети более высокого уровня. Во многих случаях предпочтительнее оптические кабели связи, не имеющие таких ограничений по длине, как у «витой пары». В таких портах часто применяются сменные модули SFP (Small Form-factor Pluggable). Высота и ширина модуля SFP сравнима с высотой и шириной гнезда RJ-45.

Оптический модуль SFP .

Популярные интерфейсы SFP+ и XFP могут обеспечивать скорость передачи 10 Гбит/c и дальность до 20 км. Посадочное место для модулей SFP+ имеет те же габариты что и SFP, разница заключается в протоколах передачи информации между модулем и коммутатором. XFP имеет большие, чем SFP+ габариты. Коммутаторы с портами SFP и SFP+ часто используются в сети на уровне агрегирования. Между тем в ЦОД широко применяются не только коммутаторы Ethernet, но и другие виды коммутирующего оборудования.

В сети крупного предприятия или в крупном ЦОД, где портов тысячи, большее значение имеет плотность портов, то есть, сколько максимально портов на 1U (или на стойку) требуемой скорости передачи можно разместить с учетом слотов расширений и дополнительных модулей. Нужно помнить о росте потребности в передаче больших объемов данных и соответственно, учитывать плотность портов требуемой скорости в рассматриваемых коммутаторах.

Что касается офисных сетей, то полезным качеством коммутатора может стать поддержка PoE и EEE.

Питание по сети - PoE

Технология Power over Ethernet (PoE) позволяет коммутатору подавать питание на устройство по кабелю Ethernet. Эта функция обычно используется некоторыми IP-телефонами, беспроводными точками доступа, камерами видеонаблюдения и пр.

Технология подачи электропитания через Ethernet – удобный альтернативный способ электропитания сетевых устройств.

РоЕ предоставляет гибкость при монтаже такого рода оборудования: его можно установить везде, где есть Ethernet-кабель. Но РоЕ должна быть действительно необходима, т.к. поддерживающие ее коммутаторы стоят значительно дороже.

Согласно стандарту IEEE 802.3af (PoE), обеспечивается постоянный ток до 400 мА с номинальным напряжением 48 В через две пары проводников в четырехпарном кабеле при максимальной мощности 15,4 Вт.

Стандарт IEEE 802.3at (PoE+) предусматривает увеличение мощности (до 30 Вт) и новый механизм взаимного определения (классификации) устройств. Он позволяет устройствам взаимно определять друг друга при подключении.

Эволюция сетей и коммутаторы

Коммутаторы в ЦОД: Ethernet, Fibre Channel, InfiniBand

Для высокопроизводительной коммутации серверов и систем хранения сегодня используется большой спектр технологий и устройств – коммутаторы Ethernet, Fibre Channel, InfiniBand и др.

В виртуализированных и облачных ЦОД, где преобладает «горизонтальный» трафик между серверами и виртуальными машинами, на помощь приходит конфигурация «ствол и листья» (Spine-Leaf). Иногда такую конфигурацию называют «распределенным ядром». Часто также используют термин «Ethernet-фабрика».

Spine -коммутаторы можно рассматривать как распределенное ядро, только вместо одного-двух коммутаторов ядра оно сформировано из большого числа коммутаторов «ствола» с высокой плотностью портов.

Плюсы такой конфигурации следующие: горизонтальный трафик между «листьями» гарантированно идет с одним хопом, через «дерево», поэтому задержка предсказуема, при отказе оборудования меньше страдает производительность, да и масштабировать такую конфигурацию легче.

Растет потребность и в более высокой скорости передачи данных. За предыдущие годы создано шесть стандартов Ethernet: 10 Мбит/с, 100 Мбит/с, Гбит/с, 10 Гбит/с, 40 Гбит/с и 100 Гбит/с. В 2016 году Ethernet-сообщество усиленно работает над реализацией новых стандартов скоростей: 2,5 Гбит/с, 5 Гбит/с, 25 Гбит/с, 50 Гбит/с, 200 Гбит/с. Недавно принятые спецификации IEEE 802.3 (включая подгруппы) охватывают диапазон скоростей от 25 Гбит/с на порт до суммарной пропускной способности канала на уровне 400 Гбит/с. Завершить работу над стандартом 400GbE (802.3bs) планируется в марте 2017 года. В нем будут использоваться несколько линий по 50 или 100 Гбит/с.

На мировом рынке Ethernet -коммутаторов для ЦОД доминирует Cisco Systems (по данным IDC , 2015 г.).

Наряду с 40/100GbE все более широкое внедрение в ЦОД получает InfiniBand. Технология InfiniBand (IB) применяется в основном в высокопроизводительных вычислениях (HPC), многоузловых кластерах и вычислениях GRID. Ее используют во внутренних соединениях (backplane) и коммутаторах (crossbar switch) производители модульных серверов. В коммутаторах с поддержкой InfiniBand EDR (Enhanced Data Rate) 12x скорость порта достигает 300 Гбит/с.

Модульный сервер со встроенным коммутатором InfiniBand .

Сети хранения данных (SAN) традиционно строятся на базе протокола FC (Fibre Channel), который предоставляет быстрый и надежный транспорт для передачи данных между дисковыми массивами и серверами. FC обеспечивает гарантированно низкую задержку, высокую надежность и производительность работы дисковой подсистемы.

Коммутатор FC (резервируемая фабрика) – ключевой элемент SAN .

Трафик FC можно передавать и поверх Ethernet с сохранением предсказуемости и производительности Fibre Channel (FCoE). Для этого был разработан протокол Converged Enhanced Ethernet (CEE).

Считается, что совмещение трафика SAN и LAN в одном сегменте сети c помощью FCoE позволяет получить ряд преимуществ при построении дата-центров, включая снижение начальных затрат на оборудование и операционных издержек на поддержку, обслуживание, электропитание и кондиционирование оборудования. Однако такой подход так и получил широкого распространения.

Коммутатор FCoE обеспечивает конвергенцию SAN и LAN .

Выделенная сеть хранения SAN (на основе FC или iSCSI) остается оптимальным вариантом для высокоскоростного доступа к данным. Ее традиционный протокол Fibre Channel изначально рассчитан на быструю передачу больших блоков и низкие задержки. Важным фактором роста рынка SAN станет переход на оборудование нового поколения – коммутаторы и директоры Fibre Channel Gen 6 (32 Гбит/с). Он уже начался.

Изменение скорости передачи данных в развертываемых сетях FC , InfiniBand и Ethernet по данным Mellanox.

Важно выбирать подходящее для текущих требований сети оборудование, но с запасом производительности для дальнейшего роста.

Технология Ethernet-фабрики

Технология коммутирующей фабрики, созданная для Fibre Channel SAN, нашла применение и в сетях Ethernet. Наряду с платформами виртуальной маршрутизации и SDN-контроллерами, фабрики Ethernet открывают путь к внедрению SDN/NFV, предполагают использование открытых, автоматизированных, программно-конфигурируемых компонентов, что способствует гибкости и снижению затрат.

Ethernet-фабрики наряду с дополняющими их технологиями TRILL и Shortest Path Bridging (SPB – альтернатива сложным и неэффективным трехуровневым сетям и Spanning Tree.

Коммутирующие фабрики охватывают теперь сети хранения данных, кампусные сети и сети ЦОД. Они снижают операционные расходы, увеличивают эффективность использования сети, ускоряют развертывание приложений, поддерживает виртуализацию. Эволюция коммутирующих фабрик продолжается.

Коммутаторы White-box, Bare-metal и Open Networking

В последнее время получает распространение концепция Open Networking, цель которой «отделить» операционную систему коммутатора от аппаратной платформы и дать заказчикам возможность выбора комбинаций сетевых ОС и оборудования. В отличие от традиционных коммутаторов, которые поставляются с предустановленной ОС, можно приобрести коммутатор Bare-metal («голое железо») у одного производителя, а ПО – у другого.

Bare-metal означает, что в коммутаторе не установлено сетевой ОС, есть лишь загрузчик для ее установки.

Такое оборудование выпускается, например, тайваньскими и российскими производителями. Ряд вендоров предлагают также коммутаторы White-box – Bare-metal с предустановленной сетевой ОС. Такие коммутаторы предоставляют большую гибкость и определенную независимость заказчика от производителя оборудования. Цена их ниже по сравнению с продуктами крупных вендоров. По данным Dell’Oro Group, они на 30-40% дешевле традиционных брендовых моделей. Функции сетевой ОС обычно предусматривают поддержку всех стандартных протоколов L2/L3 и, в некоторых случаях - протокола OpenFlow.

Традиционные коммутаторы (слева) и коммутаторы White box (справа).

Основной целевой сегмент рынка коммутаторов White-box – ЦОД. Они позволяют доработать сетевую ОС для решения конкретных задач. Однако целесообразность их применения в кампусных или распределенных корпоративных сетях зависит от того, сколько коммутаторов в сети и как часто меняется конфигурация, есть ли в компании специалисты, способные поддерживать сетевую ОС с открытым исходным кодом. В небольших кампусных сетях выгода сомнительна.

По прогнозу Infonetics Research, в 2019 году на долю «голого железа» будет приходиться почти 25% всего количества портов в коммутаторах, поставленных в ЦОД во всем мире.

Виртуальные коммутаторы

С увеличением вычислительной мощности процессоров х86 с ролью коммутатора вполне может справиться программный, виртуальный коммутатор. Его удобно использовать, например, для предоставления сетевого уровня доступа виртуальным машинам, запущенным на физическом сервере. На виртуальных машинах (или в контейнерах, например, Docker) создаются логические (виртуальные) порты Ethernet. ВМ подключаются к виртуальному коммутатору посредством этих портов.

Три наиболее популярных виртуальных коммутатора – VMware Virtual Switch, Cisco Nexus 1000v и Open vSwitch. Последний – это виртуальный коммутатор с открытым исходным кодом, распространяемый по лицензии Apache 2.0 и предназначенный для работы в гипервизорах на основе Linux, таких как, KVM и Xen.

Open vSwitch – программный многоуровневый коммутатор Open Source, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. Поддерживает протокол OpenFlow для управления логикой коммутации.

Open vSwitch (OVS) поддерживает широкий набор технологий, включая NetFlow, sFlow, Port Mirroring, VLAN, LACP. Он может работать как в виртуальных средах, так и использоваться в качестве Control Plane для аппаратных коммутаторов. Созданные на базе OVS сетевые ОС широко применяются на коммутаторах White-box и Bare-metal. Множество сфер применения у OVS – в SDN-сетях, при коммутации трафика между виртуальными сетевыми функциями (NFV).

Коммутаторы в архитектуре SDN/NFV

С расширением функциональности оборудования сети станут более высокоскоростными и интеллектуальными. Производительность современных моделей коммутаторов ядра сети составляет до 1,5 Тбит/с и выше, и традиционный путь развития предполагает дальнейшее наращивание их мощности. Расширение функциональности сопровождается все большей специализацией устройств ядра сети и ее периферии. У корпоративных заказчиков появляются новые требования в таких областях, как информационная безопасность, гибкость, надежность и экономичность.

Сейчас широко обсуждается концепция SDN (Software Defined Networking). Основная суть SDN состоит в физическом разделении уровня управления сетью (Control Plane) и уровня передачи данных (Forwarding) за счет переноса функций управления коммутаторами в ПО, работающее на отдельном сервере (контроллере).

Цель SDN– гибкая, управляемая, адаптивная и экономичная архитектура, которая способна эффективно адаптироваться под передачу больших потоков разнородного трафика.

SDN-коммутаторы, как правило, используют протокол управления OpenFlow. Большинство коммутаторов SDN поддерживают одновременно и стандартные сетевые протоколы. В настоящее время область применения SDN – в основном серверные фермы ЦОД и нишевые решения, где SDN удачно дополняет другие технологии. На российском рынке технология SDN наиболее востребована операторами публичных облаков.

Network Functions Virtualization (NFV), виртуализация сетевых функций, нацелена на оптимизацию сетевых сервисов за счет отделения сетевых функций (например, DNS, кэширование и пр.) от реализации аппаратного обеспечения. Считается, что NFV позволяет универсализировать программное обеспечение, ускорить внедрение новых функций сети и служб, и при этом не требует отказа от уже развернутой сетевой инфраструктуры.

По данным опроса CNews Analytics (2015 год), российские заказчики в целом оптимистично оценивают перспективы технологий SDN и NFV, позволяющих сократить капитальные затраты и ускорить ввод новых сервисов.

Прогнозы SDN и NFV в России носят пока разноречивый характер. По оценкам J’son & Partners, объем российского сегмента SDN в 2017 году составит 25–30 млн. долл. Основными пользователями SDN и NFV станут владельцы крупных ЦОД и федеральные операторы связи.

Тем временем производители коммутаторов для корпоративного сегмента рынка предлагают высокоскоростное оборудование с более низкой стоимостью владения, возможностями гибкого построения сетей, функциями поддержки различных классов приложений и расширенными средствами безопасности.

И прочего, среды передачи данных и подключенных к ней серверов. Обычно используется достаточно крупными компаниями, имеющими развитую IT инфраструктуру, для надежного хранения данных и скоростного доступа к ним.
Упрощенно, СХД — это система, позволяющая раздавать серверам надежные быстрые диски изменяемой емкости с разных устройств хранения данных.

Немного теории.
Сервер к хранилищу данных можно подключить несколькими способами.
Первый и самый простой — DAS, Direct Attached Storage (прямое подключение), без затей ставим диски в сервер, или массив в адаптер сервера — и получаем много гигабайт дискового пространства со сравнительно быстрым доступом, и при использовании RAID-массива — достаточную надежность, хотя копья на тему надежности ломают уже давно.
Однако такое использование дискового пространства не оптимально — на одном сервере место кончается, на другом его еще много. Решение этой проблемы — NAS, Network Attached Storage (хранилище, подключенное по сети). Однако при всех преимуществах этого решения — гибкости и централизованного управления — есть один существенный недостаток — скорость доступа, еще не во всех организациях внедрена сеть 10 гигабит. И мы подходим к сети хранения данных.

Главное отличие SAN от NAS (помимо порядка букв в аббревиатурах) — это то, каким образом видятся подключаемые ресурсы на сервере. Если в NAS ресурсы подключаются протоколам NFS или SMB , в SAN мы получаем подключение к диску, с которым можем работать на уровне операций блочного ввода-вывода, что гораздо быстрее сетевого подключения (плюс контроллер массива с большим кэшем добавляет скорости на многих операциях).

Используя SAN, мы сочетаем преимущества DAS — скорость и простоту, и NAS — гибкость и управляемость. Плюс получаем возможность масштабирования систем хранения до тех пор, пока хватает денег, параллельно убивая одним выстрелом еще несколько зайцев, которых сразу не видно:

* снимаем ограничения на дальность подключения SCSI -устройств, которые обычно ограничены проводом в 12 метров,
* уменьшаем время резервного копирования,
* можем грузиться с SAN,
* в случае отказа от NAS разгружаем сеть,
* получаем большую скорость ввода-вывода за счет оптимизации на стороне системы хранения,
* получаем возможность подключать несколько серверов к одному ресурсу, это нам дает следующих двух зайцев:
- на полную используем возможности VMWare — например VMotion (миграцию виртуальной машины между физическими) и иже с ними,
- можем строить отказоустойчивые кластеры и организовывать территориально распределенные сети.

Что это дает?
Помимо освоения бюджета оптимизации системы хранения данных, мы получаем, вдобавок к тому что я написал выше:

* увеличение производительности, балансировку нагрузки и высокую доступность систем хранения за счет нескольких путей доступа к массивам;
* экономию на дисках за счет оптимизации расположения информации;
* ускоренное восстановление после сбоев — можно создать временные ресурсы, развернуть на них backup и подключить к ним сервера, а самим без спешки восстанавливать информацию, или перекинуть ресурсы на другие сервера и спокойно разбираться с умершим железом;
* уменьшение время резервного копирования — благодаря высокой скорости передачи можно бэкапиться на ленточную библиотеку быстрее, или вообще сделать snapshot (мгновенный снимок) с файловой системы и спокойно архивировать его;
* дисковое место по требованию — когда нам нужно — всегда можно добавить пару полок в систему хранения данных.
* уменьшаем стоимость хранения мегабайта информации — естественно, есть определенный порог, с которого эти системы рентабельны.
* надежное место для хранения mission critical и business critical данных (без которых организация не может существовать и нормально работать).
* отдельно хочу упомянуть VMWare — полностью все фишки вроде миграции виртуальных машин с сервера на сервер и прочих вкусностей доступны только на SAN.

Из чего это состоит?
Как я писал выше — СХД состоит из устройств хранения, среды передачи и подключенных серверов. Рассмотрим по порядку:

Системы хранения данных обычно состоят из жестких дисков и контроллеров, в уважающей себя системе как правило всего по 2 — по 2 контроллера, по 2 пути к каждому диску, по 2 интерфейса, по 2 блока питания, по 2 администратора. Из наиболее уважаемых производителей систем следует упомянуть HP, IBM, EMC и Hitachi. Тут процитирую одного представителя EMC на семинаре — «Компания HP делает отличные принтеры. Вот пусть она их и делает!» Подозреваю, что в HP тоже очень любят EMC. Конкуренция между производителями нешуточная, впрочем, как и везде. Последствия конкуренции — иногда вменяемые цены за мегабайт системы хранения и проблемы с совместимостью и поддержкой стандартов конкурентов, особенно у старого оборудования.

Среда передачи данных .

Обычно SAN строят на оптике, это дает на текущий момент скорость в 4, местами в 8 гигабит на канал. При построении раньше использовались специализированные хабы, сейчас больше свитчи, в основном от Qlogic, Brocade, McData и Cisco (последние два на площадках не видел ни разу). Кабели используются традиционные для оптических сетей — одномодовые и многомодовые , одномодовые более дальнобойные.
Внутри используется FCP — Fibre Channel Protocol , транспортный протокол. Как правило внутри него бегает классический SCSI, а FCP обеспечивает адресацию и доставку. Есть вариант с подключением по обычной сети и iSCSI , но он обычно использует (и сильно грузит) локальную, а не выделенную под передачу данных сеть, и требует адаптеров с поддержкой iSCSI, ну и скорость помедленнее, чем по оптике.

Есть еще умное слово топология, которое встречается во всех учебниках по SAN. Топологий несколько, простейший вариант — точка-точка (point to point), соединяем между собой 2 системы. Это не DAS, а сферический конь в вакууме простейший вариант SAN. Дальше идет управляемая петля (FC-AL), она работает по принципу «передай дальше» — передатчик каждого устройства соединен с приемником последующего, устройства замкнуты в кольцо. Длинные цепочки имеют свойство долго инициализироваться.

Ну и заключительный вариант — коммутируемая структура (Fabric), она создается с помощью свитчей. Структура подключений строится в зависимости от количества подключаемых портов, как и при построении локальной сети. Основной принцип построения — все пути и связи дублируются. Это значит, что до каждого устройства в сети есть минимум 2 разных пути. Здесь тоже употребимо слово топология , в смысле организации схемы подключений устройств и соединения свитчей. При этом как правило свитчи настраиваются так, что сервера не видят ничего, кроме предназначенных им ресурсов. Это достигается за счет создания виртуальных сетей и называется зонированием, ближайшая аналогия — VLAN . Каждому устройству в сети присваивается аналог MAC -адреса в сети Ethernet, он называется WWN — World Wide Name . Он присваивается каждому интерфейсу и каждому ресурсу (LUN) систем хранения данных. Массивы и свитчи умеют разграничивать доступ по WWN для серверов.

Сервера подключают к СХД через HBA - Host Bus Adapter -ы. По аналогии с сетевыми картами существуют одно-, двух-, четырехпортовые адаптеры. Лучшие "собаководы" рекомендуют ставить по 2 адаптера на сервер, это позволяет как осуществлять балансировку нагрузки, так и обеспечивает надежность.

А дальше на системах хранения нарезаются ресурсы, они же диски (LUN) для каждого сервера и оставляется место в запас, все включается, установщики системы прописывают топологию, ловят глюки в настройке свитчей и доступа, все запускается и все живут долго и счастливо*.
Я специально не касаюсь разных типов портов в оптической сети, кому надо — тот и так знает или прочитает, кому не надо — только голову забивать. Но как обычно, при неверно установленном типе порта ничего работать не будет.

Из опыта.
Обычно при создании SAN заказывают массивы с несколькими типами дисков: FC для скоростных приложений, и SATA или SAS для не очень быстрых. Таким образом получаются 2 дисковые группы с различной стоимостью мегабайта — дорогая и быстрая, и медленная и печальная дешевая. На быструю вешаются обычно все базы данных и прочие приложения с активным и быстрым вводом-выводом, на медленную — файловые ресурсы и все остальное.

Если SAN создается с нуля — имеет смысл строить ее на основе решений от одного производителя. Дело в том, что, несмотря на заявленное соответствие стандартам, существуют подводные грабли проблемы совместимости оборудования, и не факт, что часть оборудования будет работать друг с другом без плясок с бубном и консультаций с производителями. Обычно для утряски таких проблем проще позвать интегратора и дать ему денег, чем общаться с переводящими друг на друга стрелки производителями.

Если SAN создается на базе существующей инфраструктуры — все может быть сложно, особенно если есть старые SCSI массивы и зоопарк старой техники от разных производителей. В этом случае имеет смысл звать на помощь страшного зверя интегратора, который будет распутывать проблемы совместимости и наживать третью виллу на Канарах.

Часто при создании СХД фирмы не заказывают поддержку системы производителем. Обычно это оправдано, если у фирмы есть штат грамотных компетентных админов (которые уже 100 раз назвали меня чайником) и изрядный капитал, позволяющий закупить запасные комплектующие в потребных количествах. Однако компетентных админов обычно переманивают интеграторы (сам видел), а денег на закупку не выделяют, и после сбоев начинается цирк с криками «Всех уволю!» вместо звонка в саппорт и приезда инженера с запасной деталью.

Поддержка обычно сводится к замене умерших дисков и контроллеров, ну и к добавлению в систему полок с дисками и новых серверов. Много хлопот бывает после внезапной профилактики системы силами местных специалистов, особенно после полного останова и разборки-сборки системы (и такое бывает).

Про VMWare. Насколько я знаю (спецы по виртуализации поправьте меня), только у VMWare и Hyper-V есть функционал, позволяющий «на лету» перекидывать виртуальные машины между физическими серверами. И для его реализации требуется, чтобы все сервера, между которыми перемещается виртуальная машина, были подсоединены к одному диску.

Про кластеры. Аналогично случаю с VMWare, известные мне системы построения отказоустойчивых кластеров (Sun Cluster, Veritas Cluster Server) — требуют подключенного ко всем системам хранилища.

Пока писал статью — у меня спросили — в какие RAIDы обычно объединяют диски?
В моей практике обычно делали или по RAID 1+0 на каждую дисковую полку с FC дисками, оставляя 1 запасной диск (Hot Spare) и нарезали из этого куска LUN-ы под задачи, или делали RAID5 из медленных дисков, опять же оставляя 1 диск на замену. Но тут вопрос сложный, и обычно способ организации дисков в массиве выбирается под каждую ситуацию и обосновывается. Та же EMC например идет еще дальше, и у них есть дополнительная настройка массива под приложения, работающие с ним (например под OLTP, OLAP). С остальными вендорами я так глубоко не копал, но догадываюсь, что тонкая настройка есть у каждого.

* до первого серьезного сбоя, после него обычно покупается поддержка у производителя или поставщика системы.

7 Структурные элементы SAN

В предыдущих разделах приведен обзор топологий и протокола Fibre Channel. Теперь рассмотрим различные устройства и компоненты, которые используются для создания сетей хранения данных Fibre Channel. К основным структурным элементам SAN относятся:

■ адаптеры шины;

■ кабели Fibre Channel;

■ разъемы;

■ устройства подключения, в число которых входят концентраторы, коммутаторы и коммутаторы связной архитектуры.

Обратите внимание, что все адресуемые компоненты в пределах сети хранения данных на основе Fibre Channel имеют уникальные имена WWN (World Wide Names), которые представляют собой аналоги уникальных адресов MAC. Имя WWN в спецификации Fibre Channel - это 64-разрядное число, записываемое в виде XX: XX: XX: XX: XX: XX: XX: XX. Институт IEEE назначает каждому производителю определенный диапазон адресов. Производитель отвечает за уникальное выделение назначенных адресов.

7.1 Адаптеры шины

Адаптер шины (host bus adapter - НВА ) подключается к компьютеру и обеспечивает взаимодействие с устройствами хранения данных. В мире персональных компьютеров под управлением Windows адаптеры шины обычно подключаются к шине PCI и могут предоставлять подключение для устройств IDE, SCSI и Fibre Channel. Адаптеры шины работают под управлением драйвера устройства, т.е. драйвера мини-порта SCSIPort или Storport.
При инициализации порт адаптера шины регистрируется на коммутаторе связной архитектуры (если таковой доступен) и регистрирует хранящиеся на нем атрибуты. Атрибуты доступны приложениям с помощью API от производителя коммутатора или адаптера шины. Ассоциация SNIA (Storage Networking Industry Association) pa6oтaeт над стандартизированным API, поддерживающим различные API производителей.
Для сети хранения данных, к которой выдвигаются серьезные требования по отказоустойчивости, некоторые производители адаптеров шины предоставляют дополнительные возможности, например автоматическое переключение на другой адаптер шины при отказе в работе основного.
В кольце с разделением доступа только два устройства могут одновременно осуществлять прием и передачу данных. Предположим, что одно из них - это адаптер шины, подключенный к узлу и получающий данные от устройства хранения. Но, если этот адаптер подключен к сети хранения данных на основе коммутируемой связной архитектуры, он может одновременно отправлять несколько запросов на чтение нескольким устройствам хранения.

Ответы на эти запросы могут приходить в любом порядке. Обычно коммутатор связной архитектуры предоставляет службу циклического обслуживания для портов, что еще более усложняет задачу адаптера шины; в этом случае порядок поступления пакетов окажется таким, что каждый следующий пакет будет приходить от другого источника.
Адаптеры шины позволяют решить эту проблему одним из двух способов. Первая стратегия, которая называется сохранить и отсортировать, подразумевает хранение данных в памяти узла с последующей сортировкой буферов за счет центрального процессора. Очевидно, что это неэффективный подход с точки зрения центрального процессора и общая нагрузка связана с переключением контекста каждые несколько десятков микросекунд. Другая стратегия - на лету - подразумевает использование дополнительной системной логики и микросхем на самом адаптере шины, что позволяет осуществлять переключение контекста без использования циклов центрального процессора. Обычно время между переключениями контекста при использовании такой стратегии составляет несколько секунд.
Одно резервирование позволяет отправить один кадр Fibre Channel. Перед отправкой следующего кадра отправитель должен получить сигнал Receiver Ready . Для эффективного использования канала Fibre Channel необходимо одновременно передавать несколько кадров, что потребует несколько резервирований, следовательно, понадобится больший объем памяти для принятия кадров. Некоторые адаптеры шины имеют четыре буфера размером 1 Кбайт и два буфера по 2 Кбайт, хотя на некоторых высокоуровневых адаптерах устанавливается 128 и 256 Кбайт для резервирования буфера. Обратите внимание, что для этой памяти обычно требуется два порта; т.е. когда одна область памяти принимает данные от SAN Fibre Channel, остальные области памяти могут передавать данные шине PCI узла.
Кроме того, адаптеры шины играют роль в обеспечении-отказоустойчивости и в архитектуре с аварийным восстановлением данных, в которой предоставляется несколько маршрутов ввода-вывода к одному устройству хранения данных.

7.1.1 Операционная система Windows и адаптеры шины

В Windows NT и Windows 2000 адаптеры Fibre Channel рассматриваются как устройства SCSI, а драйверы создаются в виде драйверов мини-портов SCSI. Проблема состоит в том, что драйвер SCSIPort устарел и не поддерживает возможности, предоставляемые новыми устройствами SCSI, не говоря уже об устройствах Fibre Channel. Поэтому в Windows Server 2003 была введена новая модель драйвера Storport, которая должна заменить модель SCSIPort, особенно для устройств SCSI-3 и Fibre Channel. Обратите внимание, что диски Fibre Channel используются Windows в качестве DAS - устройств, что обеспечивается уровнем абстракции, предоставляемым драйверами SCSIPort и Storport.

7.1.2 Двойные маршруты

Иногда необходима повышенная производительность и надежность, даже за счет увеличения стоимости готового решения. В таких случаях сервер подключается к двухпортовым дискам через несколько адаптеров шины и несколько независимых сетей хранения данных Fibre Channel. Основная идея - исключить единую точку отказа в работе сети. Кроме того, в те моменты, когда система работает нормально, несколько маршрутов могут использоваться для балансировки нагрузки и повышения производительности.

7.2 Типы кабелей Fibre Channel

В основном используется два типа кабелей: оптические и медные. Ниже перечислены основные преимущества и недостатки кабелей.

■ Медные кабели дешевле оптических.

■ Оптические кабели поддерживают более высокие скорости передачи данных по сравнению с медными кабелями.

■ Медный кабель может использоваться на меньшем расстоянии, до 30 метров. При этом оптический кабель может использоваться на расстоянии до 2 километров (многомодовый кабель) или до 10 километров (одномодовый кабель).

■ Медный кабель более восприимчив к электромагнитным помехам и взаимному влиянию других кабелей.

■ Оптические данные обычно должны быть преобразованы в электрические сигналы для передачи через коммутатор и обратно в оптическую форму для дальнейшей передачи.
Существует только один тип медного кабеля, в отличие от оптического, который представлен двумя видами: многомодовым и одномодовым.
На коротких дистанциях используется многомодовый кабель, который имеет сердцевину диаметром 50 или 62,5 микрона (микрон - микрометр, или одна миллионная часть метра.) Световая волна, которая используется в многомодовом кабеле, имеет длину 780 нанометров, что не поддерживается в одномодовых кабелях. Для больших расстояний предназначен одномодовый кабель, диаметр сердцевины которого составляет 9 микрон. В одномодовом кабеле используется световой луч с длиной волны в 1300 нанометров. Несмотря на тематику этой главы (интерфейс Fibre Channel), стоит упомянуть, что такие кабели могут использоваться для построения сетей на основе других интерфейсов, например Gigabit Ethernet.

7.3 Разъемы

Поскольку интерфейсом Fibre Channel поддерживается несколько типов кабелей (и технологий передачи данных), устройства (например, адаптеры шины, устройства взаимодействия и хранения данных) выпускаются с разъемами, которые поддерживают подключение к передающей среде, что делается для снижения общих затрат. Существует несколько видов разъемов, предназначенных для различных передающих сред и интерфейсов.

■ Конверторы интерфейса Gigabit (Gigabit interface converters - GBIC) поддерживают последовательную и параллельную трансляцию передаваемых данных. Конверторы GBIC предоставляют возможность "горячего" подключения, т.е. включение/выключение GBIC не влияет на работу других портов. Конверторами используется 20-битовый параллельный интерфейс.

■ Модули линий Gigabit (Gigabit link modules - GLM) предоставляют функции, аналогичные GBIC, но для своей установки требуют отключения устройства. С другой стороны, они несколько дешевле, чем GBIC.

■ Адаптеры интерфейса носителя (Media Interface Adapters) используются для преобразования сигналов между медным и оптическим носителем и наоборот. Адаптеры интерфейса носителя обычно используются в адаптерах шины, но могут применяться и на коммутаторах и концентраторах.

■ Адаптеры малого формфактора (Small Form Factor Adapters - SFF) позволяют размещать большее количество разъемов различных интерфейсов на плате определенного размера.

7.4 Устройства взаимодействия

Устройства взаимодействия соединяют между собой компоненты сетей хранения данных. К ним относятся различные устройства, начиная от дешевых концентраторов Fibre Channel и заканчивая дорогими, высокопроизводительными и управляемыми коммутаторами связной архитектуры.

7.4.1 Концентраторы кольца Fibre Channel с разделением доступа

Концентраторы FC-AL представляют собой бюджетный вариант для подключения нескольких узлов Fibre Channel (устройств хранения данных, серверов, компьютерных систем, других концентраторов и коммутаторов) в кольцевую конфигурацию. Обычно в концентраторах предоставляется от 8 до 16 портов. Концентратор может поддерживать различные среды передачи, например медные или оптические.
Концентраторы Fibre Channel - это пассивные устройства, т.е. любое другое устройство в кольце не может обнаружить их присутствия. Концентраторы обеспечивают следующие возможности:

■ внутренние соединения, которые позволяют любому порту подключаться к любому другому порту;

■ возможность обхода порта, к которому подключено неправильно работающее устройство.
Самая большая проблема в работе портов связана с тем, что в текущий момент времени они могут поддерживать только одно подключение Fibre Channel. На рисунке показано, что, если порт 1 получил управление для установки сеанса с портом 8, ни один другой порт не сможет передавать данные, пока установленный сеанс не завершится.
Концентраторы могут быть подключены к коммутаторам связной архитектуры Fibre Channel без модификации. Кроме того, можно создавать каскад концентраторов, соединив два концентратора кабелем.
Концентраторы FC-AL занимают лидирующее положение на рынке Fibre Channel, но в процессе снижения стоимости коммутаторы связной архитектуры Fibre Channel становятся все более популярными.
Концентраторы FC-AL создаются такими компаниями, как Gadzoox Networks, Emulex и Brocade.

7.4.2 Коммутаторы кольца Fibre Channel с разделением доступа

Самое значительное преимущество коммутаторов FC-AL перед концентраторами состоит в одновременной поддержке нескольких подключений, тогда как концентраторы поддерживают только одно подключение в текущий момент времени.

Рис. Концентратор Fibre Channel

Возможность одновременной поддержки нескольких подключений связана с определенными сложностями. Устройства, подключенные к коммутатору кольца, даже не "подозревают" о своей роли. Коммутаторы кольца участвуют как в передаче данных, так и в адресации кольца. Ниже приводится дополнительная информация по этому вопросу, а также рассматривается роль коммутаторов в сетях хранения данных и методы, с помощью которых поставщики добавляют новые функции к своим продуктам.

Рис.Коммутатор Fibre Channel

Коммутаторы кольца и передача данных

Сервер, который намерен получить доступ к устройству хранения данных, должен отправить арбитражный запрос на управление кольцом. В нормальном кольце FC-AL на базе концентратора каждое устройство получает арбитражный пакет до его возвращения адаптеру шины сервера, благодаря чему сервер получает контроль над кольцом. Коммутатор кольца отправит ответ об успешном получении управления немедленно, не отправляя запросы другим узлам. На этом этапе адаптер шины отправит базовый пакет Open предназначенный для порта устройства хранения, который будет передан коммутатором кольца. Если порт в это время не выполняет передачи данных, особых проблем не должно возникнуть. В противном случае возможно появление конфликтных ситуаций. Для решения этой проблемы коммутатор кольца должен предоставить буфера для временного хранения кадров предназначенных для порта 7. Некоторые поставщики коммутаторов предоставляют для этих целей 32 буфера на каждый порт.

Коммутаторы кольца и адресация FC-AL

Концентраторы FC-AL не играют роли в назначении адресов устройствам а только передают базовые кадры адресов по кольцу. То же можно сказать и о большинстве коммутаторов. Однако некоторые устройства могут настаивать на получении определенного адреса. Некоторые концентраторы имеют возможность управлять порядком инициализации портов, что позволяет определенному порту инициализироваться первому, после чего устройство будет подключено к требующемуся порту.

Коммутаторы и инициализация кольца

Протокол FC-AL требует повторной инициализации кольца при подключении, отключении или повторной инициализации устройства. Такая инициализация кольца может привести к нарушению существующей связи между другими двумя устройствами. Некоторые производители коммутаторов предоставляют возможность выборочно экранировать и передавать пакеты LIP (Loop Initialization Primitives). Эта операция предназначена для минимизации проблем, сокращения времени повторной инициализации кольца и по возможности сохранения существующих сеансов передачи данных. В то же время необходимо обеспечить уникальность адресов устройств.
Если все устройства принимают участие в повторной инициализации кольца, дублирования адресов не происходит, так как устройства "защищают" свои адреса. Но, если некоторые устройства не принимают участия в повторной инициализации кольца, необходимо предотвратить назначение уже распределенных адресов устройствам, принимающим участие в повторной инициализации кольца. Уникальность адресов обеспечивается дополнительной логикой коммутатора кольца. При добавлении устройства хранения пакет LIP должен быть отправлен на сервер, однако LIP не требуется передавать устройствам хранения, которые никогда не устанавливают связь с другими устройствами хранения данных.
Некоторые устройства хранения могут устанавливать связь непосредственно с другими устройствами хранения, что используется для резервного копирования данных.

Коммутаторы кольца и связная архитектура

Если все устройства в кольце "знают" о связной архитектуре, коммутатор кольца передает обычным образом необходимые кадры, например кадры Fabric Login Если устройства в кольце не поддерживают связную архитектуру, коммутатор кольца должен самостоятельно выполнять достаточно большой
объем работы.
Коммутаторы кольца некоторых поставщиков не поддерживают каскадирование. Кроме того, некоторым коммутаторам кольца требуется обновление прошивки перед подключением к коммутаторам связной архитектуры. Ряд коммутаторов следует модернизировать для полной поддержки связной архитектуры перед их подключением к SAN.
Коммутаторы FC-AL производятся такими компаниями, как Brocade, McDATA, Gadzoox Networks, Vixel и QLogic.

7.4.3 Коммутаторы связной архитектуры Fibre Channel

Коммутаторы связной архитектуры Fibre Channel (Fibre Channel Fabric Switches - FC-SW) обеспечивают несколько выскоскоростных сеансов связи одновременно со всеми устройствами. На данный момент основные коммутаторы поддерживают быстродействие порядка 1 Гбит/с, в то время как скорость в 2 Гбит/с также перестает быть диковинкой. В основном коммутаторы связной архитектуры в пересчете на один порт стоят дороже чем концентраторы и коммутаторы FC-AL, но они предоставляют намного больше функциональных возможностей.
Коммутаторы связной архитектуры более эффективны в сравнении с концентраторами и коммутаторами FC-AL. Например, коммутаторы предоставляют специальные службы, описанные выше, обеспечивают управление потоком с помощью базовых пакетов управления, а также, что гораздо важнее, некоторые коммутаторы способны эмулировать функции FC-AL для обеспечения обратной совместимости с более старыми устройствами.
Некоторые коммутаторы связной архитектуры поддерживают маршрутизацию без буферизации. Суть ее в том, что при получении заголовка кадра коммутатор быстро находит заголовок трчки назначения, пока кадр все еще принимается. Преимущество такого подхода - снижение задержек при доставке кадра и отсутствие необходимости хранения содержимого кадра в памяти буфера. А недостаток заключается в немедленной передаче всех кадров, включая поврежденные.
Коммутаторы связной архитектуры играют важную роль в безопасности сетей хранения данных на основе Fibre Channel.

7.4.4 Сравнение трех устройств подключения

В таблице.приведены функциональные возможности и различия между тремя типами устройств Fibre Channel.

7.4.5 Мосты и маршрутизаторы

Как в этой главе, так и во всей статье термины мосты (bridges) и маршрутизаторы (routers) не относятся к традиционным мостам Ethernet и маршрутизаторам IP. В данном случае под мостами и маршрутизаторами подразумеваются устройства для Fibre Channel, а не для сетевых протоколов 2-го и 3-го уровней.
Мосты - это устройства, обеспечивающие взаимодействие между Fibre Channel и устаревшими протоколами, например SCSI. Мосты Fibre Channel-SCSI позволяют сохранить существующие инвестиции в устройства хранения SCSI. Такие мосты поддерживают интерфейсы SCSI и Fibre Channel и преобразуют данные двух протоколов. Таким образом, новый сервер с установленным адаптером шины Fibre Channel может получить доступ к существующим устройствам хранения SCSI. Мосты предоставляют интерфейс между параллельной шиной SCSI и интерфейсом Fibre Channel. Маршрутизаторы обладают аналогичными возможностями, но для нескольких шин SCSI и интерфейсов Fibre Channel. Маршрутизаторы систем хранения данных, или "интеллектуальные" мосты, предоставляют такие дополнительные возможности, как маскировка и отображение LUN, а также поддерживают команды SCSI Extended Copy. В качестве устройств, передающих данные, маршрутизаторы применяют команды Extended Copy для использования библиотеками хранения, что позволяет копировать данные между указанным целевым устройством и подключенной библиотекой. Эта функция также называется независимым резервным копированием (без сервера).
В качестве примера производителей маршрутизаторов и мостов можно привести такие компании, как Crossroads Systems, Chaparral Network Storage, Advanced Digital Information Corporation (ADIC после приобретения Path-light) и MTI.

В деле познания SAN столкнулся с определённым препятствием - труднодоступностью базовой информации. В вопросе изучения прочих инфраструктурных продуктов, с которыми доводилось сталкиваться, проще - есть пробные версии ПО, возможность установить их на вирутальной машине, есть куча учебников, референс гайдов и блогов по теме. Cisco и Microsoft клепают очень качественные учебники, MS вдобавок худо-бедно причесал свою адскую чердачную кладовку под названием technet, даже по VMware есть книга, пусть и одна (и даже на русском языке!), причём с КПД около 100%. Уже и по самим устройствам хранения данных можно получить информацию с семинаров, маркетинговых мероприятий и документов, форумов. По сети же хранения - тишина и мёртвые с косами стоять. Я нашёл два учебника, но купить не решился. Это "Storage Area Networks For Dummies " (есть и такое, оказывается. Очень любознательные англоговорящие «чайники» в целевой аудитории, видимо) за полторы тысячи рублей и "Distributed Storage Networks: Architecture, Protocols and Management " - выглядит более надёжно, но 8200р при скидке 40%. Вместе с этой книгой Ozon рекомендует также книгу «Искусство кирпичной кладки».

Что посоветовать человеку, который решит с нуля изучить хотя бы теорию организации сети хранения данных, я не знаю. Как показала практика, даже дорогостоящие курсы могут дать на выходе ноль. Люди, применительно к SAN делятся на три категории: те, кто вообще не знает что это, кто знает, что такое явление просто есть и те, кто на вопрос «зачем в сети хранения делать две и более фабрики» смотрят с таким недоумением, будто их спросили что-то вроде «зачем квадрату четыре угла?».

Попробую восполнить пробел, которого не хватало мне - описать базу и описать просто. Рассматривать буду SAN на базе её классического протокола - Fibre Channel.

Итак, SAN - Storage Area Network - предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах. Суть в том, что так дисковые ресурсы экономнее используются, легче управляются и имеют большую производительность. А в вопросах виртуализации и кластеризации, когда нескольким серверам нужен доступ к одному дисковому пространству, подобные системы хранения данных вообще незаменимая штука.

Кстати, в терминологиях SAN, благодаря переводу на русский, возникает некоторая путаница. SAN в переводе означает «сеть хранения данных» - СХД. Однако классически в России под СХД понимается термин «система хранения данных», то есть именно дисковый массив (Storage Array ), который в свою очередь состоит из Управляющего блока (Storage Processor, Storage Controller ) и дисковых полок (Disk Enclosure ). Однако, в оригинале Storage Array является лишь частью SAN, хотя порой и самой значимой. В России получаем, что СХД (система хранения данных) является частью СХД (сети хранения данных). Поэтому устройства хранения обычно называют СХД, а сеть хранения - SAN (и путают с «Sun», но это уже мелочи).

Компоненты и термины

Технологически SAN состоит из следующих компонентов:

1. Узлы, ноды (nodes)

• Дисковые массивы (системы хранения данных) - хранилища (таргеты )
• Серверы - потребители дисковых ресурсов (инициаторы ).

2. Сетевая инфраструктура

• Коммутаторы (и маршрутизаторы в сложных и распределённых системах)
• Кабели

Особенности

Если не вдаваться в детали, протокол FC похож на протокол Ethernet с WWN-адресами вместо MAC-адресов. Только, вместо двух уровней Ethernet имеет пять (из которых четвёртый пока не определён, а пятый - это маппинг между транспортом FC и высокоуровневыми протоколами, которые по этому FC передаются - SCSI-3, IP). Кроме того, в коммутаторах FC используются специализированные сервисы, аналоги которых для IP сетей обычно размещаются на серверах. Например: Domain Address Manager (отвечает за назначение Domain ID коммутаторам), Name Server (хранит информацию о подключенных устройствах, эдакий аналог WINS в пределах коммутатора) и т.д.

Для SAN ключевыми параметрами являются не только производительность, но и надёжность. Ведь если у сервера БД пропадёт сеть на пару секунд (или даже минут) - ну неприятно будет, но пережить можно. А если на это же время отвалится жёсткий диск с базой или с ОС, эффект будет куда более серьёзным. Поэтому все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и, ключевая особенность SAN, по сравнению с LAN - дублирование на уровне всей инфраструктуры сетевых устройств - фабрики.

Фабрика (fabric - что вообще-то в переводе с английского ткань, т.к. термин символизирует переплетённую схему подключения сетевых и конечных устройств, но термин уже устоялся) - совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL - InterSwitch Link ).

Высоконадёжные SAN обязательно включают две (а иногда и более) фабрики, поскольку фабрика сама по себе - единая точка отказа. Те, кто хоть раз наблюдал последствия кольца в сети или ловкого движения клавиатуры, вводящего в кому коммутатор уровня ядра или распределения неудачной прошивкой или командой, понимают о чём речь.

Фабрики могут иметь идентичную (зеркальную) топологию или различаться. Например одна фабрика может состоять из четырёх коммутаторов, а другая - из одного, и к ней могут быть подключены только высококритичные узлы.

Топология

Различают следующие виды топологий фабрики:

Каскад - коммутаторы соединяются последовательно. Если их больше двух, то ненадёжно и непроизводительно.

Кольцо - замкнутый каскад. Надёжнее просто каскада, хотя при большом количестве участников (больше 4) производительность будет страдать. А единичный сбой ISL или одного из коммутаторов превращает схему в каскад со всеми вытекающими.

Сетка (mesh ). Бывает Full Mesh - когда каждый коммутатор соединяется с каждым. Характерно высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации просто не останется портов под узлы - все будут заняты под ISL. Partial Mesh - любое хаотическое объединение коммутаторов.

Центр/периферия (Core/Edge) - близкая к классической топологии LAN, но без уровня распределения. Нередко хранилища подключаются к Core-коммутаторам, а серверы - к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. Также и хранилища и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.

Зонинг (зонирование, zoning)

Ещё одна характерная для SAN технология. Это определение пар инициатор-таргет. То есть каким серверам к каким дисковым ресурсам можно иметь доступ, дабы не получилось, что все серверы видят все возможные диски. Достигается это следующим образом:

• выбранные пары добавляются в предварительно созданные на коммутаторе зоны (zones);
• зоны помещаются в наборы зон (zone set, zone config), созданные там же;
• наборы зон активируются в фабрике.

Для первоначального поста по теме SAN, думаю, достаточно. Прошу прощения за разномастные картинки - самому нарисовать на работе пока нет возможности, а дома некогда. Была мысль нарисовать на бумаге и сфотографировать, но решил, что лучше так.

Напоследок, в качестве постскриптума, перечислю базовые рекомендации по проектированию фабрики SAN .

• Проектировать структуру так, чтобы между двумя конечными устройствами было не более трёх коммутаторов.
• Желательно чтобы фабрика состояла не более чем из 31 коммутатора.
• Стоит задавать Domain ID вручную перед вводом нового коммутатора в фабрику - улучшает управляемость и помогает избежать проблем одинаковых Domain ID, в случаях, например, переподключения коммутатора из одной фабрики в другую.
• Иметь несколько равноценных маршрутов между каждым устройством хранения и инициатором.
• В случаях неопределённых требований к производительности исходить из соотношения количества Nx-портов (для конечных устройств) к количеству ISL-портов как 6:1 (рекомендация EMC) или 7:1 (рекомендация Brocade). Данное соотношение называется переподпиской (oversubscription).
• Рекомендации по зонингу:
  - использовать информативные имена зон и зон-сетов;
  - использовать WWPN-зонинг, а не Port-based (основанный на адресах устройств, а не физических портов конкретного коммутатора);
  - каждая зона - один инициатор;
  - чистить фабрику от «мёртвых» зон.
• Иметь резерв свободных портов и кабелей.
• Иметь резерв оборудования (коммутаторы). На уровне сайта - обязательно, возможно на уровне фабрики.