Ваша заявка принята
хорошо
Поддержание работоспособности сетей и поиски вариантов развития имеющихся и построения новых за последние полгода стало приоритетной задачей. CTI более 20 лет строит сети для enterprise-заказчиков из телеком-сферы. В статье на Хабре рассказали о возможных решениях, их плюсах и замеченных минусах.
В связи с уходом западных вендоров, которые предлагали решения по построению сетей ЦОД, возник вопрос с дальнейшей поддержкой и развитием сетевой инфраструктуры. Отсутствие техподдержки вендора создает риски для компаний, которые успели развернуть у себя в ЦОД такие проприетарные решения, как Cisco ACI, т.к. остается вероятность появления кейсов, которые не решить без участия разработчиков вендора. При этом, если продолжать докупать оборудование западных вендоров для расширения текущей сетевой инфраструктуры, построенной на базе того же Cisco ACI, то никуда не исчезают риски, связанные и с заменой таких компонент как контроллеры Cisco APIC при выходе их из строя. Да и вопрос безопасности волнует многих. Так пришло время посмотреть в сторону альтернативных поставщиков сетевых решений для ЦОД.
Но давайте сначала вспомним, чем же заслужили к себе повышенное внимание сетевые фабрики и почему в последние годы они являются по сути стандартом для построения сетей ЦОД. Ведь с приходом в нашу жизнь таких понятий, как VXLAN, MP-BGP EVPN, топология Клоса и других подход к построению сетей ЦОД кардинально изменился. Эти технологии позволили нам строить маршрутизируемые фабрики с неблокируемой архитектурой высокой доступности, обеспечивая связность и изоляцию трафика на 2 и 3 уровнях для сервисов и приложений вне зависимости от их местоположения.
Рисунок 1. Фабрика VXLAN-EVPN
При этом появление MP-BGP EVPN изменило парадигму оверлейной сети VXLAN и представляет собой важный шаг в эволюции VXLAN как сетевой технологии ЦОД. Устранение поведения «flood-and-learn» делает эту технологию более интересной для расширения взаимодействий на 2 и 3 уровнях за пределы одного ЦОД. Так VXLAN с control plane MP-BGP EVPN может рассматриваться в качестве достойной альтернативы таким проверенным решениям для организации Layer 2 DCI как OTV и VPLS. Когда VXLAN внедряется внутри ЦОД, то его использование для взаимодействия между ЦОД может упростить общий дизайн сети и снизить эксплуатационную сложность, предоставляя унифицированное сетевое оверлейное решение.
Для расширения Layer 2 домена и Layer 3 сегментации между географически разнесенными фабриками VXLAN-EVPN существуют 3 основные архитектуры: Multi-Pod, Multi-Fabric и Multi-Site.
Архитектура Multi-Pod, реализованная с использованием технологий MP-BGP EVPN VXLAN, призвана обеспечить взаимное подключение географически разнесенных обычно на незначительные расстояния ЦОД в единую VXLAN фабрику под единым административным управлением. Обычно речь идет о расширении текущей фабрики и размещении дополнительных коммутаторов Spine/leaf в соседнем машзале или другом ЦОД в качестве дополнительного Pod-а. В связи с этим встает вопрос о целесообразном подходе к организации физических подключений между такими Pod-ми.
Рисунок 2. Архитектура Multi-Pod
Существуют 2 основных подхода к организации физических подключений между Pod. Первый подход предполагает организацию подключений на уровне Spine как Back-to-Back или через дополнительный уровень Super-Spine, что является более масштабируемым вариантом, т.к. позволяет избежать в т.ч. Full-Mesh подключений между Pod-ми.
Рисунок 3. Inter-Pod подключение через уровень Super-Spine.
Второй подход предполагает организацию подключений на уровне Leaf, где такие Border leaf устройства могут также обеспечивать фабрике доступ к внешним подключениям и даже совмещать функционал VTEP. При выборе того или иного подхода необходимо учитывать нагрузку на устройства и сложность с точки зрения эксплуатации.
Рисунок 4. Inter-Pod подключение через уровень Leaf.
Логически типичная архитектура Multi-Pod предполагает в каждом Pod свою собственную автономную систему, работающую под управлением MP-iBGP EVPN с Route Reflector-ми на коммутаторах уровня Spine для простоты и масштабируемости, а также Multihop MP-eBGP EVPN между Pod. Underlay внутри каждого Pod обычно строится с использованием таких IGP протоколов как IS-IS и OSPF. Для underlay между Pod могут использоваться как IGP протоколы, так и eBGP для лучшей изоляции. Для передачи BUM трафика используется Multicast или Ingress репликация.
При этом Pod-ы объединяются в единый домен маршрутизации MP-BGP EVPN с единым data plane на основе VXLAN, т.е. Multi-Pod представляет собой логически единую растянутую VXLAN-EVPN фабрику, где VXLAN туннели всегда терминируются на уровне Leaf любого Pod.
В итоге архитектура Multi-Pod обеспечивает высокоэффективную передачу данных, простоту в администрировании и добавлении новых Pod, но имеет и ряд существенных недостатков, таких как единый домен сбоя и Layer 2 флудинга, единый механизм репликации BUM трафика, потребность в одинаковой конфигурации Layer 2 и 3 сервисов и т.д.
Архитектура Multi-Fabric позволяет решить эти проблемы, обеспечивая построение независимых VXLAN-EVPN фабрик с локальной терминацией VXLAN туннелей, изоляцию доменов сбоя в рамках каждой фабрики и лучшую масштабируемость.
На данный момент существует 2 основных подхода к организации DCI в архитектуре Multi-Fabric с использованием VXLAN-EVPN.
Рисунок 5. Multi-Fabric через VLAN Hand-off
Первый называет VLAN Hand-off и обеспечивает L2 связность между фабриками. Реализуется через построение VXLAN-EVPN туннелей между Border Leaf устройствами каждой фабрики, которые в свою очередь подключаются к локальным коммутаторам Leaf для обмена Layer 2 трафиком в интересующих VLAN. За счет этого реализуется разграничение между фабриками, т.к. разрывается домен маршрутизации MP-BGP EVPN с единым data plane на основе VXLAN. Дополнительно возможна организация L3 связности между фабриками через VRF-Lite Hand-Off.
Рисунок 6. Multi-Fabric через Segment VXLAN
Второй подход называет Segment VXLAN и обеспечивает L2/L3 связность между ЦОД через VXLAN туннели непосредственно между Border Leaf каждой фабрик.
Архитектура Multi-Site также обеспечивает построение независимых VXLAN-EVPN фабрик и описана в драфте RFC «draft-sharma-bess-multi-site-evpn», предполагая дополнительную роль Border Gateway для организации межсайтового взаимодействия. Но, к сожалению, вендоры о которых пойдет дальше речь, на текущий момент не поддерживают данную архитектуру, поэтому отложим рассмотрение данной технологии до лучших времен.
На текущий момент доступны следующие вендоры для построения сетей ЦОД, на которых стоит обратить внимание. Это конечно же Huawei и H3C, которые имеют наиболее полный функционал по построению фабрик и разнообразие линеек оборудования, но на данный момент это будет параллельный импорт и без официальной технической поддержки вендора. Далее идут такие китайские вендоры как Maipu и DCN, которые официально поставляются в Россию и оказывают техническую поддержку. Также имеются отечественные производители, такие как Eltex и Q-Tech, в продуктовых линейках которых присутствуют решения для сетей ЦОД. Сосредоточим ваше внимание в этой статье на «новых» китайских и хорошо знакомых отечественных производителях.
Китайская компания Maipu Communication Technology Co., Ltd. занимается исследованиями и разработками в области оборудования для передачи данных уже 30 лет. Линейки сетевых продуктов вендора включают решения корпоративного уровня по маршрутизации, коммутации, построению распределенных сетей WAN с поддержкой 4G/5G, беспроводные решения Wi-Fi, решения для высокопроизводительной границы операторов связи и доступа в Интернет, программно-управляемые решения.
Вендор Maipu единственный из четверки имеет шассийные коммутаторы ЦОД и это серия NSS18500 с моделями на 4 и 8 слотов. Имеются карты с поддержкой 1G/10G/40G/100G портов в различной конфигурации. Некоторые из них представлены на рисунке 1.
Рисунок 7. Коммутаторы серии NSS18500
Вендор также имеет серии коммутаторов ЦОД с фиксированными портами актуальных скоростей 10G/25G/100G и поддержкой технологий для построения фабрик.
Рисунок 8. Коммутаторы серий NSS5950/NSS5930/NSS5830
Коммутаторы поддерживают протоколы OpenFlow и NETCONF, а также сбор телеметрии с использованием фреймворка gRPC. Контроллер SDN для сетей ЦОД находится в стадии разработки и появится на рынке в ближайшее время. Оборудование вендора поддерживает реализацию архитектур Multi-Pod и Multi-Fabric.
DCN (Yunke China Information Technology Limited) – китайский вендор, отделившийся от Lenovo в 1997 году. Решения компании сфокусированы на области передачи данных. Продуктовый портфель состоит из решений корпоративного уровня по маршрутизации, коммутации, построению распределенных сетей WAN, беспроводных решений Wi-Fi, сетевой безопасности, решений для промышленности. DCN является ведущим поставщиком решений IPv6 и первой китайской компанией, которая получила золотой сертификат IPv6 Ready и сертификат OpenFlow v1.3.
На текущий момент у вендора в продуктовой линейке только 2 модели коммутаторов ЦОД с фиксированными портами актуальных скоростей 10G/25G/100G и поддержкой технологий для построения фабрик. Оборудование вендора поддерживает реализацию архитектур Multi-Pod и Multi-Fabric.
Рисунок 9. Коммутаторы серии CS6580-HI
Q-Tech - российский разработчик телекоммуникационных решений. В линейку корпоративных сетевых решений вендора входят Ethernet-коммутаторы, VOIP-оборудование, решения для организации безопасного сетевого доступа, беспроводное и пассивное оборудование. В числе клиентов компании крупнейшие телекоммуникационные компании России.
Рисунок 10. Коммутаторы серии QSW6900
У вендора в продуктовой линейке 3 модели коммутаторов ЦОД с фиксированными портами актуальных скоростей 10G/25G/100G и поддержкой технологий для построения фабрик. Оборудование вендора поддерживает реализацию пока только архитектуры Multi-Pod.
Eltex - российский разработчик и производитель телекоммуникационного оборудования из Новосибирска. В ассортимент входит широкая линейка решений для комплексных проектов, в том числе Ethernet-коммутаторы доступа и агрегации, сервисные маршрутизаторы, Wi-Fi- и VoIP-оборудование и др. CTI в статусе официального авторизованного партнера осуществляет продажу, монтаж и сервисное обслуживание оборудования компании.
Рисунок 11. Коммутаторы серий MES5400, MES5410, MES5500
На текущий момент у Eltex в разработке находятся сразу 4 модели коммутаторов ЦОД с фиксированными портами актуальных скоростей 10G/25G/100G и поддержкой технологий для построения фабрик. Ожидаем доступность к заказу данных моделей уже к концу первого квартала следующего года. Также заявляется поддержка данных коммутаторов со стороны системы управления Eltex ECCM, что позволит отслеживать их работу, быстро реагировать на возникающие неполадки, конфигурировать пользовательские сети фабрики. Оборудование вендора также поддерживает реализацию пока только архитектуры Multi-Pod.
В нашей демо-лаборатории есть несколько коммутаторов Maipu модели NSS5830-56XQFP с версией MyPower OS 9.8.100.1, мы собрали стенд с архитектурой Multi-Pod, где интерконнект между Pod сделан на уровне Border Leaf и реализован с помощью L3. Подробности тестов – в статье на Хабр.
Как итог, тестирование базового функционала показало, что коммутаторы Maipu позволяют разворачивать VXLAN-EVPN фабрики с архитектурой Multi-Pod.
В следующих статьях посмотрим в деталях на архитектуру Multi-Fabric, а также на такой дополнительный функционал, как ARP Suppression, VM Mobility и т.д. в реализации Maipu.
На текущий момент не весь функционал VXLAN-EVPN западных производителей поддерживается 4-кой рассмотренных вендоров, и для кого-то это может стать причиной сделать выбор в пользу Huawei и H3C. Но вендоры не стоят на месте и готовы расширять функционал в обозримом будущем.
В дальнейших статьях по тематике ЦОД планируем более глубоко раскрыть технические аспекты реализации VXLAN-EVPN фабрик и поддерживаемых архитектур у данных вендоров.
Источник: https://habr.com/ru/company/cti/blog/707620/
Специалист свяжется с вами в ближайшее время для уточнения деталей.
Специалист свяжется с вами в ближайшее время для уточнения деталей.