Een redundant MX Firewall
Hoe verbind ik een Warm Spare MX firewall?
Warm Spare Mode is een optie die standaard geleverd wordt op alle Meraki MX modellen. Het is een optie waarmee u eenvoudig een redundancy protocol kunt opstellen. U zet tweemaal hetzelfde apparaat in het netwerk. Wanneer uw primary device uitvalt neemt uw secondary device alle taken over. Door zo’n redundante opstelling kunt u kwetsbare plekken in uw bedrijfsnetwerk wat extra ondersteuning bieden. Valt één gateway uit, dan neemt de stand-by gateway het naadloos over, zodat u zonder onderbreking verder kunt werken.
Redundancy protocollen zijn niet nieuw. Over de jaren heen zijn er meerdere manieren ontwikkeld om een Gateway Redundancy Protocol op te stellen. Voorbeelden zijn HSRP, VRRP en GLBP. Toch is de Warm Spare Mode van Cisco Meraki MX anders dan alle andere HA oplossingen. In tegenstelling tot andere protocollen, schakelt u Warm Spare Mode in met enkele klikken. Bij een traditioneel Redundancy Protocol gaat dat niet zo gemakkelijk. U dient veel handmatig te configureren waardoor u ruimte laat voor menselijke fouten. Met Warm Spare Mode is het een kwestie van een kabeltje prikken en op ‘inschakelen’ klikken.
Warm Spare in NAT Mode
De Cisco Meraki MX biedt u twee mogelijke redundant opstellingen – NAT Mode en VPN Concentrator Mode. De meest gebruikte implementatie is NAT Mode. Bij deze opstelling is het internet of zijn MPLS uplinks verbonden met WAN1/2 poorten en is het interne netwerk verbonden met de LAN poorten. In dit artikel willen we wat dieper in gaan op het configureren van een Warm Spare in NAT Mode.
NAT Mode WAN Connectivity
WAN uplinks dienen gespiegeld te worden in beide security appliances op dezelfde wijze. Gebruikt u een single ISP dan dient u op beide MX firewalls de WAN1 direct te verbinden op de ISP. Gebruikt u twee verschillende ISP uplinks dan raden wij aan om beide WAN interfaces te gebruiken op beide apparaten. Hierdoor wordt een naadloze failover en uplink-pariteit tussen verschillende apparaten mogelijk.
De onderstaande diagrammen illusteren beide hoe wij de WAN uplink port mirror opstelling adviseren. Het bovenste schema laat een opstelling zien met één provider en de onderste wanneer u meerdere providers gebruikt.
Beide MX appliances hebben los van elkaar een WAN uplink IP adres nodig voor zelfstandige cloud access en uplink monitoring. Het gebruik van een /29 of lager WAN IP mask staat drie adressen op een gedeeld segment toe voor iedere provider. (ISP gateway, MX1-WAN1, MX2-WAN1)
Als er twee fysieke Ethernet handoffs beschikbaar zijn gesteld door uw provider kunt u deze beide direct verbinden met de WAN interface van de MX. Op iedere MX één. Is er maar een fysieke Ethernet handoff beschikbaar, dan zijn er twee uplink cabling opties. Beide opties zullen we in dit artikel bespreken. Beide oplossingen maken gebruik van switch poorten om de MX WAN te bridgen en de provider handoff op te delen in een geïsoleerd L2 segment. Bij één provider heeft u drie bridged ports nodig en twee provider zes. Het grootste verschil tussen de oplossingen is of er dedicated WAN breakout switching is gebruikt of dat er securing ports op de bestaande downstream is gewenst.
Optie 1: WAN Breakout Switch
Een makkelijke manier om een WAN uplink te splitten tussen een PE- en CPE-apparaat is via een dedicated breakout switch. Een MS220-8 is hier uiterst geschikt voor. Deze switch is eenvoudig in te zetten, maar houdt er wel rekening mee dat dit extra apparaat zorgt voor een nieuw point of failure in het redundant WAN Path.
Optie 2: Gebruik 3/6 Downstream Switch Ports
Een alternatieve opties is om non-routed WAN-transit VLAN’s te configureren in de downstream LAN switching. Dit doet in feite hetzelfde als optie 1. Op deze manier creëert u geïsoleerde poorten op de local switching door de poorten met elkaar te verbinden. U kunt met een tweetal switches met slechts drie of zes poorten een volledig redundante oplossing opzetten
Het onderstaande schema toont de connectiviteit van de dubbele provider voor zowel enkele als redundante switch-opties. Dit is een iets ingewikkelder netwerk-ontwerp, maar het biedt u het hoogste niveau van veerkracht. Als slechts één provider wordt gebruikt, is één VLAN vereist. U heeft dan maar drie poorten nodig.
Na deze uitleg snapt u beter welke optie u heeft bij het bekabelen van uw WAN uplink. Laten we nu iets dieper ingaan op de MX LAN verbinding en hoe het Warm Spare VRRP mechaniek in elkaar steekt.
Warm Spare Details
Warm Spare Mode op de MX gebruikt het VRRP, kort voor Virtual Router Redundancy Protocol, voor het delen van uplink-statusinformatie over gezondheid en connectiviteit tussen apparaten. VRRP heartbeats worden elke seconde over de LAN-interfaces op elke VLAN verzonden. Als er na drie seconden geen VRRP keepalives door de secundaire MX op een van de VLANs worden gehoord, verloopt de dead-timer. Dit activeert een failover-event.
Op het moment dat er door de secundaire MX heartbeats van de primaire MX worden waargenomen, zal deze onmiddellijk een failback-event activeren. De basissituatie zal dan weer van kracht zijn.
Dit is het basismechanisme van Warm Space VRRP op de MX LAN interfaces. We kijken verder naar de opties die u heeft voor de bekabeling.
Warm Spare VRRP Keepalive Connectivity: Rechtstreekse verbinding
In een Warm Spare opstelling kunt u twee MX security appliances op twee verschillende methoden met elkaar verbinden:
- Directe verbinding via een Dedicated LAN Port op beide MX’en.
- Indirecte verbinding via LAN switching voor MX-to-MX-connectie.
De eerste methode is over het algemeen de meest gebruikte en aanbevolen methode.
In deze aanpak ontstaat er een dedicated heartbeat VLAN interface voor rechtstreekse communicatie tussen beide MX’en. Deze VLAN wordt vervolgens uit de downstream switchpoorten gesnoeid om een L2-lus te voorkomen. Zodra de configuratie is geïnstalleerd, zijn de apparaten met elkaar verbonden via de LAN-poorten die speciaal zijn aangewezen voor VRRP-heartbeat-communicatie (blauwe lijn hierboven).
Voordelen van een rechtstreeks aangesloten Warm Spare:
- Minder False-Positive failovers. Aangezien de apparaten rechtstreeks zijn aangesloten, zou een stroomafwaartse switchfout niet per ongeluk een failover-gebeurtenis starten.
- Snellere Failover/Failback. Elke MX is één hop van zijn peer verwijderd. Wanneer er iets mis gaat zal op deze manier de failover/failback het snelste worden uitgevoerd.
Rechtstreeks verbonden MX Warm Spare Configuratie
Voordat u begint met het configureren van een Warm Spare, dient u het volgende vast te stellen:
- Het primaire en secundaire MX-apparaat zijn van het hetzelfde model. Het gebruik van verschillende modellen wordt niet ondersteund.
- Beide MX Firewalls zijn ingeschakeld en succesvol verbonden in het Cisco Meraki Dashboard. Groen betekent Goed.
- Beide MX Firewalls draaien dezelfde firmware.
- De secundaire MX is niet verbonden in een bestaand netwerk. Dit kunt u checken onder Organization > Inventory. Controleer of S/N een “-” laat zien in de Network kolom. Als de secundaire MX al verbonden is aan een netwerk moet u deze verwijderen.
- De primaire MX Firewall is verbonden aan een bestaand netwerk. Zo niet, maak een netwerk aan, en voeg de primaire MX toe. Dit netwerk gaat u gebruiken om de Warm Spare opstelling te maken.
Stap 1: Configureer de Warm Spare Heartbeat VLAN
- Dashboard > Selecteer het primaire MX netwerk > Security Appliance > Addressing & VLANs page.
- Onder de VLAN’s sectie, klik Add a Local VLAN.
- Geef een naam, subnet (kan alles zijn, zolang het maar geen conflict oplevert met een andere local route – In het voorbeeld gebruiken we 1.1.1.0/30), MX IP, VLAN ID en selecteer Update. Vergeet niet om op Opslaan te klikken.
Stap 2: Ken de Switch en Warm Spare LAN Poorten toe.
- Security Appliance > Addressing and VLANs page, navigeer naar de Per-port VLAN configuration section.
- Selecteer de MX LAN poort die u gaat gebruiken voor de downstream switch connectiviteit voor beide MX’en (LAN3 in dit voorbeeld). Als het een trunk is, verwijder dan de nieuwe heartbeat VLAN van de Allowed list. De MX doet niet mee in STP, dus snoei de heartbeat VLAN van de met de switch verbonden trunk poorten. Dit zorgt er voor dat er geen onbedoelde BPDU flooding ontstaat nadat de verbinding is opgezet.
- Selecteer de MX LAN poort die u zal gebruiken op beide apparaten om ze te bekabelen (LAN 4 in het voorbeeld). Verander het type naar Access en de VLAN naar de nieuwe heartbeat VLAN (1111 in dit voorbeeld).
- Vergeet niet om op Opslaan te klikken.
Stap 3: Bekabel de secundaire MX
- Voordat u begint met het pairen van de secundaire MX appliance moet u er zeker van zijn dat de WAN uplink werkt en dat de status LED laat zien dat deze is verbonden met het Dashboard. Hiervoor kunt u de local status page gebruiken.
- Bekabel nu de MX appliances rechtstreeks op elkaar op de heartbeat LAN port, welke we in stap 1 hebben voorzien.
- Verbind de secundaire MX nog niet met de LAN switch infrastructuur. We willen eerst dat de secundaire MX haar configuratie ophaalt (inclusief de VLANs) voordat we hem verbinden aan de downstream infrastructuur.
Stap 4: Configureer de secundaire Warm Spare MX
- Selecter de Configure Warm Spare knop op de Appliance Status page.
- Klik op Enable en selecteer de secundaire MX in de Device Serial dropdown. Ziet u de secundaire MX niet in de lijst, controleer dan of deze in de Organization inventory zit en of deze niet al is verbonden aan een ander bestaand netwerk.
- Kies de MX uplink IP optie naar uw voorkeur en klik op Update. Vergeet niet om uw wijzigingen op te slaan.
LET OP: Nadat u een warm spare configuratie heeft opgeslagen duurt het 1 tot 2 minuten voordat het sync proces tussen beide apparaten is voltooid. Het kan u opvallen dat de rollen en status kunnen wisselen tussen beide apparaten in het dashboard tijdens dit sync proces (zie voorbeeld hieronder). Als het proces is voltooid, zou u de primaire MX moeten zien als Current Master en de Secundaire als Passive, ready status.
Warm Spare VRRP Keepalive Connectivity: Switch Interconnect
Het is ook mogelijk om een Warm Spare MX appliance te verbinden via een bestaande LAN switching voor MX-to-MX communicatie.
In die opstelling is er geen dedicated VRRP VLAN of MX-to-MX bekabeling nodig. De VRRP heartbeats worden verzonden als broadcast messages via de LAN switches en bestaande VLAN’s.
Dit is een ondersteunde Warm Spare opstelling voor NAT-mode MX firewalls. Echter raden wij aan om te werken met een rechtstreekse verbinding als dit mogelijk is. Wij vinden dat de voordelen niet opwegen tegen de nadelen:
- Nadeel: Wegvallen van LAN kabels of downstream switch ASIC veroorzaakt failover. Elk probleem met de downstream verbinding zal een failover-event veroorzaken.
- Nadeel: Minder controle. Omdat downstream processen zoals Spanning Tree topology errors, broadcast storms of een fout in de switch configuratie de verbinding tussen de twee MX firewalls kan verbreken, kunnen failover-event worden veroorzaakt door verstoringen buiten de MX hardware. Het kost dan meer tijd om te achterhalen waar het misgaat.
- Voordeel: Eenvoudigere configuratie. Deze optie is makkelijk te configureren. De switches worden namelijk gebruikt voor heartbeat-messages waardoor er geen extra bekabeling of Dedicated VLAN’s nodig zijn. Dat maakt het configureren makkelijker, maar operationeel juist ingewikkelder. Omdat het verkeer tussen de MX’en verloopt over meerdere apparaten is het diagnostiseren van een probleem complexer.
Switch-Interconnect MX Warm Spare Configuratie
Om op deze wijze een Warm Spare te koppelen, dient u er zeker van te zijn dat de WAN en de LAN poorten op beide apparaten zijn verbonden. Volg vervolgens de vierde stap uit van de rechtstreekse verbinding.
Warm Spare voor MX Concentrator Mode
Nu we gedetailleerd gekeken hebben naar de NAT-mode HA opstellingen, gaan we kijken naar het Concentrator Mode MX Warm Spare Design.
VPN Concentrator Mode is specifiek ontwikkeld voor datacenters waarbij de MX appliance is opgesteld achter de bestaande DC-firewall infrastructuur. Dit leidt tot enkele unieke voordelen voor het datacenter, zoals de mogelijkheid om WAN-transportproviders (openbaar internet en private MPLS) te ontkoppelen van fysieke interfaces op de MX en in plaats daarvan het apparaat te gebruiken als high-speed WAN aggregation concentrator.
LAN/WAN connectiviteit
In een Concentrator Mode opstelling is slechts één interface verbonden, namelijk WAN1. WAN1 wordt gebruikt om zowel inbound als outbound flows van de Remote MX peers te termineren.
Met 1-arm connectivity wordt bedoeld dat de MX maar één IP-adres krijgt toegewezen. De diagram hieronder laat de Concentrator Mode opstelling zien zoals bedoeld in een HA configuratie.
Concentrator MX Warm Spare Configuratie
Kan ik een Virtual IP gebruiken?
Wanneer u Warm Spare uplink IP’s configureert, heeft u als admin de optie om bestaande WAN IP’s voor iedere uplink te gebruiken of om een nieuwe virtual IP (vIP) aan te maken die u deelt voor beide units.
Door een vIP te configureren zal VPN verkeer eerder via vIP verlopen dan het fysieke IP adres of de individuele WAN IP’s. In het geval van een MX defect, hoeft de IPSec SA niet opnieuw opgezet te worden. Dat zorgt voor een snelle VPN Convergence na een local of remote peer drop.
Een vIP adres heeft twee vereisten:
- Het moet in hetzelfde subnet zitten als de WAN uplinks
- Het moet uniek zijn. Het kan niet hetzelfde IP-adres zijn als die van de primaire en/of secundaire MX.
Deze vIP adres vereisten betekenen dat er een totaal van vier IP adressen nodig zijn per uplink subnet:
- Primaire MX WAN interface IP-adres
- Secundaire MX WAN interface IP-adres
- Shared vIP interface IP-adres
- Gateway IP-adres
Wij raden aan om een vIP te gebruiken als dat mogelijk is. Het instellen van het extra IP-adres is de moeite zeker waard.
Troubleshooting Warm Spare Sync Issues
Problemen gerelateerd aan Warm Spare Synching zijn meestal afkomstig uit één of twee problemen. Of één van de appliance WAN uplinks is niet succesvol geregisseerd in het Dashboard, of de LAN-side VRRP heartbeats worden niet bi-directioneel ontvangen op beide apparaten.
Symptomen zijn “flipperende” master roles, active/passive master roles, of één of meerdere appliances die niet worden gedetecteerd in het Dashboard. Dit leidt tot intermittent traffic drop behavior of een slechte throughput performance van LAN clients.
- Verifieer dat elke MX appliance succesvol is verbonden met het Dashboard. Een wit lampje is een goede indicatie op MX64/65 modellen. Het verbinden met de Local Status page vraagt wat meer werk, maar het is uiteindelijk de beste manier om 100% zeker te zijn van een succesvolle verbinding tussen de MX en het Dashboard.
- Bekijk de MX-to-MX heartbeat connectiviteit. Als de MX’en rechtstreeks met de kabel zijn verbonden, verifieer dan of de dedicated heartbeat VLAN wordt gebruikt, de LAN interface mode op Access staat en dat de heartbeat VLAN is verwijderd van alle andere MX LAN interfaces, inclusief alle trunk poorten.
- Gebruiken de MX’en downstream LAN switching om te communiceren? Verwijder dan alle directe MX-to-MX kabels. Stel ook vast of de switch uplinks naar de MX niet in een Error condition of Spanning Tree Blocking/discarding status staan. Dit is de meest voorkomende oorzaak voor warm spare sync issues.
- Als alle bovenstaande stappen het probleem niet oplossen en u nog steeds een dual-master condition ziet op de Appliance status page, voer dan een packet capture uit op de secundaire MX LAN interface.
Als u de appliance VRRP packets ziet verzenden, maar deze niet ziet aankomen, dan bevindt het probleem zich in het layer 2 switch path tussen de appliances.
De onderstaande Wireshark output laat gezond Warm Spare LAN behavior zien. Packet captures om het behavior van een Warm Spare LAN te controleren dienen altijd genomen te worden vanaf de secundaire appliance LAN interface. Let op bi-directioneel UDP packets. De source en destination packets zijn afkomstig van de heartbeat VLAN IP (1.1.1.1), welke worden gedeeld door beide appliances. Misschien nog wel belangrijker, het source MAC adres laat zien dat beide appliances meedoen in de uitwisseling.
Een andere indicatie van een werkend VRRP proces is de VRRP Priority, te zien in een packet capture van de secundaire appliance LAN interface. Het Source MAC adres zal hetzelfde zijn als de virtual VRRP group en de priority zou 255 moeten zijn. Een priority waarde van 255 is die van een master role en is een indicatie dat de Hellos van de primaire appliance worden waargenomen door de secundaire MX.
Als de MX appliance niet kan communiceren via haar LAN ports, zal er een dual-active condition ontstaan. De packet capture hieronder is genomen van de secundaire appliance en laat ongewoon behavior zien.
Valt het u op dat de VRRP priority 235 is? Dit is een indicatie dat de secundaire appliance niet in staat is om de packets van de primaire appliance te zien, welke gemarkeerd zijn als 255. Ziet u ook dat de UDP Exhange mist? Deze hebben we wel waargenomen in het werkende model hierboven. Dit is een indicatie dat of de apparaten niet in een shared layer 2 broadcast segment zitten, of dat filtering downstream ontstaat, of dat er een error condition is (zoals wicht port STP blocking).