NVIDIA 400G NDR-länken nere efter lagning? Kontrollera MPO-12/APC

Om enNVIDIA NDR-länken är nere efter att ha repats, läs dess fysiska och logiska tillstånd innan du byter en annan kabel. Physical Down kräver kontroller av den ändrade MPO-12/APC-vägen, kabelkartan och störda gränssnitt. Physical LinkUp med InfiniBand fortfarande i INIT kräver kontroller av subnät-hanteraren. En snygg kontakt och en länklampa svarar bara på en del av problemet.

Den här guiden täcker 400G NDR-grenar på MMA4Z00-NS dubbelports multimode OSFP, inklusive MFP7E10 punkt-till-punkt och MFP7E20 splitterarrangemang. För annan optik, börja med deras egna gränssnittsspecifikationer; vårallmän MPO länk-ned felsökningsguideförklarar den bredare urvalsprocessen.

1. NDR Link Down eller INIT? Börja med InfiniBand Status

På en Linux-värd med RDMA-diagnostikverktygen installerade, identifiera HCA och inspektera den berörda porten. Dessa är frågeexempel; ersätt mlx5_0, portnummer och platshållarnamn med versaler med de faktiska identifierarna. MFT-enhetsnamn som används senare är ett annat namnområde.

ibstat -libstat mlx5_0 1sminfo -C mlx5_0 -P 1iblinkinfo -C HEALTHY_HCA -P HEALTHY_PORT --downperfquery -C HEALTHY_HCA -P HEALTHY_PORT SWITCH_LID SWITCH_PORT

ibstat rapporterar det lokala tillståndet, fysiskt tillstånd, hastighet, Base LID och SM LID. sminfo frågar undernätshanteraren; använd den utan tillstånd eller prioritetssättare. Tygupptäckt och fjärr-perfquery kräver en nåbar hanteringsväg och lämpliga behörigheter, så använd en Active Management HCA om den berörda porten inte kan nå tyget. Verktygssyntax dokumenteras ikälla 7.

Till exempel, Tillstånd: Initialiserande, Fysiskt tillstånd: LinkUp och Base lock: 0 leder dig mot SM-upptäckt och adresstilldelning. En misslyckad sminfo-fråga kan också återspegla ett problem med nåbarhet eller behörighet. Om en aktiv hanteringsport når master-SM men denna port stannar i INIT, inspektera tygets upptäckts-, isolerings- och aktiveringsloggar. Håll optiken under utredning om det fysiska tillståndet också klaffar.

2. Leta reda på vad som ändrades under reparationen

Spåra den drabbade grenen från dess switch-MPO-uttag till den bortre änden av HCA. Lista utrustningens sladdar, adaptrar, trunks och kassetter som faktiskt finns på den vägen. En ny panel kan ändra pinning, mappning och förlust även när båda utrustningsledningarna stannade på plats. Användpanel, kapsling och kassettstyrningför att särskilja hårdvaran.

En misslyckad gren efter ett kabelbyte pekar först på den ändrade vägen. Två fel efter en händelse med delad modul kräver också moduligenkänning och lägeskontroller. Leta efter snäva böjar, instängda stövlar och påfrestningar som uppstår när lådan stängdes; felet kan endast uppstå i dess slutliga läge.

3. Matcha MPO-kabeln med NDR-topologin

Läs den optiska PID, kabeletiketten och anslutningsritningen tillsammans. För MMA4Z00-NS tjänar varje MPO-uttag en separat fyrfilig 400G-port.

NVIDIA kräver att båda uttagen med dubbla portar använder samma kabelform: punkt-till-punkt eller splitter. Termenrak kabeli denna topologi hänvisar diskussionen till punkt-till-punkt-formen; dess fiberkartläggning är fortfarande crossover Type-B. De två kablarna kan ha olika längd. Sekälla 3, källa 4ochkälla 5.

4. Kontrollera APC, Pinning och den kompletta fiberkartan

Bekräfta det parande paret vid varje korsning

Använd MPO-12/APC i detta optiska gränssnitt. En MPO-12/UPC-ledning från en äldre 100G- eller 200G-distribution är inkompatibel med den angivna APC-anslutningsytan. Kontaktens färg hjälper till att lokalisera delar, men etiketten och ritningen fastställer poleringen. Kontrollera en mellanadapter från båda sidor.

Transceivern har inriktningsstift; kabeländen som passar ihop med den behöver inriktningshål. Varje mellanliggande MPO-par behöver också en giltig stiftad/upplåst parning. Två opålade utrustningsledningar behöver ett lämpligt passningsarrangemang när de är sammanfogade. En kontakt som motstår normala sittplatser behöver undersökas innan kraft appliceras.

Spåra de aktiva positionerna från sändare till mottagare

MFP7E10-kartan ansluter 1→12, 2→11, 3→10 och 4→9, med kanalerna i motsatt riktning på positionerna 9–12. Positionerna 5–8 är märkta Ej ansluten. Det beskriver arbetskanalallokering; en oanvänd position behöver inte vara synligt tom. Läs båda kontaktytorna i ritningens angivna visningsriktning.

Typ-A är rak genom kartläggning; Typ-B vänder arrayen. En direkt MFP7E10-länk behöver crossover. För en rutt byggd enbart från konventionella A/B-mappningselement, ger ett udda antal B-omkastningar en nettoövergång. Kassetter eller omgrupperingsselar kräver sina faktiska kartor. VårMPO patch-kabel och kanal-polaritetsguideförklarar denna kontroll på kanalnivå. NVIDIA-kabelkartan är innekälla 2.

5. Inspektera och rengör MPO-gränssnitten efter återmontering

För en fysisk länk nere efter omlappning, inspektera gränssnitten som var exponerade eller störda när kabelidentiteten och kartan är korrekta. En partikel kan blockera en optisk väg eller störa kontakt med hylsan. Upprepad parning kan överföra den till den motsatta sidan, så att endast rengöra den lösa lappsnöret lämnar en del av felbanan okontrollerad.

Börja med symtomet och det drabbade körfältet

Innan du kopplar från, spara den berörda grenens modulidentitet, länktillstånd och tillgängliga avläsningar per fil för mottagningseffekt. Ett lågt eller saknat mottagningsfält hjälper till att begränsa sökningen till dess sändare, fiberbana och mottagare. Liknande symtom kan komma från kartläggning, en skadad fiber eller en optisk motor, så använd inspektion för att testa kontamineringshypotesen.

Om länken kommer upp när lådan är öppen och går sönder när den stängs, kontrollera routing och belastning samt renhet. En ostörd syskongren ger en live-jämförelse utan att öppna ytterligare ett par kontakter.

Inspektera kabeln och det försänkta uttaget

Isolera den påverkade optiska banan innan du öppnar den. Använd en videoinspektionssond och rätt MPO/APC-spets för kabeln och den infällda modulens gränssnitt. Följ lasersäkerhets- och ESD-procedurer; ett kopplingsmikroskop måste vara lämpligt för inspektionsuppgiften.

Kontrollera alla arbetsfiberpositioner och den rektangulära beslagets kontaktyta. Enbart en vy av mittfibrerna missar de yttre arbetspositionerna. Leta efter löst skräp, filmer, partiklar runt styrhål eller stift och ihållande repor eller nagg. För automatiserad analys av godkänd/underkänd, välj tillämplig anslutning och multimode-inspektionsprofil.

Matcha ett svagt telemetrifält med anslutningsritningen innan du väljer fibern att testa. Enhetens körfältsindex och beslagspositioner använder olika numreringskonventioner. Inkludera sändnings-/mottagningsriktning och visningsriktning för kontakten; en diagnostisk etikett som bana 0 identifierar inte i sig MPO position 1.

IEC 61300-3-35:2022 inkluderar hela kontaktytan vid inspektion av rektangulära hylsor för kontaminering. Visuell inspektion kompletterar dämpnings- och returförlustmätningar. Sekälla 10.

Använd en kemtvätt, återinspektera, parningssekvens

1. Inspektera båda passande ytor och identifiera den kontaminerade delen. Håll närliggande frånkopplade ändar skyddade.
2. Använd en torr optisk kontaktrengörare avsedd för det specifika MPO/APC-gränssnittet. Kontrollera att dess spets når kontaktytan och använd verktygstillverkarens slag- eller klicksekvens.
3. Inspektera igen med samma sondinställningar. Om skräp finns kvar eller rör sig, fortsätt med den godkända kemtvättmetoden; koppla inte den smutsiga änden till ett rent kärl.
4. När båda ytorna uppfyller tillämpliga inspektionskriterier, ta bort skyddet endast vid behov och passa omedelbart. Håll hylsan fri från fingrar, lösa våtservetter och omgivande ytor.
5. Återställ den påverkade grenen och jämför dess tillstånd, avläsningar per körfält och räknardelta under samma testförhållanden.

NVIDIAs instruktioner för denna modul förbjuder applicering av vätskor; dess kabelhanteringsstyrning håller också enheten borta från vätskor. Använd den produktbegränsningen när du väljer rengöringsmetod. Sekälla 1, källa 3och vårinspektions- och rengöringsguide för kontaktdon.

Använd svaret för att välja nästa test

Om inspektionen passerar och samma körfält förblir svagt, mät den passiva banan eller byt ut en känd-korrekt, inspekterad enhet. Ett problem som följer den borttagna ledningen pekar mot den ledningen eller dess parningshistorik. Ett problem som stannar kvar med porten lämnar uttaget, den lokala optiska motorn, fjärrsändaren och konfigurationen i omfattning.

Vid en patchpanel, inkludera den bakre trunkanslutningen i inspektionsomfånget när den stördes. Rengöring av den främre utrustningskabeln kan inte ta bort föroreningar på en bakre anslutningsyta. En känd korrekt direktkabel kan hjälpa till att isolera panelvägen, förutsatt att dess mappning och topologi passar båda ändpunkterna.

En repa som kvarstår efter rengöring behöver utvärderas mot tillämpliga defektkriterier och optiska resultat. Identifiera om den tillhör kabeln eller modulen innan du väljer en ersättare. Om kontaminering inte kan avlägsnas med den metod som stöds, sluta koppla det gränssnittet och hänvisa det för ytterligare rengöring eller reparation.

Efter återhämtning, kontrollera den slutliga routade positionen. Stabil LinkUp, InfiniBand Active och ett tyst felintervall ger starkare bevis än en enkel uppkopplingsövergång.

6. Länk nere eller instabil? Läs mlxlink och felräknare

Använd MFT för fysiska lager- och modulfrågor vid båda slutpunkterna. Välj den berörda logiska porten, särskilt på en dubbelportsmodul. Quantum-2 använder bur/port-adressering, till exempel -p 15/2; en konfigurerad delad port kan kräva ett annat suffix. Dessa kommandon frågar status; alternativstödet beror på den installerade MFT, firmware och plattform.Källa 6dokumenterar frågorna.

mlxlink --helpmlxlink -d MFT_DEVICE -p PORTmlxlink -d MFT_DEVICE -p PORT --show_modulemlxlink -d MFT_DEVICE -p PORT --show_counters

Följande reducerade display är ensyntetisk läsning exempelför en 400G-gren, inte en fältfångst. Utdatanamn och formatering varierar beroende på version.

Driftsinformationstillstånd : ActivePhysical state : LinkUp Speed ​​: IB-NDRWidth : 4xFysical Counters and BER InfoTime Since Last Clear [Min] : 15.0Effective Physical Errors : 0Raw Physical BER : 1E-7

Active, LinkUp och IB-NDR/4x identifierar den förväntade 400G-grenen i detta exempel. En rå BER som inte är noll kan samexistera med FEC-korrigerad drift. Dess värde behöver plattformens BER-kriterier och trend; exemplets 1E-7 är inte en universell acceptansgräns.

Som en första skärm, ta två ögonblicksbilder med 60 sekunders mellanrum efter att porten har stabiliserats, med representativ trafik där tillgänglig. Använd UFM eller stödd övervakning för längre observation; NVIDIA beskriver mlxlink som ett diagnostiskt verktyg snarare än en kontinuerlig pollingtjänst. En 60-sekunders skärm upprättar inte en långsiktig BER-garanti.

Använd perfquery två gånger för IB port-counter deltas. Dess grundläggande och utökade räknaruppsättningar skiljer sig åt; -x lägger inte bara till varje felräknare. Jämställ inte en grundläggande SymbolErrorCounter med UFM:s SymbolErrorsExt utan att kontrollera räknarens definition. Om fysisk LinkUp förblir stabil men INIT kvarstår, gå tillbaka till SM-kontrollerna i avsnitt 1.

7. Numeriska referenser: Förlust, Return Loss, BER och Skew

Applicera varje nummer på komponenten eller testet den beskriver. En anslutningsspecifikation, ett modulöverensstämmelsetest och ett tröskelvärde för liveserviceräknare svarar på olika frågor.

Beräkna förlusten av installerad väg separat

För varje fungerande fiber, summera de specificerade förlusterna av de sammankopplade kopplingarna, fibern och eventuella skarvar, och jämför sedan den totala summan med den stödda kanaltillåten. NVIDIA:s 50 m applikation förutsätter två patchpaneler och fyra optiska kontaktpunkter. Ytterligare anslutningar kräver en ny budget.

Till exempel, om ett projekt tilldelar 0,35 dB till var och en av fyra korsningar och 0,18 dB till fibern, är dess beräknade vägförlust4 × 0.35 + 0.18=1.58 dBföre eventuell reserverad marginal. Dessa är angivna planeringsingångar, inte mätningar eller en NVIDIA-kanalgräns. Den återstående marginalen är den validerade kanaltillåten minus 1,58 dB. Förvandla inte de informativa slutpunkterna för lansering/mottagning av medeleffekt till en garanterad förlustbudget.

Mät den frånkopplade vägen med lämplig multimod MPO/APC-utrustning vid 850 nm, med en dokumenterad referensuppställning och definierade slutpunkter. Ett fabrikskabelresultat utesluter anslutningar som läggs till senare. Glory'sräckvidd för datacenterkablarbeskriver de passiva komponenter för vilka monteringstestrapporter kan begäras.

Använd ett tidsfönster för NDR-felvalidering

NVIDIAs UFM PDR-deterministiska procedur ger ett operativt NDR-exempel: SymbolErrorsExt deltas jämförs med2,88 över 12 minuteroch3 över 125 minutervid 400 Gb/s, motsvarande dess 10⁻¹⁴och 10⁻¹⁵ränteberäkningar. Jämförelserna är strikt större än, så heltalsdelta på 3 respektive 4 korsar dessa gränser. Denna procedur använder sina egna telemetri- och samplingsregler; sekälla 8. Tillämpa den utplacerade UFM-versionens procedur istället för att ersätta mlxlink Raw Physical BER i dessa formler.

Separat utbredningsfördröjning på 4,5 ns/m från sned körfält

NVIDIA använder ungefär4,5 ns/mför fiberutbredningsfördröjning: 50 m bidrar med ca 225 ns åt ett håll. Körfältsskev är skillnaden i ankomsttid inom en bunden körfältsgrupp, max(t_i) − min(t_i). En oöverensstämmelse med 1 m körfältslängd skulle bidra med ungefär 4,5 ns differentiell fördröjning; det är en beräkning, inte en tillåten snedställningsgräns.

Den offentliga MFP7E10-tabellen som citeras här publicerar inte ett acceptanstak för sned körfält. Skaffa det värdet för den installerade optiken/kabeln om du misstänker att körfältet är inriktat. De två oberoende 400G-grenarna kan ha olika längd; deras skillnad är inte automatiskt skevhet inom porten. Utbredningsreferensen ärkälla 9.

8. Ange en ersättnings MPO-12/APC-enhet

Begär exakt kabelform, fiberkvalitet och längd, polering och pinning av APC i båda ändarna, visningsorientering för kontakten, arbetskanalkarta, förlustspecifikation och testrapport. Inkludera både optiska PID och hela rutten. En ersättning för en direkt 400G-gren måste bevara dess korsnings- och slutpunktsarrangemang.

Vanliga frågor

NDR-länken nere efter omlappning: vad ska jag kontrollera först?

Läs de fysiska och logiska porttillstånden. Physical Down leder dig till den ändrade kabelbanan, gränssnitten och renheten. Physical LinkUp med INIT leder dig till subnet-manager upptäckt och aktivering. Använd ibstat och beslutstabellen i avsnitt 1 innan du byter en annan del.

Kan jag använda MPO-12/UPC istället för MPO-12/APC?

Det angivna NVIDIA-gränssnittet kräver APC. En UPC-ledning är inkompatibel med den passande ytan, även om höljet verkar passa. Verifiera poleringen från delspecifikationen och kontrollera båda sidor av eventuell mellankoppling.

Varför finns InfiniBand i INIT när den fysiska länken är uppe?

Den fysiska vägen har tränats, men logisk tygaktivering är ofullständig. Kontrollera Base LID och SM LID, fråga undernätshanteraren från en nåbar hanteringsport och granska upptäckts- eller isoleringsloggar. Stabil fysisk LinkUp med INIT enbart identifierar inte en smutsig MPO-kontakt.

Kan de två uttagen använda en punkt-till-punkt-kabel och en splitter tillsammans?

NVIDIA kräver samma kabelform på båda uttagen med dubbla portar: båda punkt-till-punkt eller båda splitter. MFP7E10 och MFP7E20 tjänar olika slutpunktsarrangemang. De två grenarna kan ha olika längd inom sin specificerade räckvidd.

Ska jag rengöra patchkabeln eller sändarmottagarens uttag?

Inspektera de båda passande ytorna på den störda anslutningen. Rengör kontaminering med ett verktyg som är anpassat till MPO/APC-gränssnittet, inspektera sedan igen innan parning. Följ NVIDIAs begränsning för vätskefri för denna modul och lämna en frisk, ostörd syskongren ansluten.

Betyder en rå BER som inte är noll att länken har misslyckats?

Råfel kan korrigeras av FEC. Jämför trenden, effektiva fel, länkövergångar och förväntad hastighet under samma förhållanden. Testvillkoret för 2,4 × 10−4 stressade mottagare är inte en universell fältacceptansgräns för Raw Physical BER.

Är 4,5 ns/m den tillåtna snedställningen för MPO-filen?

Det är ett ungefärligt utbredningsfördröjningsvärde. Skew är skillnaden i ankomsttid mellan körfält inom en bunden grupp. Använd den installerade produktens kvalifikationsgräns; Behandla inte utbredningsfördröjning per meter som en skev pass/underkänd tröskel.

Kan ett passande resultat av insättningsförlust bevisa att länken fungerar?

Den fastställer förlusten av den testade vägen under dess angivna metod och gräns. Den upprättar inte den nödvändiga fiberkartan, APC-kompatibiliteten, portkonfigurationen eller stabil tjänst. Jämför testslutpunkterna med den fullständiga installerade rutten.

Betyder NVIDIAs "raka kabel" typ A-polaritet?

I punkt-till-punkt versus splitter-beskrivningen namnger raka kabelformen. MFP7E10 använder korsningsmappning av typ B. Ange fysisk form och fiberkartan från ände till ände som separata fält.

Vad händer om länken förblir nere efter rengöring och kartläggningskontroller?

Byt ut en känd-korrekt, inspekterad montering eller mät den passiva banan. Om felet kvarstår med porten, undersök den lokala optiska motorn, fjärroptiken och värdkonfigurationen. En substitution med delad modul påverkar båda grenarna och behöver ett lämpligt avbrott.

Tekniska källor

1. NVIDIA MMA4Z00-NS specifikationer: räckvidd, optisk effekt, mottagarens testtillstånd och hantering.
2. NVIDIA MFP7E10 specifikationer: IL/RL-värden och fiberpositionskarta.
3. NVIDIA MFP7E10 applikationsvägledning: APC, pinning, parad kabelform och panelantaganden.
4. NVIDIA MFP7E20 beställningsinformation: splitterform och ändpunkter.
5. Översikt över NVIDIA-anslutning med dubbla portar: punkt-till-punkt och splitterdrift.
6. NVIDIA MFT v4.35.0 mlxlink-verktyg: modul- och fysiska diskfrågor.
7. Linux RDMA-projektets diagnostiska manualer: ibstat, sminfo, iblinkinfo och perfquery-syntax.
8. NVIDIA UFM PDR deterministisk plugin: NDR-räknardefinitioner och tidsfönsterprocedur.
9. NVIDIA 100G-PAM4 transceiver och fiberdetaljer: 4,5 ns/m utbredningsreferens.
10. IEC 61300-3-35:2022 officiell sammanfattning: inspektion av kontaktområde och omfattning av optisk prestanda.