Werkinstructies :: Proces Documentalist

[P-01] Registratie Incident

Doel: Omzetten netwerkalarm naar incident ticket.
Het doel van deze stap is om een binnenkomend alarm direct te formaliseren tot een incident. De NOC Engineer beoordeelt de telemetriegegevens uit Splunk OSS en opent de initiële registratie in ServiceNow. Deze stap moet strikt binnen de 15-minutennorm (REG-01) worden afgerond.

Norm: Maximaal 15m (Prioriteit: Hoog)

Systeem & Input:

Systeem/Tools: ServiceNow, Splunk OSS, Network Monitoring System
Input: Network Alarm
Normering: Triage Verplichting

Stappenplan:

Open het monitoringdashboard in Splunk OSS (TOOL-02) en analyseer het binnengekomen netwerkalarm (INF-01) op kritieke drempelwaarden van het netwerkelement (OBJ-01).
Controleer of er al een gecorreleerd ticket bestaat voor deze specifieke netwerkflap om duplicatie te voorkomen.
Open ServiceNow (TOOL-01) en maak een nieuw incidentticket (INF-02) aan.
Kopieer de exacte telemetriegegevens, hostnames en foutcodes uit Splunk OSS naar het omschrijvingsveld van het ticket.
Valideer de registratietijd tegen de 15-minutennorm (REG-01) en zet de status op 'Geregistreerd'.

Volledige RACI Matrix:

Uitvoering (R): NOC Engineer (NOC 1e lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Bij uitval van de registratietool (TOOL-01) stagneert de initiële instroom. NOC Engineers moeten overschakelen op handmatige registratie in een nood-logboek (Excel/papier). Risico op schending van de 15-minutennorm (REG-01) stijgt kritiek; alarmen uit de monitoring (TOOL-06) kunnen niet direct worden omgezet in formele tickets, wat leidt tot blinde vlekken in de keten.

[P-02] Triage & Escalatie

Doel: Classificeren en toewijzen van het incident ticket.
De NOC Engineer past de formele prioriteitenmatrix toe in ServiceNow. Op basis van de klantinrichting en topologische data uit Netcracker wordt de definitieve impact bepaald, waarna het ticket direct wordt doorgezet naar de 2e-lijns netwerkspecialisten.

Norm: Maximaal 10m (Prioriteit: Hoog)

Systeem & Input:

Systeem/Tools: ServiceNow, Netcracker
Input: Incident Ticket
Normering: Triage Verplichting

Stappenplan:

Open het nieuw aangemaakte incidentticket (INF-02) in ServiceNow (TOOL-01).
Vraag de actuele netwerktopologie en klantinrichting op in Netcracker (TOOL-03) op basis van de getroffen netwerkcomponenten.
Bepaal de impact (aantal getroffen klanten/diensten) en de urgentie middels de vastgestelde prioriteitenmatrix (REG-01).
Ken de definitieve prioriteitsklasse toe in ServiceNow en genereer de verrijkte incidentdata (INF-03).
Wijs het ticket toe aan de specialistische 2e-lijns wachtrij (ACT-03) en stel indien nodig de Incident Manager (ACT-02) op de hoogte.

Volledige RACI Matrix:

Uitvoering (R): NOC Engineer (NOC 1e lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)
Consult (C): Network Specialis (NOC 2e lijn)

Continuïteit (Bij Tool-uitval):

Als de triage-hulpmiddelen of het ticketsysteem nu niet beschikbaar zijn, kunnen incidenten niet correct gecategoriseerd of automatisch gerouteerd worden naar de specialistische wachtrijen. Escalaties naar de 3e lijn of externe vendors moeten handmatig (telefonisch of via mail) worden afgehandeld. Dit veroorzaakt direct een bottleneck in de doorlooptijd (MTTR) en verhoogt de kans op foutieve toewijzingen.

[P-03] Analyse Incident (2e lijn)

Doel: Isoleren van de netwerkstoring via diepgaande diagnose.
De Network Specialist neemt het toegewezen ticket in behandeling en start de technische analyse. Met behulp van Splunk OSS worden historische syslog- en eventdata geanalyseerd, en via PuTTY SSH wordt direct console-toegang gezocht tot de netwerkelementen.

Norm: Maximaal 30m (Prioriteit: Hoog)

Systeem & Input:

Systeem/Tools: ServiceNow, Splunk OSS, PuTTY SSH
Input: Assigned Ticket
Normering: SLA Herstelkader, ISO 2700 CLI-Logging, Autorisatie Core Patching

Stappenplan:

Accepteer het ticket (INF-03) in ServiceNow (TOOL-01) om de SLA-analysetimer te starten.
Open Splunk OSS (TOOL-02) en filter de historische syslog- en eventlogging van de afgelopen 24 uur rondom het specifieke netwerkelement.
Start een PuTTY SSH-sessie (TOOL-04) naar het getroffen netwerkcomponent om live-interfacetestings en foutdiagnoses uit te voeren.
Identificeer de exacte oorzaak (bijv. corrupte configuratie, hardwarefout of omgevingsfactor) en leg de diagnose-output vast.
Documenteer de gedetailleerde technische analyse (INF-04) in het ServiceNow-werklog.

Volledige RACI Matrix:

Uitvoering (R): Network Specialis (NOC 2e lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)
Informeren (I): NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Uitval van analyse- en telemetrietools (zoals logbestanden of dashboards) betekent dat engineers geen diepgaande diagnostiek kunnen uitvoeren op netwerkflaps of infrastructuurfouten. De 2e lijn tast in het duister, waardoor de hersteltijd exponentieel toeneemt. Het proces degradeert van datagestuurde analyse naar 'gissen' op basis van historische trends.

[P-04] Oplossen incident (2e lijn)

Doel: Toepassen van een configuratiewijziging of workaround.
De Network Specialist voert via PuTTY SSH een gerichte herstelactie of omleiding uit op de netwerkapparatuur om de dienstverlening snel te herstellen. Dit gebeurt onder directe tijdsdruk van de totale SLA-hersteltijd van 4 uur (REG-02).

Norm: Maximaal 1h (Prioriteit: Kritiek)

Systeem & Input:

Systeem/Tools: ServiceNow, PuTTY SSH
Input: Ticket Diagnosed
Normering: SLA Herstelkader

Stappenplan:

Evalueer op basis van de technische analyse (INF-04) of de storing met een bekende workaround of configuratiewijziging opgelost kan worden.
Indien een workaround beschikbaar is, open de actieve PuTTY SSH-sessie (TOOL-04) naar het netwerkelement.
Voer de vereiste CLI-commando's of herrouteringen uit om de primaire dienstverlening te herstellen binnen de 4-uur SLA-norm (REG-02).
Voer een verificatietest (ping/traceroute) uit om te controleren of het dataverkeer weer correct hersteld is.
Zet de status van het ticket in ServiceNow (TOOL-01) op 'Opgelost' en lever de herstelinformatie (INF-05) op.

Volledige RACI Matrix:

Uitvoering (R): Network Specialis (NOC 2e lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Wanneer de Hulpmiddelen voor configuratiebeheer, remote access of back-up herstel onbereikbaar zijn, kan de feitelijke fix niet veilig worden uitgerold naar de netwerkelementen. Zelfs als de oplossing bekend is, blokkeert het gebrek aan tooling de uitvoering. Dit dwingt tot noodprocedures (zoals fysieke 'on-site' interventions of handmatige overrides via de console), wat de downtime van de dienstverlening drastisch verlengt.

[P-05] Diepgaande analyse (3e lijn)

Doel: Onderzoeken van complexe infrastructurele of routeringsfouten.
Indien de 2e lijn de storing niet tijdig kan verhelpen, escaleert het ticket naar de 3e lijn. De Senior Network Specialist voert een geavanceerde probleemdiagnose uit op het niveau van de Core Backbone. Hierbij is compliance aan de ISO-richtlijnen voor CLI-sessielogging (REG-03) strikt verplicht.

Norm: Maximaal 1h (Prioriteit: Hoog)

Systeem & Input:

Systeem/Tools: ServiceNow, Splunk OSS, PuTTY SSH
Input: Ticket Diagnosed
Normering: ISO 2700 CLI-Logging

Stappenplan:

Neem het geëscaleerde ticket met de technische analyse (INF-04) in behandeling in ServiceNow (TOOL-01).
Activeer de verplichte CLI-sessielogging conform ISO-richtlijnen (REG-03) alvorens verbinding te maken.
Open een beveiligde PuTTY SSH-verbinding (TOOL-04) naar het Core Backbone-element (OBJ-01).
Voer geavanceerde netwerk- en pakketanalyses uit (via Splunk OSS, TOOL-02) om verborgen routeringsfouten, micro-loops of firmware-anomalieën te isoleren.
Leg de bevindingen en de geclassificeerde root-cause vast als core-backbone probleemanalyse (INF-06) in het systeem.

Volledige RACI Matrix:

Uitvoering (R): Senior Network Specialist (3e Lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)
Consult (C): Network Specialis (NOC 2e lijn)

Continuïteit (Bij Tool-uitval):

Als de specialistische vendor- portals, core-netwerktelemetrie of diepgaande loggingtools uitvallen, kan de 3e lijn geen root-cause analyse uitvoeren op firmware- of hardwareniveau. Complexe, intermitterende netwerkfouten (zoals packet loss op core-links) kunnen niet worden geïsoleerd. Dit blokkeert de overgang naar structureel probleembeheer en verlengt het risico op herhaalde netwerkoutages kritiek.

[P-06] Oplossen Incident (3e lijn)

Doel: Uitvoeren van complexe core-patches of herrouteringen.
De Senior Network Specialist applies ingrijpende configuratiewijzigingen of softwarepatches toe op de Core Backbone. Vanwege het kritieke karakter van deze infrastructuur gelden hier specifieke autorisatierichtlijnen (REG-04) uit het Change Management kader.

Norm: Maximaal 2h (Prioriteit: Kritiek)

Systeem & Input:

Systeem/Tools: ServiceNow, PuTTY SSH
Input: Ticket Updated
Normering: SLA Herstelkader, Autorisatie Core Patching

Stappenplan:

Inieer de noodprocedure binnen het Change Management kader en controleer of de vereiste autorisaties (REG-04) aanwezig zijn voor ingrepen op de Core Backbone (OBJ-01).
Bereid de noodpatch of complexe herroutering voor op basis van de probleemanalyse (INF-06).
Voer via PuTTY SSH (TOOL-04) de geautoriseerde configuratiewijzigingen of softwarepatch uit op de core-apparatuur binnen de SLA-normen (REG-02).
Monitor de stabiliteit van de core-routingtabellen en controleer op eventuele zijwaartse effecten op het netwerkverkeer.
Documenteer de succesvolle core-wijziging en herstelactie (INF-07) in het ServiceNow-ticket (TOOL-01).

Volledige RACI Matrix:

Uitvoering (R): Senior Network Specialist (3e Lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Uitval van geautoriseerde netwerk- orchestration-Hulpmiddelen, patch-omgevingen of vendor-specifieke CLI-consoles maakt het onmogelijk om noodpatches, microcode-updates of ingrijpende routewijzigingen veilig door te voeren. De 3e lijn kan de gevalideerde workaround niet deployen, waardoor herstelstappen stagneren en de organisatie gedwongen is om terug te vallen op risicovolle handmatige overrides per netwerkelement.

[P-07] Doorverwijzen naar Leverancier

Doel: Registreren van het incident in het ticketingsysteem van de externe leverancier.
Als uit de diagnose blijkt dat de storing wordt veroorzaakt door een softwarefout (bug) in vendor-software of een fysieke breuk in de gehuurde infrastructuur, logt de Senior Network Specialist in op het specifieke ticketingsysteem van de vendor en maakt een extern ticket aan.

Norm: Maximaal 15m (Prioriteit: Medium)

Systeem & Input:

Systeem/Tools: ServiceNow
Input: Ticket Diagnosed

Stappenplan:

Stel op basis van de diagnose (INF-04) vast dat de fout ligt bij een externe leverancier (bijv. hardware-bug of gehuurde glasvezelbreuk).
Log in op het specifieke externe TAC-portaal van de desbetreffende vendor.
Maak een extern ticket aan en dupliceer de relevante diagnostische gegevens en logbestanden vanuit onze ServiceNow-omgeving (TOOL-01).
Noteer het externe ticketnummer en de verkregen vendor-SLA-afspraken nauwkeurig in ons eigen ticket.
Exporteer de handover-status en de vendor-referentie (INF-08) om de statusupdates synchroon te houden.

Volledige RACI Matrix:

Uitvoering (R): Senior Network Specialist (3e Lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)
Informeren (I): NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Bij het wegvallen van de B2B-integraties of ticket-federaties (zoals e-bondingkoppelingen met externe telecompartners of hardwareleveranciers) breekt de communicatieketen. Escalatie-data, logbestanden en diagnostische klantinformatie moeten handmatig via mail of telefoon worden overgedragen. Dit leidt tot zware administratieve overhead, vertraging in de vendor-SLA en een verhoogd risico op informatie-asymmetrie.

[P-08] Afsluiten Ticket

Doel: Verifiëren van het herstel en administratief sluiten van het incident.
Nadat een herstelverklaring is binnengekomen, controleert de NOC Engineer via het Network Monitoring System of de telemetrie stabiel is. Na een definitief akkoord van de melder wordt het ticket in ServiceNow voorzien van de juiste sluitingscodes.

Norm: Maximaal 10m (Prioriteit: Laag)

Systeem & Input:

Systeem/Tools: ServiceNow
Input: Ticket Fixed (2e lijn), Ticket Fixed (3e lijn), Ticket Fixed (Vendor)

Stappenplan:

Verzamel de binnengekomen herstelverklaringen (of dit nu vanuit de 2e lijn INF-05, de 3e lijn INF-07 of de vendor INF-09 is).
Controleer de live-telemetrie in het Network Monitoring System om te valideren dat alle alarmen definitief zijn gewist en stabiel blijven.
Neem contact op met de initiële melder/klant voor een formele verificatie en vraag akkoord voor sluiting.
Selecteer in ServiceNow (TOOL-01) de juiste sluitingscodes (Solution Codes) en leg de definitieve workaround of fix administratief vast.
Sluit het ticket definitief af, wat resulteert in het gearchiveerde incidentdossier (INF-10) ten behoeve van compliance-audits.

Volledige RACI Matrix:

Uitvoering (R): NOC Engineer (NOC 1e lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Wanneer het centrale ITSM-platform (TOOL-01) onbereikbaar is tijdens de afsluitfase, kunnen de definitieve herstelcodes (Solution Codes), de gebouwde workarounds en de werkelijke hersteltijden niet formeel worden gelogd. Tickets blijven onterecht openstaan in de monitoring, wat de MTTR-rapportages (kpi's) volledig vervuilt en de wettelijke of contractuele compliance-audits (REG-01) in gevaar brengt.

[P-09] Updated & Monitoren Ticket

Doel: Bewaken van de voortgang en bijwerken van openstaande tickets.
Een parallel lopende activiteit waarbij de NOC Engineer de openstaande, toegewezen tickets in het ITSM-platform monitort en periodiek statusupdates toevoegt aan de worklogs om belanghebbenden continu te informeren.

Norm: Maximaal 5m (Prioriteit: Laag)

Systeem & Input:

Systeem/Tools: ServiceNow
Input: Assigned Ticket

Stappenplan:

Monitor continu het dashboard met openstaande, actieve incidenten (INF-03) in ServiceNow (Hulpmiddel-01).
Controleer of de openstaande tickets tijdig updates ontvangen van actoren in de 2e lijn, 3e lijn of externe leveranciers.
Voeg periodiek (binnen de met de Incident Manager ACT-02 afgesproken intervallen) heldere statusupdates toe aan de openbare worklogs.
Communiceer proactief kritieke wijzigingen in doorlooptijden of escalatiestromen naar de getroffen business-stakeholders.
Zorg dat de actuele statusinformatie (INF-06) consistent en up-to-date blijft gedurende de gehele levenscyclus van het incident.

Volledige RACI Matrix:

Uitvoering (R): NOC Engineer (NOC 1e lijn)
Verantwoordelijk (A): Senior NOC Engineer (NOC 1e lijn)

Continuïteit (Bij Tool-uitval):

Uitval van automatische notificatiesystemen, statusdashboards of de self-service portals snijdt de communicatie naar stakeholders en getroffen klanten af. Incident Managers verliezen het realtime zicht op de voortgang en moeten handmatig statusupdates ophalen bij de engineers. Dit resulteert direct in een stroom aan statusvragen richting de servicedesk (ticket-storm) en acute onrust bij de business.