|
Vrijdag 17 december heeft zich een stroomstoring voorgedaan in het datacenter van Interconnect te ’s-Hertogenbosch. Allereerst willen wij onze welgemeende excuses aanbieden voor de gevolgen die dit incident voor u als klant met zich mee heeft gebracht. Wij nemen deze storing zeer hoog op en zullen het algehele verloop tot in de details evalueren en, waar nodig, doeltreffende technische en/of organisatorische maatregelen nemen.
Tevens hebben wij van enkele klanten vernomen dat zij graag een betere communicatie wensen bij incidenten. Wij zullen dit oppakken en onze communicatie middelen beoordelen en waar nodig verbeteren en/of aanvullen.
Na een uitvoerige oorzaak-analyse en gesprekken met onze leveranciers, kunnen wij de volgende nadere toelichting geven over de storing.
***
Chronologisch overzicht van de gebeurtenissen:
Vrijdag 17 december:
14.00u:
- De maandelijkse test van het noodstroomaggregaat vindt plaats.
14.23u:
- Het geautomatiseerd terugschakelen naar netstroom faalt. Er ontstaat een kortsluitingsspanning tussen het noodstroomaggregaat en de Enexis transformator. De netspanning valt weg (aan de Enexis kant) en het noodstroomaggregaat levert ook geen stroom meer (zie 'Maandag 20 december' voor opvolging).
- De UPS voorziening wordt aangesproken voor stroomlevering aan het datacenter.
- Er wordt getracht het probleem op te lossen binnen de tijdsduur dat de UPS systemen aan het ontladen zijn.
14.29u:
- De UPS van stroomfeed A (DC1) is ontladen. Stroomfeed A van DC1 valt uit.
- Impact voor de klant begint vanaf 14.29u (ipv 14.32 zoals gemeld in eerdere berichtgeving).
14.36u:
- De UPS van stroomfeed A (DC2) is ontladen. Stroomfeed A van DC2 valt uit.
14.43u:
- De UPS van stroomfeed B is ontladen. Stroomfeed B valt uit.
15.04u:
- De aanwezige elektro-technisch installateur herstelt de stroomlevering van het noodstroomaggregaat.
Kort na 15.04u:
- Enexis is ter plaatse en herstelt de netspanning.
15.33u:
- Vanwege ernstige twijfels m.b.t. de stabiliteit van het noodstroomaggregaat wordt besloten handmatig en gecontroleerd over te schakelen op netstroom. Dit zorgde voor een onderbreking van circa 2 minuten in de stroomvoorziening van de A (DC1) feed, omdat de betreffende UPS nog niet op niveau was. Dit had hoofdzakelijk impact voor klanten zonder redundante stroomfeed in DC1.
Tevens is door deze abrupte onderbreking enige rookontwikkeling in het noodstroomaggregaat ontstaan. Hierop is gereageerd door preventief brandblusmiddelen paraat te houden.
Vanaf 15.33u:
- Verzoek aan leverancier om een tijdelijk vervangend noodstroomaggregaat.
19.10u:
- Levering en plaatsing vervangend noodstroomaggregaat.
Omstreeks 24.00u:
- Het vervangend noodstroomaggregaat is aangesloten. Vanwege problemen die zich vermoedelijk eerder hebben voorgedaan bij het schakelen, is deze dusdanig geconfigureerd, dat die problemen voorkomen kunnen worden.
Maandag 20 december:
Leverancier van elektra en noodstroomaggregaat zijn ter plaatse voor verregaand technisch onderzoek. De situatie is stabiel. Voor de eindconclusie wordt momenteel aanvullend onderzoek verricht. Op basis daarvan zullen concrete verbeteringen worden gepland en uitgevoerd.
***
|