‘Verbouwen zonder downtime vraagt om goede samenwerking’

Een tien jaar oude computerruimte in een kantoorpand geschikt maken voor Tier 3, en dat ook nog eens in een live kantooromgeving en met de nodige tijdsdruk. “Dat zijn de leuke uitdagingen”, zegt ICT-coördinator Egbert Mans van het Waterschapsbedrijf Limburg enthousiast. “Dankzij een goed advies en begeleiding hebben we echter nooit spannende momenten gekend.”

ICT-coördinator Egbert Mans van het Waterschapsbedrijf Limburg

Waterschapsbedrijf Limburg produceert gezuiverd afvalwater en doet dit door het afvalwater te transporteren en te zuiveren en ontwaterd slib te drogen. Het afvalwater is afkomstig van 500.000 Limburgse huishoudens en 30.000 bedrijven die zijn aangesloten op het rioolstelsel. Voor het zuiveren van het afvalwater beschikt Waterschapsbedrijf Limburg over 17 zuiveringsinstallaties en 175 gemalen.

In het verleden had elke zuiveringsinstallatie haar eigen procesautomatisering. Die bestond vaak uit verschillende en deels verouderde apparatuur die niet op elkaar was afgestemd. WAUTER maakte ruim vijf jaar geleden een einde aan die inefficiëntie. Als onderdeel van het project ‘WaterAUTomatisERing’ werd alle procesautomatisering gecentraliseerd en ondergebracht in een datacenter in het zuiden van Limburg.

Nieuwe locatie

Toen de hardware en software voor de procesautomatisering vijf jaar later aan vervanging toe waren, stond Waterschapsbedrijf Limburg voor een afweging. “We konden op de bestaande locatie in Zuid-Limburg alles vernieuwen, maar dan moesten we een schaduwlocatie inrichten en daar zijn in een gehoste omgeving kosten aan verbonden”, schetst Mans.

In het kantoorpand in Roermond had Mans echter ook nog een half lege computerruimte tot zijn beschikking. “Die ruimte was zeer geschikt om de procesautomatisering in onder te brengen. Er was behoorlijk wat capaciteit beschikbaar en de aanwezige voorzieningen zoals de koeling, branddetectie, brandblussing en stroomvoorziening waren nog lang niet afgeschreven.”

Uitdagingen

Toch werd Mans wel met een aantal uitdagingen geconfronteerd. Zo had de ICT-coördinator te maken met een strakke deadline voor de verhuizing van de procesautomatisering. Waterschapsbedrijf Limburg moest eventuele aanpassingen in en rond de computerruimte bovendien binnen een live omgeving realiseren. De kritieke processen en de circa tweehonderd medewerkers mochten dus geen enkele hinder ondervinden van de werkzaamheden. “Dan is het toch vaak ‘fingers crossed’”, stelt Mans.

Een andere uitdaging had te maken met de vereiste beschikbaarheid van de computerruimte waaraan zeer hoge eisen worden gesteld. “Wij hebben de wettelijke verplichting om niet te overstorten”, legt Mans uit. “Als we door een technische storing meer vuil water lozen dan afgesproken met de wetgever, dan staat daar een flinke boete op. In een gecentraliseerde omgeving heeft een storing bovendien direct versterkende gevolgen; downtime treft niet één maar alle zuiveringsinstallaties.”

“Vijf jaar geleden is afgesproken dat de huisvesting van de procesautomatisering moet voldoen aan het beschikbaarheidsniveau Tier 3 zoals gedefinieerd door het Uptime Institute”, vervolgt Mans. Dit niveau schrijft een uptime van 99,982 procent en een redundantie van N+1 voor. “Bij Tier 3 moet alles ‘maintainable’ zijn; je moet een machine voor onderhoud kunnen uitschakelen zonder dat de processen hier hinder van ondervinden.” De ruimte in Roermond voldeed echter niet aan de eisen die Tier 3 stelt aan een datacenter.

De oplossing

Op voordracht van datacenterspecialist X-ICT voerde Schneider Electric een ‘assessment’ uit om vast te stellen wat er moest gebeuren om van de lokale computerruimte een Tier 3-datacenter te maken. Mans: “Schneider Electric heeft toen een Programma van Eisen opgesteld en na een calculatie een neutraal rapport overhandigd. Hieruit bleek dat een Tier 3-datacenter met een relatief kleine investering betrekkelijk eenvoudig was te realiseren.”

“We hebben de bestaande situatie als uitgangspunt genomen, en daar moest een tweede voedingspad bij komen”, schetst Niels Velthuizen, Account Manager IT Business bij Schneider Electric. “Dat betekende dat we een tweede noodstroomaggregaat en een tweede uninterruptible power supply moesten toevoegen en kabels voor het tweede voedingspad door het pand moesten trekken.”

“Ook in de ruimte zelf hebben we alles dubbel uitgevoerd, met een strikte scheiding tussen de A- en de B-feed”, voegt Mans toe. “In de racks hebben we die scheiding gerealiseerd met power distribution units die netjes conform Tier 3 zijn gemonteerd. De scheiding tussen de A- en de B-feed is daardoor tot op het niveau van het stopcontact goed geregeld. De apparaten met slechts één voeding hebben we aangesloten op een ATS.” Zo’n ‘Asynchronous Transfer Switch’ zorgt ervoor dat een apparaat met een enkele voeding zijn voeding krijgt uit ofwel de A- of de B-feed.

Strakke regie

Om ervoor te zorgen dat de ruimte ‘24/7’ toegankelijk is voor de leverancier die de procesautomatisering bewaakt, moest Waterschapsbedrijf Limburg het kantoorpand ook nog bouwkundig aanpassen. “Al deze aanpassingen hebben we gedaan in een live omgeving”, benadrukt Mans. “Een extra uitdaging vormde de strakke planning die we moesten halen”, aldus Ton Robben, directeur van de Eindhovense vestiging van partner X-ICT.

“Deze uitdagingen vroegen om een intensief overleg en een goede onderlinge afstemming”, aldus Mans. “Iedereen moest ervan doordrongen zijn dat ze aan het werk waren in een live omgeving. Ik heb echter geen moment het gevoel gehad dat processen in gevaar kwamen.”

Het resultaat

Waterschapsbedrijf Limburg slaagde erin om de lokale computerruimte zonder downtime op te waarderen naar een datacenter dat voldoet aan de Tier 3-eisen. “We hebben nu vijf jaar lang geen omkijken meer naar de stroomvoorziening”, stelt Mans tevreden vast. “Dat was ook de insteek van het project. Een bijkomend voordeel is dat bijvoorbeeld ook de kantoorautomatisering en de procesbewaking meeliften op de Tier 3-voorzieningen.”

Mans en zijn collega’s hebben er wel een taak bij gekregen: het monitoren van de datacentercomponenten. In de oude situatie was de hostingpartner hier verantwoordelijk voor. “De technische ruimtes zijn nu bijvoorbeeld ook allemaal voorzien van dubbele airco’s, en die apparaten kunnen allemaal een storingsmelding afgeven die je wel moet opvangen”, aldus Mans.

Om dit beheer te vereenvoudigen, zijn alle componenten aangesloten op PIM+, de monitoringsoftware van X-ICT. “In het centrale dashboard zien we een melding als er iets fout gaat of dreigt fout te gaan, bijvoorbeeld als de temperatuur in de ruimte om onverklaarbare redenen oploopt. Voor onze beheerders die gewend zijn om te werken met een webinterface ziet dit er allemaal heel erg vertrouwd uit. Op basis van ‘key performance indicators’ bepalen we hoe we een melding opvolgen.” Op die manier wordt voorkomen dat een storing de vereiste hoge beschikbaarheid alsnog in gevaar brengt.

Van de redactie