Onderbrekingen bereikbaarheid Hyper-V IaaS omgevingen

— Afmelding bericht 8 februari 17:00 uur —

Engineers hebben afgelopen week geen platform brede uitval waargenomen waardoor deze melding wordt gesloten.

De onderzoeken naar de grondoorzaak blijven gaande met alle betrokken partijen.
De status is te volgen in de Datacenter, Internet en Hyper-V IaaS knowledgebase in het known issues artikel.

Het platform blijft 24/7 onder verscherpt toezicht staan. Mocht je in de toekomst problemen ervaren met je Hyper-V IaaS omgeving, dan adviseren we je eerst een ticket aan te maken en gebruik te maken van het Hyper-V Iaas Catalog Item.

— Update bericht 4 februari 17:00 uur —

Onze leverancier heeft geen verdere update die wij u kunnen melden. Wanneer u te maken krijgt met een onbereikbare of onbeheerbare VM, dan verzoeken wij u hiervoor een ticket aan te maken in Service-Now. Klik hier voor de juiste catalog item en vul deze zo uitgebreid mogelijk. Neem daarna en indien nodig direct contact op met onze 24*7 supportdesk.  Voor alle overige vragen over Hyper-V Iaas verzoeken wij u tot maandag te wachten. Een volgende update volgt zo spoedig mogelijk en/of  indien eerder bekend.

— Update bericht 1 februari 10:45 uur —

Engineers geven aan dat in samenwerking met de leverancier de herstelacties van de getroffen VM’s zijn afgerond. Hiermee zijn er momenteel geen actieve herstelacties gaande. Verdere onderzoek en analyse gaat hiermee onverminderd door en als mitigerende maatregel wordt de dimensionering van het platform aangepast door de leverancier. Na verwachting zal dit vrijdag 4 februari 2022 zijn afgerond. Wij houden u op de hoogte.

— Update bericht 31 januari 14:40 uur —

Het spoedonderhoud Mobile Interconnect en Hyper-V Iaas IP VPN koppeling, welke gemeld was op CSP reporter heeft er toe geleidt dat de connectiviteits-issues met de Hyper-V Iaas en IP-VPN koppelingen zijn hersteld.

Het onderzoek naar de storing met het onbereikbaar zijn en/of onbeheersbare VM clusters gaat onverminderd door. Indien u te maken krijgt met een onbereikbare / onbeheerbare VM, dan verzoeken wij u om zo snel mogelijk een ticket hiervoor aan te maken in Service-Now, middels de catalog item Hyper-V Iaas probleem. 
Zodra wij meer informatie hebben, dan volgt er hier een update.

— Update bericht 31 januari 10:00 uur —

Op dit moment constateren onze engineers connectiviteits problemen met de Hyper-V IaaS IPVPN koppelingen. Dit zorgt voor performance issues tussen de VPS’en en het IPVPN.
Om 10:30 uur wordt er een netwerkcomponent herstart die de oorzaak lijkt van dit probleem. (klik hier voor de link op CSP reporter)
Een volgende update volgt zo spoedig mogelijk indien bekend. (uiterlijk in de loop van middag)

— Update bericht 28 januari 16:30 uur —

De leverancier geeft aan dat engineers continu bezig zijn met het herstellen van de beschikbaarheid van een VM. De verwachtte eindtijd is onbekend.
Wij willen je vragen een service ticket in te dienen, wanneer je een onbereikbare of onbeheerbare VM hebt. Neem daarna en indien nodig direct contact op met onze 24*7 supportdesk.
Onze 24*7 support staat voor je klaar om telefonisch het ticket met je door te nemen. Wij hebben hiervoor in service-now een catalog item aangemaakt, te weten Hyper-V Iaas probleem.
Vul deze zo uitgebreid mogelijk in, zodat wij beter en sneller in staat zijn om met onze leverancier te schakelen. Gedurende het weekend gaan wij in samenwerking met de leverancier onverminderd door met het onderzoek en herstel van de storing. Een volgende update volgt zo spoedig mogelijk indien bekend. (uiterlijk in de loop van maandagochtend)

— Update bericht 28 januari 12:15 uur —

Onze engineers zijn in nauwe samenwerking met de leverancier en platformbeheer bezig met het onderzoek naar de oorzaak van deze storing.
Er vinden geregeld business calls plaats en vanuit de techniek wordt er zoveel mogelijk expertise opgeschakeld.
Onze prioriteit ligt momenteel bij het herstellen van de beschikbaarheid van een VM.
Cloud support desk is qua capaciteit uitgebreid, waarbij de engineers zoveel mogelijk informatie zullen vergaren om mee te kunnen nemen in het onderzoek met onze leverancier.
Een volgende update volgt omstreeks 16:30 uur.

— Update bericht 27 januari 09:10—
Engineers ontvangen meerdere meldingen over onbereikbare en/of onbeheerbare VM’s.
De leverancier is opgeschakeld in een business call om een zo spoedig mogelijk herstel te realiseren voor elke omgeving.

We willen je vragen een ticket in te dienen wanneer je een onbereikbare of onbeheerbare VM hebt.

— Update bericht 20 januari —

Sinds deze week ervaren we opnieuw onderbrekingen in de bereik en beschikbaarheid van het Hyper-V IaaS platform. Waardoor deze veroorzaakt worden is onbekend.
De gemelde ervaringen komen deels overeen met de ervaringen van december, maar wijken hier ook af.

Onze prioriteit ligt momenteel bij het herstellen van de beschikbaarheid van een VM. Hiervoor zijn er dagelijks meerdere algemene en technische calls met de leveranciers.
Samen werken we aan meerdere acties om de grondoorzaak te achterhalen.

We stellen input over events op het platform of een VM op prijs – bij voorkeur in een ticket – . Deze informatie wordt samengevoegd en geanalyseerd.
Wanneer er een event plaats vind ontvangen we hier graag zo veel mogelijk informatie over en is het belangrijk de actuele klantimpact te benoemen.

— Update bericht 21 december —

In samenwerking met de leverancier en platformbeheerder zijn er enkele wijzigingen doorgevoerd op het platform om de stabiliteit te herstellen.
Na de op laatste doorgevoerde wijziging (vrijdag 17 december 2021) is er geen impact meer geconstateerd en zijn er geen nieuwe meldingen ontvangen waarin connectieonderbrekingen worden gemeld.

Het verzoek om connectieonderbrekingen actief te melden aan Cloud Support blijft van kracht. Aangeleverde informatie wordt gebruikt voor zowel onderzoek als het meten van platformstabiliteit (op VM niveau).

— Oorspronkelijk bericht —

Er worden op willekeurige momenten onderbrekingen geconstateerd op het Hyper-V IaaS platform.
Als gevolg van deze onderbrekingen herstarten Hyper-V IaaS omgevingen en beland een beperkt deel in een boot loop waardoor de bereikbaarheid van de omgeving niet automatisch hersteld.

De leverancier en de platformbeheerder zijn op het hoogste niveau bijgeschakeld, hebben dit probleem in onderzoek en zijn op zoek naar de grondoorzaak.
Er is vooralsnog geen oplostermijn bekend.

Hyper-V IaaS omgevingen welke niet automatisch herstellen dienen handmatig middels een stop en start commando vanuit de beheerportal hersteld te worden.
Wanneer herstel niet mogelijk is adviseren wij je contact op te nemen met Cloud support.

Ten behoeve van het onderzoek willen we je vragen ervaren connectieonderbrekingen te melden bij Cloud support zodat deze meegenomen kunnen worden in het onderzoek naar de grondoorzaak. Geef hierbij aan of je de bereikbaarheid van de Hyper-V IaaS omgeving zelf hebt kunnen herstellen of dat Cloud support benodigd is voor herstel.


Getroffen diensten:

Cloud Hyper-V IaaS Platform