Driftsproblemer i påsken 2011 - oppfølging

Postboks 494 Skøyen
0213 OSLO

15.06.2011

Saksbehandler: Frank Robert Berg
Direkte telefon: 22 93 98 47
Vår referanse:11/4811
Arkivkode:507.3
Deres referanse: Arve Johansen

Det vises til Finanstilsynets brev, datert 29.04.2011, EDB ErgoGroup ASAs (EDB) svar, datert 13.05.2011, gjennomførte møter med representanter fra EDB og EDBs daglige rapportering om driftsstatus til Finanstilsynet.

Finanstilsynet har i tillegg mottatt relevant informasjon fra Nets Norway AS (Nets) og fra over 55 banker/bankgrupperinger som svar på tilsynets spørsmål knyttet til hendelsene i påsken 2011. Det har også vært gjennomført møter med representanter fra FNO som forvalter regelverket for BankAxept.

Samlet har dette gitt Finanstilsynet et bilde av årsaken til hendelsene, følgefeil som oppsto, håndteringen av feilsituasjonen og konsekvenser hendelsene fikk for banker og deres kunder.

Årsak til hendelsene

Hovedårsaken til hendelsen var en gjennomført endring hos EDB i november/desember 2010, basert på resultatene fra en beredskapstest som omfattet kapasiteten på systemet IssuerGatewayServer (IGWS). Resultatet av testen viste at for å kunne levere en tilstrekkelig leveranse av IGWS ved stor belastning var det behov for å oppgradere systemet kapasitetsmessig. IGWS løsningen var etablert som en redundant løsning fordi den representerte en kritisk komponent i kortsystemløsningen til bankene. Det er derfor Finanstilsynets vurdering at IGWS systemet som består av primærserver og sekundærserver, må betraktes som ett system. Primærserver ble oppgradert etter planen, mens sekundærserver ikke ble oppgradert grunnet mangel på deler med leveringstid. Det ble foretatt formell godkjenning av endringen (oppgraderingen) på primærserver, men det ble ikke registrert en formell mangel på oppgradering av sekundærserver for oppfølging og som forutsetning for godkjenning av endringen. Mangelen ble ikke fulgt opp og sekundærserveren ble ikke oppgradert. Dette medførte at systemet ikke hadde reell redundans. Da det i påsken oppsto hardware feil på primærserveren som medførte behov for å ta i bruk sekundærserver, klarte sekundærserveren ikke å dekke det faktiske kapasitetsbehovet.

Den mangelen som er avdekket i EDBs håndtering og oppfølging av endringer er kritikkverdig, særlig tatt i betraktning den kritiske funksjon IGWS-systemet har for EDBs kunder. Finanstilsynet har forstått det slik at ved gjennomføring av EDBs endringsprosedyre, ble det gitt godkjenning av endringen på IGWS løsningen selv om denne endringen kun omfattet oppgradering av primærserver, og uten at det ble dokumentert forbehold og oppfølging av manglende oppgradering av sekundærserver. Ansvaret for oppfølging av å sikre oppgradering av sekundærserver ble overlatt til den avdelingen som hadde ansvaret for endringen, uten at den fulgte opp. Dette er etter Finanstilsynets vurdering alvorlig, særlig fordi endringen berørte en kritisk komponent i kortløsningen.

Finanstilsynet ber om styrets vurdering av hvilke tiltak EDB vil iverksette for å unngå at dette kan skje igjen.

Følgefeil av hendelsene

Feilen hos EDB medførte en rekke følgefeil for bruk av kort i minibank og på brukersteder (EFT/POS i butikker):

• Kort ble avvist i minibanker, i hovedsak grunnet manglende svar på forespørsel om aksept fra minibanksystemet på uttak. Dette skyldes igjen treghet (time-out) på IGWS-løsningen.
• Kort ble avvist på brukersteder, i hovedsak grunnet manglende svar på forespørsel om aksept av betalingen på brukerstedet. Dette skyldes treghet (time-out) på IGWS-løsningen.
• Kort (samme betalingstransaksjon) ble forsøkt benyttet igjen av kunden med den følge at det enten skjedde oppdatering av kapitaltransaksjon 2 ganger, eller at det skjedde generering av advice-melding (grunnlag for oppdatering av disponert beløp til pseudo-systemet (reservasjon av beløp)) 2 ganger.
• Et stort volum advice-meldinger ble pga problemene hos EDB liggende i kø hos Nets. Når det så ble tilgang på kapasitet for oversendelse av advice-meldinger fra Nets til EDB, ble reservasjonene som advice-meldingene representerte, oppdatert hos EDB på transaksjoner der kapitaltransaksjonene (EFT-delen) allerede var oppdatert. For bankenes kunder oppfattes dette som dobbelt postering/reduksjon av tilgjengelig saldo.

Problemer på brukersteder og minibanker startet onsdag 20.04.2011, kl 10.00 og varte frem til kl 17.00. Konsekvenser av feilen overfor bankenes kunder og rettelser av følgefeil pågikk i praksis frem til onsdag 27.04.2011.

Det var et stort antall kunder og transaksjoner som ble direkte berørt. Foreløpige estimater viser at ca 140.000 kunder ble direkte berørt og omfattet over 200.000 transaksjoner. Etter Finanstilsynets oppfatning er det ikke akseptabelt at en feil får et slikt omfang. Det er derfor nødvendig at bankene, bankenes samarbeidsorganer og leverandørene iverksetter tiltak for å sikre at den typen feil, ikke skal få et slikt skadeomfang

EDBs håndtering av feilsituasjonen som oppsto

EDBs eget kriseteam ble hurtig etablert for å håndtere avviket. I første omgang ble arbeidet i hovedsak konsentrert om å løse den initiale feilen på den aktuelle IGWS-serveren. IGWS-løsningen er en komponent som inngår i en lengre transaksjonskjede. EDBs kriseteam hadde ikke nødvendig innsikt i tjenesteområdene og alle elementer som inngår i transaksjonskjeden. De var dermed ikke i stand til å avverge omfanget av følgefeil. Feilhåndteringen viser at beredskapsorganisasjonen også må bestå av representanter fra bankene og fra andre samarbeidende leverandører, i dette tilfellet Nets.

Finanstilsynet ser behov for at beredskapen innenfor området blir samordnet. Dette anses som et viktig tiltak for identifisering av mulige følgefeil, skadebegrensning og gjenoppretting. Finanstilsynet vil også ta dette behovet opp direkte med bankene og Nets.

Finanstilsynet ber om styrets vurdering av hvilke tiltak som iverksettes for etablering av slik utvidet og samordnet beredskap. 

Generelle tiltak

Finanstilsynet har gjennomgått EDBs redegjørelse i brev datert 13.05.2011. I tillegg har Finanstilsynet innhentet egne redegjørelser fra berørte banker og Nets. Det er gjennomført møter med nøkkelpersonell og ledelsen hos EDB. Videre er det benyttet data fra tilsynets hendelsesrapporteringssystem, tidligere gjennomførte tilsyn hos EDB og banker. Samlet gir dette et godt bilde av den generelle situasjonen når det gjelder EDBs håndtering av kontroll med kvalitet, håndtering av risiko og håndtering av kritiske komponenter. Det understrekes at Finanstilsynets informasjon begrenser seg kun til EDBs håndtering av disse områdene for finanskunder og ikke for EDBs øvrige virksomhet.

Etter Finanstilsynets vurdering har EDB ikke i tilstrekkelig grad lagt vekt på kvalitet ut fra en helhetsvurdering. Dette gjelder ikke bare til de krav den enkelte bank har satt gjennom avtalene med EDB, men også på det selvstendige ansvaret EDB har for å etablere og forvalte et system for måling og oppfølging av kvalitet på alle nivåer i EDBs virksomhet overfor bankene.

Når det gjelder håndtering av risiko generelt og spesielt identifisering av kritiske komponenter for EDBs kunder i finanssektoren, har håndteringen av risiko ikke vært tilfredsstillende. EDB har et selvstendig ansvar for å sikre tilstrekkelig kvalitet og håndtering av risiko på sin virksomhet. EDBs leveranser til finansnæringen skal sikre overholdelse av inngåtte avtaler og etterleve IKT-forskriftens §§ 3, 4, 5, 8, 10 og 11.

Finanstilsynet ber om styrets vurdering av hvilke tiltak EDB vil iverksette for egen virksomhet når det gjelder kvalitet og risiko og for å sikre etterlevelse av IKT-forskriften.

Finanstilsynet ber om EDBs svar på dette brev innen 31.08.2011.

For Finanstilsynet

Emil Steffensen
konstituert finanstilsynsdirektør 

Frank Robert Berg
          seksjonssjef