Datenbankarchivierung im Finance -BereichErfahrungen bei der ING -DiBa

www.ing-diba.de

Diana RichlerIT Central Services, ING-DiBa

Heike JohannesProject Management, CSPwww.datenbankarchivierung.de

■ Diana Richler› Wirtschaftsinformatikerin› Seit Ende 2006 im Outputmanagement der ING-DiBa

Allgemeines

› Seit Ende 2006 im Outputmanagement der ING-DiBa› Datenbankprogrammierung, Projektarbeiten & Datenbankarchivierung

■ Outputmanagement in der IT Central Services› administrative Betreuung der individuellen Dokumentenerstellung› Massenbrieferstellung z.B. Kontoauszüge› zentrale Dokumentenschleuse mit dem Document Process Pool› Archivierung im zentralen Archiv, Veröffentlichung in der Postbox

2 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

› Archivierung im zentralen Archiv, Veröffentlichung in der Postbox› Aufbau der Datenbankarchivierung als Standardprozess

■ Heike Johannes› Wirtschaftsinformatikerin› Seit 2009 im Project Management der CSP GmbH & Co. KG

Allgemeines

› Seit 2009 im Project Management der CSP GmbH & Co. KG› Seit 2007 im Software Development der CSP GmbH & Co. KG› Projektleitung, Prozessanalyse, Konzeption und Consulting

zu den Themen Datenbankarchivierung & Application Retirement

■ CSP GmbH & Co. KG› Softwarehersteller seit 1991› Zertifizierung nach ISO 27001

3 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

› Zertifizierung nach ISO 27001› Marktführer für

Datenbank-Archivierung in Deutschland mit

Allgemeine Gründe für Datenbankarchivierung

Compliance• Revisionssicherheit• Langzeitlesbarkeit• Application

Retirement / Decommissioning

Betrieb• Performance• Backup & Recovery• Wartungsaufwand • SLA

Kosten• Lizenzen• Hardware• Konsolidierung

4 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Worauf kommt es beim Archivieren an?

Einfache Integration

Bewährte Standardlösung

Integration

Geringer Wartungs-aufwand

Unkompliziertes Archivieren

Automatisierte Archivierung

Inkrementelle Datenablage

5 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Worauf kommt es beim Archivieren an?

Import in Daten-

Archivzugriff ohne

Datenbank Schnittstellen wie JDBC /

Indexierung

Daten-banken

wie JDBC / ODBC etc.

IDEA-Ausleitung

Meta-Daten in XML-Format

Unkompliziertes Recherchieren

Offenes Archivformat

Schema-änderungen

6 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

in XML-Format

Application Retirement – Umsetzung mit CHRONOS

■ Abschalten von Altsystemen

■ Recherchemöglichkeit im Archiv› Reporting› Reporting› Suchformular

■ Langzeitsicherheit durch offenes Archivformat

■ Absolute Herstellerunabhängigkeit durch offenes Archivformat

■ Zentrale Informationsplattform: CHRONOS ArchiveExplorer� Kombination der Datenbankinhalte mit weiteren Dokumenten,

z. B. Verfahrensdokumentation

7 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

■ Was kann eingespart werden?› teurer Plattenplatz› Datensicherungsbänder

Daten mit Potential oder Schwarzes Loch

› Datensicherungsbänder› Recovery Zeit (DB-Clone)› Lizenzen für Altdatenbank

■ Was sind die Möglichkeiten?› Bewegungsdaten

› Kunden-Stammdaten› Buchungsdaten

8 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

› Buchungsdaten

› Loggingdaten› Kundenhistorie› HBCI-Schnittstelle

› Fusionsaltdaten

■ Beispiel Kunden-Stammdaten (aktuelle Praxisgröße 700 GB)

■ Dauerarchivierung

Tabellen mit Kunden-Stammdaten

■ Initialladung ca. 300 GB

■ Folgearchivierung < 20 GB pro Monat

Vor-

Test Line EntwicklungLine

- Abzug zu Releases

- Laufzeit Neuaufbau

9 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Praxis

Schulung

Vor-produktion

Test 1

Test 7

Entwicklung 1

Entwicklung 6

… …

Releases- anonymisiert- Plattenplatz

Neuaufbau(14 Stunden)- Plattenplatz- Suchzeiten

■ Beispiel Fusionsaltdaten

■ Einmalarchivierung

Fusionsaltdatenbanken

■ Datenzugriff unklar

60 GB

250 GB 5 GB

Oracle 9iteurer

Plattenplatz

10 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

50 GBLizenzeninaktiv?

■ revisionssicher archivieren mit der EMC Centera

■ langfristige Unabhängigkeit bei der Wahl des Archivformats

Was brauchen wir?

■ Export und Import von und mit verschiedene Produktivdatenbanken

■ Flexibilität bei den Tabellenstrukturen

■ sichere und automatisierte Löschung der Quell-Archivdaten

■ löschen der Archive nach Ablauf der Centera Retention Time

■ mannigfaltige Recherchezugriffsmöglichkeiten auf die Archive

11 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

■ mannigfaltige Recherchezugriffsmöglichkeiten auf die Archive

■ klare Abgrenzung der Archivprojekt über Rechte

■ Integration in die DiBa-Landschaft zum Aufruf durch UC4

Standardlösung mit CHRONOS

DB

Benefit

• Revisionssicherheit

• Zugriffsschutz

01101001

Σ Σ Möglichkeiten

• HD Lösungen

• Jukeboxsysteme

12 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

• Zugriffsschutz

• Retentionhandling

• Jukeboxsysteme

• Tapelibraries

• weitere Archivsysteme leicht anbindbar

Backend-Architektur von CHRONOS

Archiv

2011

App 1

Re-Import

20112012

2013…

2021

App 2

App n

13 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Daten-bank

Frontend-Architektur von CHRONOS

DB StorageCHRONOS Server /

Backend

CHRONOSAdmin Suite

CHRONOSArchive

Explorer

CHRONOS

• Archiv-konfiguration

• Ad-Hoc-Abfragen• Monitoring• Benutzerverwaltung

• Recherchen• Download von bereitgestellten

Dokumenten

Fachbereiche/

Archiv-Administrator

14 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

CHRONOSWeb Designer

• Design der Archivrecherchen• Bereitstellen der Dokumente• Mapping Archiv- /

Geschäftsobjekte

Sachbearbeiter

Fachlich-technische Ansprechpartner

Umgebungsaufbau

■ Chronos-Server 3.21.16 und 4› Linux Red Hat› VM mit 4 CPUs, 8 GB RAM› VM mit 4 CPUs, 8 GB RAM› 20 GB HDD, plus 50 GB HDD Praxis› JDK 1.5.0_22› Centera SDK 3.2.705› JBoss6 › Tomcat 5.5.32

■ Chronos-Repository › Oracle 11g Datenbank

15 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

› Oracle 11g Datenbank› 500 MB Tab- und Index

■ EMC Centera

■ Sind Datenbanktabellen zu archivieren? Multischema? Datenmenge?

■ Altdaten löschen oder nur markieren?

■ Einmal- oder kontinuierliche Archivierung (Unterschied bei der Lizenz)?

Rahmenbedingungen

■ Einmal- oder kontinuierliche Archivierung (Unterschied bei der Lizenz)?

■ Liegen High-Risk-Daten vor? Welche Retention Time?

■ Welcher Recherche-Zugriff wird auf das Archiv benötigt?› direkt: Fachbereich› indirekt: Integration in Fachbereichseigene Applikation (JDBC-Treiber)

■ Projektlaufzeit

■ Besonderheiten› Menge und Vorgaben bei den Suchmasken/Reports› unterschiedliche Rechtevergabe im Archiv› Indizes zur Suchbeschleunigung erforderlich

16 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Projekt Buchungsdaten – allgemeine Eckpunkte

Daten werden exportiert und gelöscht. Erfolgreiche Löschung aller Daten ist Erfolgsindikator für das Projekt!

Suchzugriff des

Import der Daten aus dem Archiv muss jeder zeit

ArchivChronos

Suchzugriff des Fachbereichs: Masken analog zum Praxissystem; Ergebnisse im Excel-Format zur weiteren Verarbeitung (Summenbildung)

Buchungsdaten

Export-Datenbank

muss jeder zeit möglich sein.

Nach Ablauf der Retention Time Löschung der Archive

17 18.10.2012

Archivierung nach gesetzlichen Vorgabenautomatisierter

Archivierungsanstoßalle 3 Monate nach Neuaufbau der ARCHIVE-Tabellen

Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Time Löschung der Archive

Projekt Buchungsdaten – regulatorische Anforderungen

Regulatorische Anforderung- ständige Möglichkeit der Daten-Rückführung- Revisionssicherheit- Aufbewahrungsfrist 10 Jahre

konfigurierenprüfenreporten *.txt

archivieren

Buchungsdaten

Export-Datenbank exportieren / importieren

18 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

*.zip

*.XML

Archiv

archivierenrückmelden

importierenlöschen

Projekt Buchungsdaten – technische Anforderungen

Technische Anforderung- Archivierungsläufe UC4 gesteuert- archivierte Datenfelder analog zu Praxisfeldern

*.txtarchivieren

startenBuchungsdaten

Export-Datenbank exportieren / importieren

UC4

19 18.10.2012

*.zip

*.XML

Archiv

archivierenrückmelden

importierenlöschen

Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Projekt Buchungsdaten – fachliche Anforderungen

Fachliche Anforderung- Archivierung aller Buchungen älter 25 Monate- Archivierungsrhythmus alle 3 Monate- Anzeige/Reporting analog zu Buchungsexplorer- Datenselektion im Archiv < 30 Sekunden

konfigurierenprüfenreporten *.txt

archivieren

Buchungsdaten

Export-Datenbank exportieren / importieren

Initialladung- 18 Monate- 42 Mio. DS- 9 Stunden- 3,5 GB

- 5 lokale Indizes (15 MB)- 2 Such-Reports

Archiv- 130 Archivpakete- 3,9 GB

1. Folgeladung- 26 Monate- 80 Mio. DS- 16 Stunden- 6,5 GB

weitereFolgeladungen- monatlich- ca. 3- 4 GB

20 18.10.2012

*.zip

*.XML

Archiv

archivierenrückmelden

importierenlöschen

Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

■ Einmalarchivierungen mit fester Datenmenge ca. 700 GB

■ Dauerarchivierungen › Initialarchivierung mehrere hundert GB

Lust auf mehr Daten

› Initialarchivierung mehrere hundert GB› Folgearchivierung wenige GB pro Monat

■ Flexible Archivierung durch separaten Archivtabellen zu einem Schema› getrennt von den Live-Tabellen› auch aus Revisionssicht sicher, wenn nicht taggleich archiviert wird

■ Datenbank vs. Archiv› je nach Datenverknüpfung: 30-50%› DB-Kosten zu Centera

21 18.10.2012

■ Laufzeiteinsparungen bei Applikationen z.B. zum Jahresende notwendig

Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa

Vielen Dank für Ihre Aufmerksamkeit

22 18.10.2012 Datenbankarchivierung im Finance-Bereich - Erfahrungen bei der ING-DiBa