Im Rahmen von Big Data benötigt man immer wieder leistungsstarke Plattformen, die eine große Menge an Daten effizient speichern können. Eine solche Plattform nennt man auch Data Warehouse. Dieses analysiert dabei die enthaltenen Informationen nach bestimmten Mustern.
Data-Warehousing-Prozess
Der Data Warehousing Prozess, mit den die Funktionsweise häufig umschrieben wird, umfasst vier wesentliche Hauptschritte zur Analyse von Daten, indem die Daten im Datenlager verwaltet und auf Ergebnisse ausgewertet werden.
Der 4-stufige Analyseprozess eines Data Warehouse
- Beschaffung von Daten aus den Quellsystem
- Laden der Daten
- Sicherung der Daten
- Analyse und Auswertung der gespeicherten Daten
So ist ein Data Warehouse aufgebaut
Ein Data Warehouse ist im Grunde wie ein reales Gebäude ein Konstrukt aus mehreren Elementen. Das Fundament bildet dabei eine operationale Datenbank die eine große Menge von Informationen enthält. Aus dem Fundament erhebt sich schließlich die sogenannte Staging Area, die eine Vorsortieren der Informationen zur Aufgabe hat. Erst nach speziellen ETL-Prozessen, die das Sammeln, Extrahieren, Transformieren und Laden der Daten nach einer vorbestimmten Struktur vornehmen, gelangen die Informationen schließlich in das Data Warehouse. Dieses ermöglicht somit einen separaten Zugriff auf Daten, unabhängig von operationalen Datenlagern. Mit speziellen Data Access Tools kann schließlich auf die Informationen zugegriffen werden. Dies ist dabei auf verschiedenen Ebenen, den sogenannten Data Marts, möglich.
Um bei großen Datenmengen eine noch bessere Struktur zu erhalten, kann man zusätzlich sogenannte OLAP-Datenbanken verwenden. Diese ermöglichen die Verdichtung von Informationen aus unterschiedlichen Bereichen und können dabei Zusammenhänge sowie Hierarchien effizient abbilden.
Jedoch ist zu beachten, dass jedes Data Warehouse nur so hochwertig, wie auch die ihm zugrundeliegenden Daten ist. Eine schlechte Qualität von Daten oder lückenhafte Datenbestände können zu erheblichen Problemen bei den Analysevorgängen führen.
Aufgaben des Data Warehouse
Im Rahmen von Big Data ist es für Unternehmen mittlerweile essenziell einen Überblick über die Masse an Informationen zu erhalten, um die gespeicherten Daten effizient auswerten zu können. Aus diesem Grund verfolgt ein Data Warehouse in der Regel vier wichtige Aufgaben.
- Zentrale Sammlung aller Daten: Daten werden an einem Sammelpunkt komprimiert.
- Sortierung der Datenstämme: Trennung in analytische und unverarbeitete Datenbestände, um unverfälschte Ergebnisse zu erhalten.
- Datenintegration: Zusammenfassung von Daten aus verschiedenen Quellen mit unterschiedlichen Formaten zu einem auswertebaren Modell.
- Langfristige Speicherung der Daten: Sicherung der Daten in Form einer Historie für spezifische Abfragemöglichkeiten und zeitraumbezogene Analysen.
Vor- und Nachteile
Ein Data Warehouse wird von vielen Unternehmen als hilfreiches Tool verwendet, wenn es um die Speicherung großer Datenmengen geht. Neben zahlreichen Vorteilen ergeben sich allerdings bei der Nutzung auch einige Nachteile.
Vorteile
- leistungsstarke Funktion zur Speicherung großer Datenmengen
- spezielle Tools für die einzelnen Bereiche
- Management der Datenqualität
Nachteile
- teilweise lange Ladezeiten (ins. bei steigenden Volumen an Daten)
- unstrukturierte Daten können nicht verarbeitet werden (ins. Filme oder Audios)
- kein Möglichkeit des Echtzeitstreamings
Mehr zum Thema Daten und Big Data liefern zudem folgende Artikel:
- Was ist Big Data?
- Big Data: gestern, heute und morgen!
- Chancen von Big Data – Daten sind das neue Öl?
- Risiken von Big Data – Eine Frage der Umsetzung!
Rechtschreibung: Ich führe diesem Blog neben dem Job und schreibe viele Artikel in Bahn/Flugzeug oder nach Feierabend. Ich möchte meine Gedanken und Ansätze als Empfehlungen gerne teilen. Es befinden sich oftmals Tippfehler in den Artikeln und ich bitte um Entschuldigung, dass ich nicht alle korrigieren kann. Aber Sie können mir helfen: Sollten Sie Fehler finden, schreiben Sie mich gerne an! Lesen Sie mehr dazu.
Helfen Sie meinem Blog, vernetzen Sie sich oder arbeiten Sie mit mir
Sie haben eigene, interessante Gedanken rund um die Themenwelt des Blogs und möchten diese in einem Gastartikel auf meinem Blog teilen? – Aber gerne! Sie können dadurch Kunden und Fachkräfte ansprechen.Ich suche aktuell außerdem Werbepartner für Bannerwerbung für meinen Blog. Sollte es für Sie spannend sein Fachkräfte oder Kunden auf Ihre Seite zu leiten, dann bekommen Sie mehr Informationen hier.
Tipp: Ich vergebe auch über den Blog eine gratis Zertifizierung zum Digital & Agile Practioner!
Vernetzen Sie sich in jedem Fall auf Xing oder LinkedIn oder kontaktieren Sie mich direkt für einen Austausch, wenn Sie gleich mit mir ins Gespräch kommen wollen. Werfen Sie auch einen Blick in meine Buchvorschläge zur Digitalisierung, vielleicht wollen Sie mir auch ein Buch empfehlen?
Ich arbeite gerne mit Unternehmen zusammen. Sie können mich ebenfalls gerne bezüglich folgender Punkte anfragen:
- Sehen Sie übersichtlich alle Möglichkeiten zur Zusammenarbeit
- Halten von Vorträgen zu Arbeit, Führung und Agilität
- Veröffentlichung von Gastartikeln
- Content Marketing & Texterstellung
- Workshops und Seminare
- Softwareentwicklung für Unternehmen
- Whitepaper für B2B Leads
- IT-Administation AWS, Kubernetes, Ansible, Cloud und Terraform
- Public Relations (PR) für Unternehmen
- Influencer Marketing
- Whitepaper für B2B Leads
Bildquelle: pixabay.com
