Data Engineering
DATEN GENAU DORT, WO SIE GEBRAUCHT WERDEN.
Schaffe die Grundlage, um das Potenzial von Daten innerhalb deines Unternehmens Bereichs- und Applikationsübergreifend freizusetzen.
Herausforderung
Die meisten Daten, die Unternehmen sammeln, sind unstrukturiert und werden in zahlreichen unterschiedlichen Quellsystemen abgespeichert, die nicht miteinander kommunizieren können. Das Gesamtbild der gesammelten Daten fehlt und die bereichsübergreifende Kommunikation ist träge und mühsam. Die Generierung von Wert aus einer solchen Datengrundlage ist unmöglich.
Sammle die richtigen
Daten am richtigen Ort.
Data Engineering beschäftigt sich damit, Daten aus verschiedenen Quellen zu erheben,
abzuspeichern und für die weitere Verwendung bereitzustellen. Es ist die Grundlage, um das
Potenzial von Daten innerhalb deines Unternehmens Bereichs- und Applikationsübergreifend
freizusetzen.
Schluss mit aktualisieren von Excel-Files von Hand und dem Warten auf die Verfügbarkeit von
Informationen. Übernimm die Kontrolle über deine Daten und automatisiere die repetitiven
Arbeiten.
Gemeinsam entwickeln wir eine massgeschneiderte digitale Lösung, die automatisch alle relevanten
Daten aus den verschiedenen Quellen zieht, diese uniform aufbereitet und dorthin bringt, wo sie
gebraucht werden. Ohne menschliches Zutun.
Unsere Data Engineering
Tools und Technologien.
Quellsysteme
Datenbanken.
Ob MS SQL, Oracle DB oder etwas anderes, wir erschliessen Daten
aus fast allen Datenbanken.
API.
Spezifische API für den Datenaustausch im Einsatz? Kein Problem, wir
finden einen Weg.
Files.
Daten in Excel, CSV o. Ä.? Gerne extrahieren wir auch direkt aus
Dokumenten.
ELT Pipelines
Azure Data Factory & Azure Synapse.
Modulare Zusammenstellung von Pipelines
ohne Code.
Azure Data Bricks.
Verarbeitung von Big Data in einer Apache Spark
Umgebung.
Data Lake
Azure Data Lake Storage.
Hochgradig skalierbare, kostengünstige
Speicherplattform für praktisch unbegrenzte Datenmengen.
Data Warehouse
Azure SQL Database.
Klassische Bereitstellung der Daten in einem
relationalen Datenmodell.
Azure Synapse.
Geeignet für grosse Datenmengen und hohe Performance durch
Parallelisierung.
Data Engineering in
5 Phasen.
Wir lieben es, über Daten und mögliche Anwendungsfälle mit Business Value zu sprechen. In einem offenen, unverbindlichen Gespräch erfahren wir gerne mehr über deine aktuelle Situation und deine Bedürfnisse. Gemeinsam finden wir heraus, ob Daten auch für dein Unternehmen einen Mehrwert schaffen.
Wir definieren gemeinsam ein Zielbild deiner gewünschten Lösung. Zusammen schärfen wir die Anforderungen, identifizieren die betroffenen Umsysteme und bestimmen die nötigen Voraussetzungen. Basierend darauf stellen wir das optimale Paket zur Zielerreichung zusammen.
Wir verschaffen uns ein detailliertes Bild deiner Daten im Business-Kontext als Grundlage für die technische Umsetzung der Lösung. Durch Gespräche mit Fachexpert:innen aus deinem Unternehmen vertiefen wir unser Verständnis deiner Daten und den Zusammenhang zu deinem Business-Alltag.
Auf Basis des Data Understandings realisieren wir Daten-Pipelines, Reports oder Vorhersagemodelle. In regelmässigen Projekt-Meetings bringen wir dich auf den neuesten Stand und schärfen iterativ den Weg zum Ziel.
Mit den Rückmeldungen deiner Fachexperte:innen validieren wir deine Lösung hinsichtlich Funktionalität und den definierten Anforderungen. Die Phasen Modeling und Validation werden wiederholt, bis die Lösung dein Bedürfnis abdeckt.
Wir integrieren die Lösung auf deiner produktiven Umgebung und zeigen deinen Mitarbeiter:innen, wie diese optimal eingesetzt werden kann. Mit dem Deployment schliessen wir die Lösung ab, übergeben sie an dich und stellen sicher, dass alle Anwender:innen die notwendigen Werkzeuge haben, um die Lösung wertbringend zu nutzen.
FAQ – Häufig gestellte Fragen zu Data Engineering.
Daten sind Informationen in einer für Computer lesbaren Form. Jede Interaktion mit deinem Unternehmen ist eine mögliche Datenquelle: Website Klicks, Kundenfeedback, sogar das NICHT Klicken auf eine deiner Werbeanzeigen. Viele Applikationen wie ERP oder CRM Systeme speichern Daten strukturiert in Datenbanken, welche als Datenquelle verwendet werden können. Es gibt aber auch viele unstrukturierte Datenquellen wie Office-Dokumente, Bilder oder Social Media-Kommentare.
Data Engineering beschäftigt sich damit, Daten aus verschiedenen Quellen zu erheben, abzuspeichern und für die weitere Verwendung bereitzustellen. Es ist die Grundlage, um das Potenzial von Daten innerhalb deines Unternehmens Bereichs- und Applikationsübergreifend freizusetzen.
Du brauchst eine:n Data Engineer, wenn dein Unternehmen bereits in verschiedenen Teilbereichen mit Daten arbeitet, diese aber nicht in ausreichender Qualität für die Verwendung ausserhalb des Quellsystems bereitstehen oder aufgrund von Datensilos nicht bereichsübergreifend verwendet werden können.
Data Engineers beschäftigen sich mit dem Sammeln und aufbereiten von Daten. Data Scientists nutzen diese Daten, um Prognosen zu generieren, versteckte Zusammenhänge in Daten zu finden oder unstrukturierte Datenströme wie Bild, Text und Ton zu verarbeiten.
Data Engineers sammeln die richtigen Daten und bereiten diese so auf, dass sie bereichsübergreifend genutzt werden können. In Business Intelligence werden Daten analysiert und darin gefundene Muster auf verständliche Weise den Entscheidungsträger:innen des Unternehmens präsentiert.
Fragen zu
Data Engineering?
Bei Fragen zu Data Engineering steht dir Dominic Schranz unser Lead Data Engineering gerne zur Verfügung.
Dominic Schranz
LEAD DATA ENGINEERING
BSc Wirtschaftsinformatik (BFH)
MSc Applied Information and Data
Science (HSLU)