Optimierung von KNIME Workflows für Big Data Analytics

Bachelorarbeit aus dem Jahr 2024 im Fachbereich Ingenieurwissenschaften - Wirtschaftsingenieurwesen, Note: 3,0, Hochschule Fresenius Idstein, Sprache: Deutsch, Abstract: In dieser Studie wurde die Implementierung eines neuen Softwaresystems innerhalb der Hubert Burda Media Holding untersucht, das darauf abzielt, umfangreiche Datensätze effizient zu kombinieren, zu aktualisieren und zu validieren. Die Notwendigkeit einer lokalen Ausführung der Software wird betont, um die Sicherheit interner Daten zu gewährleisten. Es werden spezifische Anforderungen und Kriterien für das System festgelegt, einschließlich Funktionen für Datenbereinigung und Analyse, die transparente und nachvollziehbare Ergebnisse liefern. Eine umfassende Bewertung von über 50 Produkten wurde durchgeführt, wobei wissenschaftliche Forschungsergebnisse den Auswahlprozess unterstützten. Die Entscheidung fiel auf KNIME, ein Tool, das für seine leistungsstarken Datenverarbeitungsfunktionen bekannt ist. Die Integration von KNIME in die bestehende IT-Infrastruktur wird detailliert beschrieben, mit besonderem Fokus auf die Anforderungen an Schnittstellen und die Leistungsfähigkeit der Software. Es wurden fünf potenzielle Schnittstellen identifiziert und mit dem SAP-System abgeglichen. Die Studie beleuchtet auch die anfänglichen Hypothesen über die geeignete Lösung und deren Umsetzung. Während des Projekts traten technische und organisatorische Herausforderungen auf, insbesondere bei der Evaluierung der Schnittstellen, die von der IT-Abteilung abhängig sind. Eine vorgeschlagene Lösung beinhaltete den unidirektionalen Export von Daten aus dem SAP R/3-System auf einen Microsoft SQL Server, was Änderungen an den SAP-Daten verhindert und einen etablierten Dienst nutzt. Diese Studie bietet einen umfassenden Überblick über den Prozess der Auswahl und Implementierung eines Softwaresystems, das die spezifischen Anforderungen eines großen Medienkonzerns erfüllt.