Kategorie: Forschung und Entwicklung

Hier finden Sie Projekte von Forschern der Innovationsplatform sowie eine Liste der Veröffentlichungen im Bereich Machine Learning and Data Analytics.

Big Content Data

Big Content Data

Projekt Big Content Data wird gefördert im Rahmen EFRE.NRW des Aufrufs CreateMedia.NRW und geleitet von Professor Treichel und Professor Kummert (BUW).
Im Zuge der Digitalen Transformation sind in NRW neben den klassischen Medienbranchen völlig neue, wachstumsstarke dienstleistungs- und kreativitätsorientierte Medienstrukturen und -segmente entstanden.

Es gilt, die erreichte Position für die NRW.Druck- und Medienbranche zu behaupten und auszubauen! Die Digitalisierung hat unter dem Stichwort „Industrie 4.0“ bereits eine intensive Diskussion in der Branche ausgelöst. Mehr...

Allerdings ist der „4.0-Fokus“ stark auf die Produktion bzw. auf neue Produktionsprozesse und -technologien verengt. Dabei sind gerade Inhalts(Content-) daten typische so genannte „unstrukturierte“ Datenbestände (aus Text-, Grafik-, Bild-, Layout-, Videodaten etc.), die die zentrale Basis für Data Analytics im Kontext Big Data darstellen. Die genaue, sich im Prozess optimierende („lernende“), automatisierte Analyse und Auswertung einer großen Anzahl unstrukturierter Daten (Big Data), z.B. in Verbindung mit „strukturierten“ Daten (z.B. einer Kundendatenbank), führen zu deutlich verbesserten Vorhersagen z.B. des Kaufverhaltens von Katalogkunden, Kunden-kategorisierungen im Multi-Channel-Marketing, Marktpotenzial-Analysen (Market Intelligence), Response- und Leseranalysen etc. Auf der Basis gesicherter Prognosen können dann z.B. Produktions- oder Logistikentscheidungen getroffen werden, wobei gerade hoch komplexe Entscheidungen (mit großer Variablenanzahl) ebenfalls durch Algorithmen automatisiert getroffen werden und so häufig zu erheblichen Kosteneinsparungen und/oder Umsatzsteigerungen in der Praxis führen.

Deep Learning mit wenigen Labels

Deep Learning mit wenigen Labels

Im Deep Learning wird meist auf unstrukturierten Daten (z.B. Bildern oder Texten) eine Klassifikation oder Regression gelernt. Dabei kommen (tiefe) neuronale Netze zum Einsatz. Damit das Netz lernt, muss zu ausreichend vielen Daten eine sogenannte Ground Truth, d.h. das Wissen um die korrekte Klassifizierung, vorhanden sein. Die Erzeugung dieser Ground Truth, auch Labels genannt, kann kostspielig und zeitaufwändig werden. Dies ist eine Hürde, die es erschwert, Verfahren des Deep Learnings in der Praxis zum Einsatz zu bringen.

Das aktive Lernen und das halb-überwachte Lernen liefern zwei Ansätze, um mit wenigen Labels möglichst performante Netze anzulernen. Mehr...

Mit diesen Ansätzen entwickeln Dr. Matthias Rottmann, Dr. Karsten Kahl und Professor Hanno Gottschalk Verfahren, durch die neuronale Netze in die Lage versetzen von wenigen Labels lernen. Im aktiven Lernen fragt das Neuronale Netz einen Experten oder Nutzer nach zusätzlichen Labels zu Daten, bei denen es sich besonders unsicher ist. Zur Bestimmung dieser Unsicherheit kommen Methoden der Bayeschen Inferenz zum Einsatz. Beim halb-überwachten Lernen werden ungelabelte Daten zum Training genutzt, d.h. das Neuronale Netz lernt auf diesen Daten durch Selbstbestätigung. Durch eine Kombination dieser Verfahren erreichen Matthias Rottmann, Karsten Kahl und Hanno Gottschalk auf standardisierten Benchmarks (Klassifikation von handschriftlichen Ziffern) sehr gute Resultate. Die Grafik zeigt ein Testproblem, bei dem das neuronale Netz die Punkte anhand ihrer Lage in der Ebene nach ihrer Farbe klassifizieren soll. Nur die durchkreuzten Punkten, d.h. zu 8% der abgebildeten Datenpunkte, wurden im Verlauf des Verfahrens gelabelt, der Farbverlauf im Hintergrund zeigt an, in welchem Bereich der Ebene welche Farbe vom neuronalen Netz vorhergesagt wird.

Semantische Bild-Segmentierung

Semantische Bild-Segmentierung

Professor Kummert und Professor Treichel (BUW) arbeiten aktuell auf dem Gebiet der semantische Bild-Segmentierung.
Unter der semantischen Bild-Segmentierung versteht man die gleichzeitige Clusterung eines Bildes und Klassifikation dieser Bildsegmente in eine feste Anzahl von Klassen. Dazu werden tiefe künstliche neuronale Netze eingesetzt. Das Problem der semantischen Segmentierung wird als ein Klassifikationsproblem für jeden einzelnen Pixel des Bildes formuliert. Nachdem das Netz mittels des Datensatzes trainiert wurde, können neue Eingabedaten, welche das Netz nicht während des Trainings verarbeitet hat, semantisch segmentiert werden (vgl. Abbildung unten).

Mehr...

Durch das dazugehörige Entropiebild der geschätzten Segmentierung (s.rechts) kann eine Aussage darüber getroffen werden, wie sicher sich das künstliche neuronale Netz über die geschätzte Klassenzuordnung ist. Hohe Entropiewerte sind gelb codiert und bedeuten, dass sich das Netz über die geschätzte Klassenzuordnung unsicher ist.

Wie man der Abbildung entnehmen kann, ist sich das künstliche neuronale Netz bei der Zuordnung des Bodens sowie der vorderen Stühle und des Tisches bei diesem Beispiel sehr sicher. Unsicher ist sich das Netz über die Zuordnung des Schreibtisches und zugehörigen Stuhls im hinteren Teil des Bildes.

Erkennung von menschlichen Aktivitäten mittels Deep Learning

Erkennung von menschlichen Aktivitäten mittels Deep Learning

Das unten beschriebene Themenfeld wird primär in den Arbeitsgruppen von Professor Treichel und Professor Kummert (BUW) bearbeitet.


Das Interesse, menschliche Aktivitäten automatisch zu erfassen, nimmt z.B. in den Bereichen Biomedizin, Spieleentwicklung sowie im persönlichen Fitnessbereich stetig zu. Sensoren werden am Körper befestigt, um die Körperbewegung, physiologische Signale oder Umgebungsvariablen zu messen. Mehr...

Mittels maschineller Lernverfahren werden die Sensordaten anschließend ausgewertet, um z.B. eine Aktivität zu klassifizieren oder Informationen über seine eigene Fitness zu erhalten. Dabei benötigen die Lernverfahren charakteristische Merkmale, die es ermöglichen zwischen verschiedenen Aktivitäten in den gesammelten Daten zu unterscheiden. Das Auffinden der Merkmale kann ganz klassisch manuell von einem Experten übernommen werden, was teuer, zeitaufwendig und abhängig vom Wissen des Experten ist oder wie in diesem Projekt durch ein oben schnematisch dargestelltes 2-D faltendes neuronales Netz. Dafür wird aus den 1-D Signalen der Sensoren ein 2-D Bild mittels der Kurzzeit-Fourier-Transformation erzeugt. Das neuronale Netz wird mit den Bildern als Eingangssignal trainiert und die Aufgabe der Merkmalsextraktion übernimmt vollständig automatisiert das faltende neuronale Netz. Unten sehen Sie als Beispiel zwei erzeugte Spektrogramme zweier unterschiedlicher Klassen. Der Beschleunigungssensor wurde am rechten unteren Fuß befestigt.

Die Entropie der Katze – oder wie unsicher ist sich die KI?

Die Entropie der Katze – oder wie unsicher ist sich die KI?

Die Entropie als Maß für die Unsicherheit zu untersuchen gehört zu den Forschungsprojekten von Professor Hanno Gottschalk und Dr. Matthias Rottmann.
Im Supervised Learning entscheidet sich eine KI zwischen verschiedenen Handlungsoptionen, indem sie die „wahrscheinlich beste“ auswählt. Trainiert man die KI auf die Erkennung der handgeschriebenen Zahlen 0-4 auf einem Foto, so wird die KI auch in jedem anderen Foto eine Ziffer 0-4 erkennen, auch wenn eine Katze oder einfach nur Rauschen auf dem Bild zu erkennen ist. Mehr...

Jenseits dessen kann sich die KI auch bei gelernten Konzepten schon mal irren (wenn auch nur sehr selten). In diesem Forschungsprojekt haben Dr. Matthias Rottmann und Professor Hanno Gottschalk sich die Frage gestellt, ob Irrtümer oder Falschbenutzung der KI durch ungelernte Konzepte (sog. ‚unknown unknowns‘) von der KI selbst erkannt werden kann. Dazu messen sie neben der wahrscheinlich besten Alternative auch die Unsicherheit der KI durch die Entropie, also das Maß an Unordnung bei Bewertung der Alternativen. Gottschalk und Rottmann konnten nachweisen, dass sowohl Fehler der KI als auch Fehler durch falsche Benutzung statistisch mit höherer Unsicherheit (Entropie) einher gehen. Dies kann benutzt werden, um vermutlich falsche Vorhersagen auszusortieren und so die Verlässlichkeit der KI zu steigern.

Hierbei trainieren wir tiefe, gefaltete neuronale Netze (sog. CNN) mit handgeschriebenen Ziffern 0-4 und beobachteten die Entropie für richtig und falsch klassifizierte Bilder, für Bilder von Ziffern 5-9, Katzenbilder und Rauschen.

Lernende Assistenten für numerische Simulationen

Lernende Assistenten für numerische Simulationen

In verschiedenen Projekten beschäftigt sich Jörg Frochte mit der Problematik der Bereitstellung von lernenden Assistenzsystemen im Kontext von Simulation und Modellbildung. Zu diesen Projekten gehörten SimCloud, welches von 2012-2016 vom BMBF unter Leitung von Professor Frochte gefördert wurde. Hierbei wurde u.a. ein lernendes Assistenzsystems zur Rechenlast-Verteilung in der FEM-Simulation entwickelt. Der erforschte Ansatz verwendet eine zweistufige Architektur, um zusätzliche Rechenkosten zu minimieren. Der Ansatz erfordert keine gelabelten Daten zur Qualitätsbewertung für eine Lastverteilung und kann sich als unüberwachtes Verfahren verbessern.

Mehr...
Im Rahmen einer Kooperation mit der Bauhausuniversität Weimar wurden Assistenzsysteme zum Brückendesign basierend auf FEM-Simulationen entwickelt und vorgestellt. Die neue Technik ist ohne erneute Simulation in der Lage vorgeschlagene Brückendesigns zu bewerten und ggf. zu verwerfen.


Ebenfalls im Rahmen einer Kooperation mit Weimar konnte ein Verfahren entwickelt werden, welches lernt die Parameter in numerischen Verfahren selbstständig zu wählen. Die Ergebnisse wurden veröffentlicht in Learning Overlap Optimization for Domain Decomposition Methods, Simulation Data Mining for Supporting Bridge Design und On Learning Assistance Systems for Numerical Simulation.

Optimierung und Simulation: Parameteroptimierung in der Funktionsentwicklung von Gasgeräten

Optimierung und Simulation: Parameteroptimierung in der Funktionsentwicklung von Gasgeräten

Die Optimierung ist die Grundlagen vieler Techniken im Bereich des maschinellen Lernens wie SVM oder Deep Neural Networks. In Projekten wie dem unten beschrieben mit der Vaillant GmbH als Partner zeigt sich die Tradition der Übertragung von wissenschaftlichen Erkenntnissen in der numerischen Optimierung auf Probleme der industriellen Praxis an der BUW durch Frau Professor Kathrin Klamroth.

Mehr...
Die Entwicklung neuer Funktionalitäten, hier z. B. für Heizgeräte, basiert i.d.R. auf Simulationsmodellen. Durch realitätsnahe Simulationen können u. A. Protoypentwicklung und Labortests auf ein Minimum reduziert werden. Simulationsmodelle hängen von verschiedenen physikalischen Simulationsparametern ab. Diese Parameter werden optimal eingestellt, so dass der Simulationsfehler möglichst gering ist: Die Simulationsergebnisse werden dazu mit im Labor für verschiedene Parameterwerte gemessenen Daten verglichen und die Parameter entsprechend optimiert. Gegebenenfalls zeigen die Ergebnisse der Optimierung, dass noch eine größere Modellanpassung erforderlich ist, um die Realität verlässlich abzubilden.
Es kommen verschiedene simulationsbasierte Optimierungsverfahren zum Einsatz, teilweise unterstützt durch automatische Differentiation. Da häufig auch die Laborergebnisse Ungenauigkeiten unterliegen, z. B. aufgrund von Toleranzen der Bauteile oder Ungenauigkeiten bei den gemessenen Sensordaten, wird der Optimierungsprozess durch Methoden der robusten Optimierung ergänzt.

Maschinelles Lernen in Daten-getriebenen Ansätzen zum Lösen linearer Gleichungssysteme

Machine Learning in Computer Simulations: Maschinelles Lernen in Daten-getriebenen Ansätzen zum Lösen linearer Gleichungssysteme

Auf dem Gebiet der Numerik beschäftigen sich Dr. Karsten Kahl und Dr. Matthias Rottmann mit  Lösungsverfahren zu linearen Gleichungssystemen. Letztere stammen dabei häufig aus der Diskretisierung partieller Differenzialgleichungen und beschreiben z.B. mechanische oder andere dynamische Wechselwirkungen. Die Lösung dieser Gleichungssysteme erzeugt oft die Hauptrechenlast in wissenschaftlichen Simulationen. Daher ist es wichtig effiziente hoch-skalierende Lösungsverfahren zu entwickeln. Sogenannte Mehrgitter-Verfahren gelten dazu als besonders geeignet. Diese kombinieren ein einfaches iteratives Lösungsverfahren, das für sich genommen das Problem nur sehr langsam löst, mit einer Unterraum-Korrektor, die komplementär wirken soll.

Mehr...
Die Abbildung zeigt ein illustratives Beispiel der Funktionsweise von Mehrgitterverfahren. Links abgebildet ist der aktuelle Fehler, der Differenz von Lösung und ihrer aktuellen Approximation. Ein paar Schritte des iterativen Verfahrens beseitigen stark oszilierende Fehlerkomponenten, der Fehler wird anschaulich glatt (mitte). Der glatte Fehler lässt sich in einem Unterraum, in diesem Fall durch eine gröbere Auflösung, gut darstellen (rechts). Wenn die Geometrie des Problemes unbekannt ist, greift man auf sogenannten algebraische Mehrgitter-Verfahren zurück. In einer Setup-Phase bedarf es dazu der Generierung von Daten, welche den Teil des zu lösenden Problems beschreiben, mit dem das iterative Verfahren am schlechtesten fertig wird. Anhand dieser Daten wird der glatte Fehler und somit die Wirkung der Unterraum-Korrektur adaptiv bestimmt. Das Erzeugen der Daten kann sowohl speicher- als auch rechenaufwändig werden. Karsten Kahl und Matthias Rottmann setzen Verfahren des maschinellen Lernens ein, die mit wenig Daten lernen können, welche Information zum Aufsetzen der Unterraum-Korrektur wichtig ist. Dazu kommen insbesondere Techniken der Regularisierung zum Einsatz.

Publikationen im Bereich Maschinelles Lernen, Data Mining und Data Analytics

Publikationen im Bereich Maschinelles Lernen, Data Mining und Data Analytics

  • M. Rottmann, K. Kahl, H. Gottschalk. Deep Bayesian Active Semi-Supervised Learning, arXiv:1803.01216
  • K. Kahl, M. Rottmann. Least Angle Regression Coarsening in Bootstrap Algebraic Multigrid, arXiv:1802.00595, submitted
  • J. Cao1, A. Kummert, Z. Lin, J. Velten. Journal of the Franklin Institute: Special Issue on Recent Advances in Machine Learning for Signal Analysis and Processing
  • K. Klamroth, E. Köbis, A. Schöbel, C. Tammer. A unified approach to uncertain optimization. European Journal of Operational Research 260:403-420, 2017
  • S. Bracke, B. Backes. Multivariate process capability, process validation and risk analytics based on product characteristic sets: case study piston rod. In: A. Burduk and D. Mazurkiewicz (Eds.): Intelligent Systems in Production Engineering and Maintenance – ISPEM 2017, Wrocław, Poland; 28th – 29th September 2017, Springer.
  • A. Gavriilidis, J. Velten, S. Tilgner, A. Kummert. Machine learning for people detection in guidance functionality of enabling health applications by means of cascaded SVM classifiers in: Journal of the Franklin Institute, 2017
  • J. Heinrich, F. Plinke, J. Hauschild. State-based safety and availability analysis of automated driving functions using Monte Carlo Simulation and Semi-Markov-Processes. Beitrag European Safety and Reliability Conference, Portoroz, Slowenien, 2017.
  • D. Wagner, K. Kalischewski, J. Velten, A. Kummert. Activity recognition using inertial sensors and a 2-D convolutional neural network, in: Multidimensional (nD) Systems (nDS), 2017 10th International Workshop on, pages 1-6, 2017
  • F. Ghorban, S. Farzin, Y. Su, M. Meuter, A. Kummert. Insatiate boosted forest: Towards data exploitation in object detection, in: 2017 13th IEEE International Conference on Intelligent Computer Communication and Processing (ICCP), pages 331 – 338, 2017
  • A. Braasch, D. Althaus. Automatisiertes und Vernetztes Fahren – Neue Herausforderungen an Sicherheit und Zuverlässigkeit. Beitrag VDI Mechatronik Tagung, Dresden, 2017.
  • J. Ringel, A. Witte. Mitgefühl im Schadenfall. Versicherungswirtschaft, 2017.
  • J. Frochte, I. Bernst. Success Prediction System for Student Counseling Using Data Mining in the Proceedings of the 8th International Conference on Knowledge Discovery and Information Retrieval (KDIR 2016), November 2016 in Porto Portugal; pages 181-189, INSTICC, ISBN 978-989-758-203-5
  • M. Hinz, F. Hienzsch, S. Bracke. Analysis of simulated and recorded data of car fleets based on machine learning algorithms. Proceedings: The 13th Probabilistic Safety Assessment and Management, PSAM 13, Seoul, Korea, October 2nd -7th, 2016.
  • I. Bernst, C. Kaufmann, J. Frochte. On Learning Assistance Systems for Numerical Simulation published in International Journal on Computer Science and Information Systems, 11.1 (2016), S. 115–133. ISSN: 1646-3692
  • F. Plinke. Beitrag zur Weiterentwicklung der zuverlässigkeitstechnischen Sensitivitäts- und Ausfallanalyse mittels Monte-Carlo-Simulation. Dissertation, Bergische Universität Wuppertal, 2016
  • A. Braasch. Autonomes Fahren – Rechtliche und Gesellschaftliche Herausforderung, Beitrag VDI Arbeitskreis „Risikomanagement und Zuverlässigkeit“. Wuppertal, 2016.
  • K. Dächert, K. Klamroth. A linear bound on the number of scalarizations needed to solve discrete tricriteria optimization problems. Journal of Global Optimization 61:643–676, 2015
  • S. Burrows, J. Frochte, M. Völske, A. B. Martínez Torres, B. Stein. Learning Overlap Optimization for Domain Decomposition Methods in Proc. of the Seventeenth Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD 2013), volume 7818 of LNAI, pages 438-449, Gold Coast, Australia, April 2013. Springer
  • F. Pfeuffer, M. Stiglmayr, K. Klamroth. Discrete and geometric Branch and Bound algorithms for medical image registration. Annals of Operations Research, 196(1):737-765, 2012.
  • S. Burrows, B. Stein, J. Frochte, D. Wiesner, K. Müller. Simulation Data Mining for Supporting Bridge Design in Proc. Australasian Data Mining Conference (AusDM 11), Ballarat, Australia pages 71-79, December 2011. ACM. ISBN 978-1-921770-02-9
  • O. Museyko, M. Stiglmayr, K. Klamroth, G. Leugering. On the Application of the Monge-Kantorovich Problem to Image Registration. SIAM Journal on Imaging Sciences 2:1068-1097, 2009.