Hier webcastet die Software-QS-Tag Community! Wir haben die aktuellen und anspruchsvollen Topthemen der QS-Branche – eben typisch Software-QS-Tag. Die volle Packung Software-QS in einem Webcast. Aber nicht als stundenlangen Bildschirm-Marathon (ja, wir haben sehr viele interessante Inhalte), sondern kompakt in kurzen, aber intensiven Einheiten.

Egal, ob Sie sich nur für bestimmte Fachthemen in einzelne Webcasts einwählen oder doch lieber die gesamte Bandbreite des Software-QS-Casts nutzen wollen: Es lohnt sich auf alle Fälle, an dieser Webcast-Reihe dran zu bleiben. Und wer einmal eine Folge verpassen sollte, bekommt von uns selbstverständlich den Link zum Download zur Verfügung gestellt.

Wir freuen uns auf Sie! Und das sind die Beiträge des Software-QS-Casts Teil 4 „Testen von und mit KI- und Machine Learning“:

Können wir der KI vertrauen?

Referent: Herr Gerhard Runze, imbus AG

Können wir der KI vertrauen?
Algorithmen, Vertrauen und Standards – die neuen Herausforderungen für den Softwaretest

Der langfristige Erfolg von Künstlicher Intelligenz (KI) hängt vom Vertrauen einer Gesellschaft in diese rasant wachsende Technologie ab. Qualitätsstandards sind dabei ein wesentlicher Faktor, Vertrauen zu erlagen. So, wie wir es bereits aus der Luft- und Raumfahrt, der Automobil- oder der Medizintechnik kennen.

Am Ende müssen vor allem Nutzer wissen: Ich kann der KI vertrauen.  Deshalb wurde die Grundlage eines Qualitätsstandards für KI in einer Normungsroadmap entwickelt, um Vertrauenswürdigkeit in KI und deren Qualität durch einen neuen international anerkannten Standard zu stärken.

Dies geschah durch die Initiative der Bundesregierung und wurde von dem Deutschen Institut für Normung (DIN) und der Deutschen Kommission Elektrotechnik Elektronik Informationstechnik (DKE) gemeinsam mit Vertretern aus Wirtschaft, Wissenschaft und der Zivilgesellschaft umgesetzt.

Der Vortrag wird etwas Licht in den Begriff der „Vertrauenswürdigkeit“ bringen und dessen Aspekte beleuchten:

• Was bedeutet es, Vertrauen in KI zu haben? 
• Welche Grade von „Vertrauenswürdigkeit“ in Zusammenhang mit KI sind denkbar? 

Eng damit verbunden ist auch die Frage, wie man Vertrauen in KI-basierte Algorithmen erlangt, und warum dies ebenso schwierig wie bei der klassischen Softwareentwicklung ist. Mit einem kurzen Einblick in den aktuellen Stand der DIN Normungsroadmap KI wird gezeigt, welche Aufgaben vor diesem Gremium liegen, und mit welchen Themen sich ein Software-Tester von morgen auseinandersetzen muss.

Machine Learning from Failures

Referenten: Dr. Gregor Endler, codemanufaktur GmbH und  Marco Achtziger,  Siemens Healthineers

Wie Machine Learning Softwareentwicklung und -test effektiver macht:
In großen Softwareprojekten ist es oft nicht möglich, alle Testfälle durchzuführen und die Resultate dabei kurzfristig zu erhalten. Die Ausführung mancher Tests kann Stunden oder im schlimmsten Fall sogar Tage dauern. Entwickler, die diese Testresultate benötigen, wenden sich in dieser Zeit wieder anderen Themen zu. Sobald die Resultate bereitstehen müssen sie sich erneut in die Thematik der Tests einlesen - dadurch entstehen "Reibungsverluste".
 
Außerdem will man beim Ausführen von Testsuites diejenigen Tests als erste behandeln, die mit größter Wahrscheinlichkeit fehlschlagen. So erhält man schneller relevante Ergebnisse. Diese Wahrscheinlichkeit zu beurteilen ist jedoch schwierig, da die Auswirkung einer Codeänderung auf einen
Testfall nicht trivial festzustellen ist.

Wie kann Machine Learning hier helfen?
Grundlage sind Metadaten, die bei der Software-Entwicklung anfallen. Versionsverwaltungssysteme bieten Informationen über Codeänderungen und können zusammen mit Daten über vergangene Testausführungen Input für das Training eines Machine Learning (ML) Systems liefern.

Nach dem Training kann so ein System binnen weniger Sekunden Testresultate schon vor der eigentlichen Ausführung der Tests vorhersagen, wodurch Entwickler unmittelbares Feedback zu ihren eben durchgeführten Codeänderungen erhalten. Zudem lässt sich die Ausführung mehrerer Tests anhand ihres vorhergesagten Ausgangs priorisieren.

In unserem Vortrag stellen wir ein ML System vor, das mit Versionskontroll- und Testausführungsdaten aus 5,5 Jahren Softwareentwicklung in einem Projekt mit über 200 Entwicklern trainiert wurde. Wir beschreiben das Vorgehen zur Datenerhebung und -vorverarbeitung, erläutern die verwendete Machine Learning Herangehensweise, und demonstrieren die Qualität der Vorhersagen des Systems.

Kann uns AI helfen, besser zu testen?

Referent: Dr. Elmar Jürgens, CQSE

Machine Learning hat uns im privaten Bereich längst erreicht: Amazon schlägt mir Produkte vor, Netflix Filme. Oft treffen sie dabei sogar meinen Geschmack. Warum gibt es keine Software, die mir fundiert vorschlägt, was ich testen soll?

Es gibt mehrere Ansätze in der Forschung, die das versprechen. Defect Prediction setzt beispielsweise Machine Learning auf historischen Fehlerdaten ein, um vorherzusagen, wo in meinem System mit hoher Wahrscheinlichkeit noch Fehler enthalten sein könnten. Aber wie gut funktioniert das wirklich in der Praxis? Wir haben verschiedene dieser Ansätze selbst implementiert und eingesetzt. In dieser Keynote stelle ich die Ergebnisse und Erfahrungen aus Forschung und Praxis vor - sowohl die nützlichen als auch die Fehlschläge.

Wichtiger  Hinweis: Titel und Inhalt Vortrag 3 wurde am 18. Januar inhaltlich aktualisiert.