KI-basierte Software-Systeme prüfen und validieren

Der Einsatz von Künstlicher Intelligenz beeinflusst bereits heute unser Leben:

Banken beurteilen unsere Kreditwürdigkeit mittels KI-basierter Software, Versicherungen kalkulieren Versicherungstarife KI-basiert auf Basis individueller Risiken, medizinische KI-Software unterstützt die ärztliche Diagnose, z.B. durch eine KI-basierte Analyse von Röntgenbildern.

Der Einsatz derartiger KI-basierter Software zur Entscheidungsunterstützung bietet enorme Vorteile: auch bei sehr hohen Fallzahlen und großen Datenmengen, kann die KI-Software jeden einzelnen Datensatz (z.B. den Versicherungsantrag des Kunden oder das Röntgenbild des Patienten) individuell analysieren und vollautomatisch eine Klassifizierung vornehmen. Das KI-System wird dabei auch nach tausenden Datensätzen nicht müde oder unaufmerksam und wendet stets dieselben Kriterien an.

Das Ergebnis solcher automatisierten Entscheidungen kann für den betroffenen Kunden oder Patienten gravierende Auswirkungen haben. Beispielsweise, wenn ein Versicherungsantrag abgelehnt wird, weil das KI-System ein hohes Schadensrisiko prognostiziert. Oder wenn eine medizinische Diagnose falsch gestellt wird, weil das KI-System das Röntgenbild falsch klassifiziert.

KI-basierte Entscheidungssysteme und autonome Systeme

KI-Software muss vertrauenswürdig sein!

Hersteller, aber auch Anwender von KI-basierten Entscheidungssystemen müssen sicherstellen, dass ihre KI-Software vertrauenswürdig ist!
Fehlerhafte Entscheidungen der KI können verschiede Ursachen haben:

  • die KI verarbeitet die zu prüfenden Daten falsch, weil (wie bei „normaler“ Software) ein Programmierfehler im Programmcode vorliegt,
  • die KI klassifiziert falsch, weil das anzuwendende Klassifikationsmodell unzureichend ist oder die KI dieses falsch oder unzureichend „gelernt“ hat,
  • die KI klassifiziert falsch, weil die Datengrundlage oder die Daten-Vorverarbeitung falsch, ungenau oder unvollständig ist.

Alle diese Aspekte müssen nicht nur einmalig (im Rahmen des Tests und der Validierung) des KI-basierten Entscheidungssystems) überprüft werden, sondern über den gesamten Lebenszyklus des Systems hinweg:

 

  • Die eingesetzten KI-Algorithmen müssen grundsätzlich geeignet und leistungsfähig genug sein, für die intendierte Anwendung.
  • Die verwendeten Trainingsdaten müssen repräsentativ und diskriminierungsfrei ausgewählt und verwendet werden.
  • Das System soll die Fähigkeit besitzen, seine Entscheidungen nachvollziehbar/erklärbar zu machen („explainable AI“). Je besser das System „begründen“ kann, warum eine Entscheidung so oder so ausgefallen ist, um so stärkeres kann der Anwender Vertrauen in die jeweilige Entscheidung haben.

Weitere Informationen dazu finden Sie in dem Artikel  "Warum KI intelligente Qualitätssicherung braucht" OBJEKTspektrum, Ausgabe 02/2020 und German Testing Magazin, Ausgabe 01/2020, S. 20-24 von Nils Röttger, Gerhard Runze und Verena Dietrich

Vertrauen in KI-basierte Systemen durch Qualitätssicherung

Damit KI-Systeme oder Software, die KI-Komponenten enthält, korrekt, zuverlässig, vertrauenswürdig und ethisch vertretbar funktioniert, ist es unerlässlich, dass die Entwicklung und der Betrieb solcher Systeme mit einem professionellen Qualitätssicherungsprozess flankiert sind.

Seit Mitte 2019 erarbeiten unsere imbus KI-Spezialisten sowie weitere Expertinnen und Experten aus Wirtschaft und Gesellschaft - unter Federführung des Deutschen Institut für Normung e.V. (DIN)und der Deutschen Kommission Elektrotechnik Elektronik Informationstechnik (DKE) in einem gemeinsamen Projekt mit dem Bundesministerium für Wirtschaft und Energie (BMWi) - eine Roadmap zu Normen und Standards im Bereich KI.

 

Künstliche Intelligenz (KI) für Ihr Unternehmen

imbus hat aus seinen Projekterfahrungen heraus ein Vorgehensmodell für die Qualitätssicherung von KI-Systemen erarbeitet. Bestandteil dieses Modells ist ein Leitfaden, den imbus bereits erfolgreich in Projekten eingesetzt hat. Er verbindet die jeweiligen Projektphasen mit konkreten QS-Maßnahmen. So können wir schnell und gezielt Hilfestellung geben, wenn etwa Qualitätsprobleme mit dem Verhalten des KI-Systems auftreten, weil zum Beispiel die Lerndaten wegen Drift oder Bias nicht mehr zu den Produktivdaten passen.

Wir haben in unseren Projekten festgestellt, dass sich im Umfeld KI ein unabhängiger Blick von außen lohnt, denn KI erfordert einerseits umfangreiche Expertise in dieser Domäne. Andererseits ist auch bei KI-Anwendungen der Einsatz klassischer Methoden der SW-Qualitätssicherung weiterhin sinnvoll und notwendig. Zusätzlich können gerade durch diesen Blick von außen unentdeckte Probleme bezüglich Qualität und auch ethischer Aspekte schneller aufgedeckt und behoben werden oder sie treten im günstigsten Fall gar nicht erst auf. Zudem profitieren Sie von unserer umfangreichen Erfahrung mit Integrations-, Performanz- oder Robustheits-Test, welche weitere wesentliche Bausteine in der Qualitätsbeurteilung von KI-Systemen liefern.

» Vereinbaren Sie hier gleich einen Termin «
... zu einem ersten Gespräch z. B. zu Ihrer Teststrategie mit unseren Experten für KI Test, die u.a. bei der Roadmap zur KI beim DIN mitgearbeitet haben. In einem unverbindlichen Erstgespräch gehen wir auf Ihre ganz konkreten Herausforderungen ein und können gemeinsam ein weiteres Vorgehen abstimmen. 

Falls tiefergehende Gespräche und Analysen für Sie einen Nutzen bringen bieten wir Ihnen gerne unseren Expert Day mit dem Thema KI an. Ein Expert Day wird individuell auf Sie zugeschnitten. Es gibt intensive Gespräche mit zwei unserer Experten, die Ihre Situation analysieren, Verbesserungsempfehlungen ausarbeiten und diese am Ende in einer Abschlusspräsentation vorstellen.

Für eine Sensibilisierung zum Thema Testen und KI und eine grundlegende Einführung in die entsprechende Methodik empfehlen wir unsere A4Q-Schulung „AI and Softwaretesting Foundation“ mit Zertifizierungsmöglichkeit.

 

Das könnte Sie auch interessieren: