Wichtigste Neuerungen der Version 2.6

Release-Datum: 21.01.2020

Erweiterung von freigegebenen Datentypen

Die Bausteine (Testelemente) des Keyword-Driven Tests sind ab dem Moment, ab dem sie den Status "freigegeben" erhalten für alle Änderung gesperrt. Werden Datentypen an weiteren Bausteinen oder Tests verwendet besteht jedoch häufig die Notwendigkeit, dass auch neue Werte in die Äquivalenzklassen und Datentabellen eingefügt werden müssen, da die bestehenden nicht ausreichend sind. Bisher wurde in solchen Fällen der Datentyp wieder in den Status "in Bearbeitung" zurück gesetzt, was dann auch zur Auflösung der Freigabe aller ihn verwendenden Elemente führte.

Ab sofort können zusätzliche, neue Werte auch in freigegebenen Datentypen erfasst werden, d.h. sie müssen nicht mehr auf den Status "in Bearbeitung" zurück gesetzt werden.
Zum Zeitpunkt der Freigabe bestehende Daten und Werte können natürlich weiterhin nicht geändert werden.

Interaktionen und Datentypen direkt in statische Ansicht ziehen

Mit den Bausteinen (Testelemente) des Keyword-Driven Tests können sehr komplexe Strukturen sehr komprimiert modelliert werden. Um die Komplexität eines Testelementes auf einen Blick zu erfassen, kann die statische Ansicht des Testelemente-Browsers genutzt werden.

Ab sofort können Testelemente direkt aus der Position ihrer Verwendung innerhalb von Testsequenzen oder Parameterlisten in die statische Ansicht gezogen werden. Damit wird die Analyse von bestehenden Testdefinitionen wieder etwas einfacher und schneller.

Exakt an Stelle der Verwendung springen

Für jedes Element in der TestBench wird gespeichert, welche anderen Elemente dieses Element verwenden bzw. aufrufen. So ist immer leicht ermittelt, welche Elemente z.B. von Änderungen betroffen sind oder welche Tests nach einer Änderung wiederholt werden müssten. Aus diesem sogenannten Verwendungsnachweis kann direkt zum Verwender gesprungen werden.

Ab sofort wird direkt zur Position der Verwendung innerhalb des Verwenders gesprungen. Für z.B. Interaktionen (Keywords des Keyword-Driven Test) wird direkt in die Testdefinition gesprungen und darin die Position der Interaktion innerhalb der Testsequenz markiert.
Damit wird das Springen zwischen Elementen spürbar vereinfacht und beschleunigt. Auswirkungsanalysen von Änderungen werden vereinfacht.

Zuordnen von Fehlern optimiert

Die Zuordnung von Fehler an Testfällen kann jetzt einfacher erfolgen:

  • Testfälle müssen nicht mehr vorausgewählt werden, sondern Fehler können direkt einem Testfall in der Liste der Testfälle zugeordnet werden.
  • Fehler können allen Testfällen gleichzeitig zugeordnet werden oder von allen Testfällen gleichzeitig entfernt werden.

Aktualisieren einer Variante

Im Rahmen des Variantenmanagements können jetzt Änderungen innerhalb einer Basis-Testobjektversion (Basis-TOV) in bereits abgeleitete Varianten übernommen werden. Die Übernahme erfolgt manuell aus der Variante, damit Varianten kontrolliert und nur wenn wirklich der Bedarf einer Aktualisierung besteht, aktualisiert werden können.

Es können vollständige Varianten, einzelne Teilbäume des Testthemenbaumes oder einzelne Tests aktualisiert werden.
Weiterhin besteht die Möglichkeit neue Elemente aus der Basis-TOV in eine Variante zu kopieren. Dabei erfolgt automatisch die Ableitung für die Variante.

Neue Plugins zur Anbindung des Robot Frameworks

Die Anbindung des Robot Frameworks an die Testautomatisierungsschnittstelle der TestBench wurde neu implementiert.

Es stehen jetzt drei Plugins zur Verfügung:

  1. Robot Framework Export-Plugin
    Dient der Aufbereitung der Testspezifikation zur Ausführung der automatisierten Tests mit dem Robot Framework.
    Die Tests können bei Bedarf direkt aus dem Plugin aufgerufen werden.
  2. Robot Framework Import-Plugin
    Dient der Übernahme der Testergebnisse aus dem Robot Framework in die TestBench.
  3. Robot Framework Library Import-Plugin
    Rund um das Robot Framework existiert eine große Anzahl an Bibliotheken um die Testspezifikation bestimmter Systeme oder Umgebungen zu erleichtern. So stehen z.B. etliche Bibliotheken rund um Selenium zur Verfügung. Mithilfe des Plugins können die Bibliotheken in die TestBench importiert werden und stehen dort als Testelemente im Keyword-Driven Test zur Verfügung. So können Tests spezifiziert werden die quasi out-of-the-box automatisiert ausgeführt werden können.

Testing Intelligence: Darstellung der Diagramme speichern

Die Einstellungen für die Darstellung der Diagramme im Metrik-Addon Testing Intelligence werden jetzt permanent gespeichert:

  • Gruppierte oder gestapelte Anzeige der Balkendiagramme
  • Ausgeblendete Status

Ausgeblendete Status können durch einfachen Klick auf die Legende wieder eingeblendet werden.
Sollen diese Status unsichtbar werden, können sie vollständig aus der Darstellung entfernt werden.

Testing Intelligence: Filtern nach Keywords

In der TestBench ist der meistgenutzte Mechanismus Test zu markieren bzw. zu Mengen zusammenzufassen, die Zuordnung von Keywords zu Tests.
Z.B. kann ein Keyword alle jede Nacht automatisiert auszuführenden Tests markieren, nach denen dann gefiltert werden kann um z.B. Berichte oder Auswertungen über die nächtlichen Testläufe zu generieren.

Dieser Mechanismus der Filterung nach Keywords steht jetzt auch direkt in Testing Intelligence zur Verfügung, d.h. die in den Metriken angezeigten Daten können jederzeit nachträglich mithilfe der in TestBench gesetzten Keywords gefiltert werden.

Testing Intelligence: Neue Metrik zum Qualitätsfortschritt

Testing Intelligence verfügt über eine neue Metrik, die den Verlauf der Qualität eines Systems darstellt. Dazu werden die Testergebnisse der Anforderungen zur Anzahl der offenen Fehler in Relation gesetzt.

So lässt sich über die Zeit gut ablesen, wie sich die Abdeckung der Anforderungen mit Tests und die Anzahl der Fehler im Laufe der Zeit entwickelt und ob ein Testende demnächst erreicht werden kann.

Wichtigste Neuerungen der Version 2.5.4.1 (minor Version)

Release-Datum: 02.07.2019

automatische Freigabe von Unterelementen

Bisher mussten beim Setzen des Status von Tests auf "freigegeben" bereits auch alle darin verwendeten Unterelemente den Status "freigegeben" besitzen.
Jetzt kann diese Freigabe in einen Schritt erfolgen, d.h. werden Tests freigegeben, kann der Benutzer gleichzeitig alle verwendeten Unterelemente ebenfalls freigeben. Können davon Elemente nicht freigegeben werden, werden dem Benutzer diese Elemente mitgeteilt und der Grund aufgeführt, warum die Freigabe nicht möglich ist, so dass diese Elemente zielgerichtet korrigiert werden können.

Freigegebene Elemente in neue Versionen übernehmen

Beim Erstellen einer neuen Testobjektversion (Testspezifikation für eine bestimmte Version des zu testenden Systems) auf Basis einer bestehenden Testobjektversion wurden alle darin freigegebenen Elemente auf den Status "in Review" zurück gesetzt. Jetzt kann auch der Status "freigegeben" erhalten bleiben. Neben der Testspezifikation gilt dies auch für den Status der Testautomatisierung.

Geschwindigkeit und Speichermanagement der Anbindung der Testautomatisierung

Das Speichermanagement der Steuerung der Testautomatisierung wurde vollständig überarbeitet.

Der maximale Speicherverbrauch orientiert sich jetzt am größten Test und nicht mehr an der Größe des gesamten Testlaufs.
Gleichzeitig konnte eine deutliche Verbesserung des Ablaufgeschwindigkeit erreicht werden, was sich gerade bei großen Testläufen sehr stark bemerkbar macht.

Neue Berichte im Anforderungsmanagement

Die bestehenden Berichte des Anforderungsmanagements wurden um zwei weitere Berichte, jeweils in Deutsch und Englisch, ergänzt:

Traceability Matrix

Die Testergebnisse der zu testenden Anforderungen werden übergreifend über mehrere Testobjektversionen und Testzyklen tabellarisch dargestellt. Es lässt sich sehr schnell ablesen, welche Anforderungen erfolgreich getestet wurden und welche Anforderungen noch Probleme bereiten.

Detaillierter Bericht zum Status der Anforderungen

Bericht auf Basis von MS Word mit allen Details der getesten Anforderungen, den damit verknüpften Tests und deren Ergebnissen

Wichtigste Neuerungen der Version 2.5.4

Release-Datum: 30.10.2018

Phasen in der Testsequenz

Ein Testschritt innerhalb einer Testsequenz kann jetzt einer von drei Phasen zugeordnet werden

  • Vorbereitung (Setup)
  • Testschritt
  • Nachbereitung (Teardown)

Diese drei Phasen stehen sowohl beim manuellen Testen bei Nutzung des Testassistenten für manuelle Testdurchführung, als auch bei der automatisierten Testdurchführung für alle angeschlossenen Testautomaten zur Verfügung.

Verwendete Parameter ermitteln

Innerhalb der Testsequenz kann für einen Testschritt ermittelt werden, welche der Parameter aus der Parameterschnittstelle des Tests von diesem Testschritt verwendet werden.

So kann im Data-Driven Test auch bei intensiver Nutzung von Parametern die Schnittstelle effektiv gewartet und alle Vorteile des Daten-Driven Tests genutzt werden.
Diese Funktionalität kann auch für die Untertestsequenzen von zusammengesetzten Testschritten verwendet werden.

Ebenso können umgekehrt die verwendenden Testschritte eines Parameters ermittelt werden und, z.B. im Rahmen eines Refactorings, nicht mehr verwendete Parameter identifiziert werden.

Import und Export von Testfällen

Die Datentabelle der Testfälle kann exportiert bzw. importiert werden.

Parameter und Parameterkombinationen können außerhalb verändert, ermittelt oder entfernt werden. Die mächtigen Funktionen einer Tabellenkalkulation bieten dabei viele Möglichkeiten.

Bei zusammengesetzten Datentypen können deren Werte bzw. Repräsentanten, die dann aus den Repräsentanten der Unterdatentypen zusammengesetzt sind, ebenfalls als CSV-Tabelle exportiert und importiert werden.

Projektbaum nach Datum anordnen

Die Versionen von Testobjekten, als Träger der Testspezifikations-Informationen dieser Version und deren Testzyklen, als Träger der Testergebnis-Informationen, werden jetzt zuerst nach dem eingetragenen Startdatum, dann nach dem Enddatum und dann erst, wie bisher, nach dem Anlagedatum angeordnet.

Die Projektstruktur ist leichter an die tatsächliche Versionsfolge anpassbar und auch nachträgliche Patch- oder Feature-Versionen können an die passende Stelle im Projektbaum eingefügt werden.