BPMN meets AI: Automatisierte Testfälle neu gedacht

Manuell Testfälle erstellen war gestern

Gerade bei Ende-zu-Ende-Tests ist die manuelle Testfallerstellung nach wie vor ein gängiger Standard, obwohl sie oft viel Zeit kostet und nicht immer konsistent ist. Gleichzeitig leben wir in einer Zeit, in der Automatisierung und KI enorme Potenziale bieten, genau solche Prozesse effizienter zu gestalten. Und genau hier wird es spannend: In Kombination mit BPMN eröffnen sich neue Möglichkeiten, die Testfallerstellung deutlich zu beschleunigen und strukturierter aufzubauen.

Die Idee

In unserer Praxis sehen wir häufig, dass Prozesse bereits auf Use-Case-Ebene in BPMN modelliert sind – also genau auf dem Detailgrad, den man auch für Ende-zu-Ende-Tests braucht. Das macht BPMN zu einer idealen Ausgangsbasis für unsere Lösung.

Der entscheidende Punkt ist dabei: BPMN ist nicht nur eine visuelle Darstellung, sondern wird im Hintergrund als XML gespeichert. Dieses XML enthält alle relevanten Informationen zum Prozess – also z. B. Aufgaben, Events, Gateways und vor allem die möglichen Pfade durch den Prozess. Dadurch wird das Modell maschinenlesbar und kann automatisiert weiterverarbeitet werden.

Genau hier setzen wir an. In einem n8n-Workflow wird die BPMN-Datei zunächst eingelesen und validiert. Anschließend werden die enthaltenen Elemente strukturiert extrahiert und normalisiert. Darauf aufbauend lassen sich die möglichen Ende-zu-Ende-Pfade durch den Prozess systematisch ableiten.

Diese Pfade werden dann in konkrete Testfälle übersetzt: mit klar definierten Schritten, erwarteten Ergebnissen und einer konsistenten Struktur. Je nach Ansatz (regelbasiert, KI-gestützt oder hybrid) erfolgt hier zusätzlich eine inhaltliche Ausgestaltung der Testschritte.

Im letzten Schritt werden die generierten Testfälle automatisiert über die API in Zephyr angelegt, inklusive aller Teststeps. Dadurch entfällt die manuelle Übertragung komplett, und die Testfälle sind direkt im Testmanagement-Tool verfügbar und ausführbar.

Kurz gesagt: BPMN liefert die strukturierte Grundlage, n8n übernimmt die Orchestrierung und Verarbeitung, und Zephyr dient als Zielsystem für die fertigen, einsatzbereiten Testfälle.

Die Entscheidungslogik

Ein zentraler Bestandteil der Lösung ist die Entscheidungslogik innerhalb der Automatisierung – mit dem klaren Ziel, eine vollständige Pfadüberdeckung zu erreichen. Das bedeutet: Jeder mögliche Ablauf vom Start- bis zu einem Endevent wird als eigener Testfall abgebildet. Dabei orientiert sich die Logik direkt an den BPMN-Elementen. Bei XOR-Gateways entstehen für jede Verzweigung separate Testfälle, da hier alternative Pfade durchlaufen werden. Endevents markieren jeweils das Ende eines solchen Pfades und damit genau einen vollständigen Testfall. Bei inklusiven (OR-)Gateways ist die Situation komplexer, da mehrere Pfade gleichzeitig möglich sind. Hier muss abgewogen werden, ob eine Kombination sinnvoll ist – im Zweifel werden jedoch mehrere Testfälle erzeugt, um die verschiedenen Ausprägungen sauber abzudecken. Auf diese Weise entsteht eine systematische und nachvollziehbare Ableitung aller möglichen Prozesspfade in Form von vollständigen Ende-zu-Ende-Testfällen. Für ein weiteres Verständnis hier das ganze nochmal an einem Beispiel:

In Abbildung 3 startet der Prozess mit einem Startereignis und führt zunächst zu Task A. Danach folgt ein exklusives Gateway, bei dem sich der Ablauf in zwei mögliche Wege aufteilt: Entweder geht es weiter zu Task B und endet bei Ende 1, oder zu Task C mit Ende 2. Insgesamt besteht der Prozess damit aus drei Tasks, einem Startereignis, zwei Endereignissen und einem exklusiven Gateway.
Wenn man die möglichen Pfade einmal vollständig durchgeht, ergeben sich hier zwei Testfälle, jeweils einer pro Verzweigung am exklusiven Gateway.

KI? Oder doch lieber reine Automation

Da KI mittlerweile auch in der Prozessautomatisierung eine wichtige Rolle spielt, haben wir uns bewusst entschieden, dieses Potenzial mitzunehmen. Im Rahmen der Entwicklung haben wir deshalb drei unterschiedliche Workflows aufgebaut und miteinander verglichen: eine rein regelbasierte Automatisierung, einen Ansatz, bei dem die Testfälle vollständig von KI generiert werden, und eine hybride Lösung, die beide Methoden kombiniert. Ziel war es herauszufinden, welcher Ansatz in der Praxis die beste Performance liefert. Überraschenderweise lieferte die KI zum aktuellen Stand die besten Ergebnisse. Während die reine Automatisierung sehr zuverlässig in der Struktur war, fehlte ihr oft die „Tiefe“ in den Testschritten. Die KI hingegen konnte aus den gegebenen Prozessinformationen deutlich verständlichere und praxisnähere Testfälle formulieren.

Gleichzeitig wurde aber auch klar, dass die Ergebnisse stark von äußeren Einflussfaktoren abhängen. Ein entscheidender Punkt ist die Qualität der BPMN-Modelle: Sind diese sauber modelliert, eindeutig benannt und logisch aufgebaut, liefert auch die KI deutlich bessere Resultate. Unklare Bezeichnungen oder uneinheitliche Strukturen führen dagegen schnell zu ungenauen oder schwer nutzbaren Testfällen.

Ein weiterer zentraler Hebel ist das Prompting. Wie konkret die Anforderungen an die KI formuliert sind, hat direkten Einfluss auf die Qualität der Ergebnisse. Klare Vorgaben zur Struktur, zum Testfallformat oder zur erlaubten Interpretation der Prozessschritte sorgen dafür, dass die generierten Testfälle konsistenter und besser weiterverwendbar sind.

Ergebnisse in Zephyr:

Die generierten Testfälle werden nach der Verarbeitung automatisiert in Zephyr Scale angelegt. Dabei enthalten die Ergebnisse eine strukturierte Beschriftung der Testfälle, die der zuvor beschriebenen Entscheidungslogik folgt. Je nach Workflow und Prozesspfad entstehen beispielsweise Benennungen wie „AU-1“, „AI-1“ oder „HY-1“, wodurch nachvollziehbar bleibt, aus welchem Ansatz und welchem Prozesspfad der jeweilige Testfall entstanden ist.

Zusätzlich werden Prioritäten, die einzelnen Testschritte sowie die zugehörigen erwarteten Ergebnisse automatisiert übernommen. Dadurch entsteht eine einheitliche und nachvollziehbare Struktur der Testfälle innerhalb des Testmanagement-Tools.

Fazit

Abschließend lässt sich sagen: Das Potenzial ist definitiv vorhanden. Gerade im Einsatz von KI sehen wir große Chancen, die Testfallerstellung nicht nur schneller, sondern auch inhaltlich hochwertiger zu gestalten. Gleichzeitig zeigt die Praxis aber auch, dass weder Automatisierung noch KI vollständig fehlerfrei arbeiten. Eine fachliche Prüfung durch den Tester bleibt daher weiterhin ein wichtiger Bestandteil des Prozesses.

Hinzu kommt, dass die Qualität der Ergebnisse stark von der Ausgangsbasis abhängt. Individuelle Modellierungsweisen, eigene Symbole oder unklare bzw. fehlerhafte BPMN-Diagramme können die Verarbeitung erschweren und die Resultate beeinflussen.

Trotz dieser Herausforderungen überwiegen die Vorteile: Mit einer sauberen Modellierungsgrundlage, klar definierten Regeln und gezieltem KI-Einsatz lässt sich die Testfallerstellung deutlich effizienter gestalten. Der Weg geht also klar in Richtung Unterstützung statt Ersatz – und genau darin liegt die eigentliche Stärke dieses Ansatzes.

 

Du hast Fragen, Anregungen und eigene Erfahrungen? Tritt mit uns in Kontakt. Wir freuen uns auf deine Gedanken!