Effective and Efficient Process Engine Evaluation

Business processes have become ubiquitous in industry today. They form the main ingredient of business process management. The two most prominent standardized languages to model business processes are Web Services Business Process Execution Language 2.0 (BPEL) and Business Process Model and Notation 2.0 (BPMN). Business process engines allow for automatic execution of business processes. There is a plethora of business process engines available, and thus, one has the agony of choice: which process engine fits the demands the best? The lack of objective, reproducible, and ascertained information about the quality of such process engines makes rational choices very difficult.

This can lead to baseless and premature decisions that may result in higher long term costs. This work provides an effective and efficient benchmarking solution to reveal the necessary information to allow making rational decisions. The foundation comprises an abstraction layer for process engines that provides a uniform API to interact with any engine similarly and a benchmark language for process engines to represent benchmarks in a concise, self-contained, and interpretable domain-specific language. A benchmark framework for process engines performs benchmarks represented in this language on engines implementing the abstraction layer. The produced benchmark results are visualized and made available for decision makers via a public interactive dashboard. On top of that, the efficient benchmark framework uses virtual machines to improve test isolation and reduce "time to result" by snapshot restoration accepting a management overhead. Based on the gained experience, eight challenges faced in process engine benchmarking are identified, resulting in 21 process engine benchmarking.

Results show that this approach is both effective and efficient. Effective because it covers four BPEL-based and another four BPMN-based benchmarks which cover half of the quality characteristics defined by the ISO/IEC 25010 product quality model. Efficient because it fully automates the benchmarking of process engines and can leverage virtualization for an even higher execution efficiency. With this approach, the barrier for creating good benchmarks is significantly lowered. This allows decision makers to consistently evaluate process engines and, thus, makes rational decisions for the corresponding selection possible.
 
Geschäftsprozesse sind in der Industrie allgegenwärtig und Geschäftsprozessmanagement daher ein wichtiger Baustein in Unternehmensabläufen. Prozessausführungsumgebungen erlauben die automatische Ausführung von Geschäftsprozessen. Die zwei bekanntesten standardisierten Sprachen, um Geschäftsprozesse zu modellieren, sind die Web Services Business Process Execution Language 2.0 (BPEL) und Business Process Model and Notation 2.0 (BPMN). Zur Auswahl stehen für beide eine Vielzahl von Ausführungsumgebungen und somit besteht die Qual der Wahl: Welche Ausführungsumgebung erfüllt die Anforderungen am besten? Eine rationale Auswahl wird durch das Fehlen von objektiven, reproduzierbaren und gesicherten Informationen über die Qualität solcher Ausführungsumgebungen verhindert. Dies kann zu unfundierten und unausgereiften Entscheidungen und diese wiederum zu hohen Kosten führen.

Diese Arbeit stellt eine effiziente und effektive Benchmarkinglösung vor, um die notwendigen Informationen für rationale Entscheidungen aufdecken zu können. Das Fundament besteht aus einer Abstraktionsschicht und einer Benchmarkingsprache für Prozessausführungsumgebungen. Die Abstraktionsschicht stellt eine uniforme API bereit um mit jedem möglichen System in gleicher Weise zu interagieren und die Benchmarkingsprache ermöglicht es Benchmarks in einer kompakten, abgeschlossenen und interpretierbaren domänenspezifischen Sprache darzustellen. Das Benchmarkingrahmenwerk für Prozessausführungsumgebungen führt Benchmarks, die in dieser Sprache repräsentiert sind, auf Ausführungsumgebungen aus, welche die Abstraktionsschicht implementieren.

Die erzeugten Benchmarkingergebnisse werden durch ein interaktives Dashboard visualisiert und somit Entscheidern zugänglich gemacht. Aufbauend auf dem Benchmarkingrahmenwerk verwendet das effiziente Benchmarkingrahmenwerk von Prozessausführungsumgebungen virtuelle Maschinen, um Testisolierung zu erreichen und um die Zeit bis zum Vorliegen der Ergebnisse zu reduzieren. Der dabei entstandene zusätzliche Verwaltungsaufwand, der sich durch die Wiederherstellung von Snapshots ergibt, bleibt akzeptabel. Aufbauend auf den gewonnen Erfahrungen werden acht Herausforderungen im Bereich des Benchmarkings von Prozessausführungsumgebungen identifiziert, die wiederum in 21 Patternkandidaten resultieren.

Die Ergebnisse zeigen, dass der beschriebene Ansatz sowohl effektiv als auch effizient ist. Effektiv, da eine Reihe von Qualitätscharakteristiken des ISO/IEC 25010 Produktqualitätsmodells von sowohl BPEL-basierten als auch BPMN-basierten Prozessausführungsumgebungen bestimmt werden können. Effizient, da das Benchmarking von Prozessausführungsumgebungen vollständig automatisiert und die Vorteile der Virtualisierung für eine noch höhere Ausführungseffizienz und Testisolation genutzt wurden. Dadurch wird die Hürde, gute Benchmarks zu erstellen, signifikant herabgesetzt. Dies ermöglicht die Bewertung von Prozessausführungsumgebungen und erleichtert somit die dazu in Bezug stehenden rationalen Auswahlentscheidungen.