Glossar Software Performance Engineering & Monitoring

Autor QMETHODS-Team | Erstellungsdatum: 12.10.2015 | Letzte Änderung: 06.05.2019

Begriffe

Synonyme

Übersetzungen

Abkürzungen

Absprungrate
Bezeichnet den Anteil an Besuchern einer Webseite mit nur einem einzelnen Seitenaufruf.

Teil von:  Web Analyse

Übersetzung: Bounce Rate

Anwendungsmonitoring
Kontinuierliche Überwachung des Zustandes von Unternehmensanwendungen, um sie proaktiv zu steuern (aktive/passive Benutzer, Verarbeitungscontainer etc.).

Teil von:  Monitoring

Übersetzung: Application Monitoring

Application Performance Management
(APM)   en
Das Application Performance Management (APM) ist ein fachlicher Überbegriff für alle Aktivitäten im Rahmen der Entwicklung und dem Betrieb einer Anwendungssoftware mit dem Ziel die Stabilität und Performance eines Softwareproduktes im Rahmen der geforderten Anforderungen sicherzustellen. Dies wird auf Grund des Aufwandes nur für organisationskritische Anwendungssysteme etabliert.
Für die Umsetzungen eines APM werden entsprechende Methoden, Werkzeuge und Erafhrungen (Best Practices) benötigt.

Besteht aus: Lasttest, Monitoring, Web Analyse

Baselining
  en
Baselining ist eine Methode zur automatisierten Ermittlung von unteren und oberen Schwellwerten für Metrikreihen anhand der historischen Entwicklung der Metrikwerte.
Das Monitoringsystem würde bei Unter- oder Überschreitung des aktuellen Metrikwertes zu den Schwellwerten ein Ereignis (Event) auslösen.

Teil von:  Monitoring

Übersetzung: Schwellwertermittlung

End-to-End Monitoring
(E2E)   en
Unter End-to-End Monitoring (auch E2E) wird die Überwachung von geschäftskritischen Anwendungen sowie deren Funktionen und Geschäftsprozessen in der Produktion aus Sicht der Endbenutzer verstanden.
Hiermit wird die Verfügbarkeit, die Funktionsfähigkeit und das Antwortzeitverhalten der Ausführung von Funktionen, Prozessschritten und des Gesamtprozesses erfasst.
Das End-to-End Monitoring von IT-Services stellt eine Qualitätssicherung aus der Benutzerperspektive (Fachabteilung) dar und wird aus diesem Grund für die Vereinbartung von Service Level Agreements (SLA) eingesetzt.

Teil von:  Monitoring

Synonym: End-2-End Monitoring

Besteht aus: Synthetisches Monitoring, Real User Monitoring

Geschäftsprozess Monitoring
(BPM)
Das Geschäftsprozess Monitoring überwacht die Ausführung von Geschäftsprozesinstanzen. Typische Metriken sind die die Anzahl in Bearbeitung befindlicher, ausgeführter und fehlgeschlagener Prozessinstanzen sowie Prozessdurchlaufzeiten.

Teil von:  Monitoring

Übersetzung: Business Process Monitoring



Abbildung: Beispiel der Visualisierung für ein Geschäftsprozess Monitoring

Verweis: Visualisierung Geschäftsprozess Monitoring

Infrastrukturmonitoring
Kontinuierliche Überwachung des Zustandes von IT-Infrastrukturgeräten, um sie proaktiven zu steuern (Rechner, Server, Router, Switch, Netzwerkspeicher, Drucker etc.).

Teil von:  Monitoring

Übersetzung: Infrastructure Monitoring

Konversionsrate
Bezeichnet den Anteil der Besucher einer Webseite, deren interner Status vom Interessenten zum Käufer wechselt.
Berechnung: Konversationsrate = Käufe / Besucher

Teil von:  Web Analyse

Übersetzung: Conversation Rate

Korrelation
Korrelation ist die Erfassung von serverseitig erzeugten dynamischen Daten bei zustandslosen Protokollen, welche in darauffolgenden Aktivitäten wiederverwendet werden müssen, um den i.d.R. serverseitigen Aktivitätskontext herzustellen.

Teil von:  Testscript

Übersetzung: Correlation

Beispiel:

  • Der bekannteste Vertreter ist die Session-ID. Mit dieser wird die eindeutige Zuordnung von Aktivitäten zu einem Benutzer sichergestellt, um beispielsweise die einzelnen Schritte eines Einkaufprozesses eindeutig einem Benutzer zuordnen zu können.

Lasttest
In einem Lasttest (auch Performancetest, engl. load test) wird eine IT- bzw. Softwareanwendung mittels einer hohen Anzahl paralleler Aufrufe unter Last gesetzt. Die Aufrufe erfolgen mittels Lasttest Skripten über die Benutzeroberfläche bzw. technischen Schnittstellen (API) der Anwendung. Hierbei ist die Simulation vollständiger Geschäftsprozesse (bspw. Anlage, Buchung, Stornierung, Suche) möglich.
Während der Lasttest Durchführung wird das Antwortzeitverhalten und der Durchsatz gemessen sowie die Ressourcenauslastung des zu testenden Systems überwacht. Dies ermöglicht das Treffen von Aussagen zu der erwartenden Performance und Stabilität der Anwendung unter Last. Bei unzureichenden Lasttest Ergebnissen ist eine entsprechende Performanceanalyse und -optimierung durchzuführen.

Teil von:  Application Performance Management

Übersetzung: Load Test

Besteht aus: Lasttest Szenario, Lasttest Werkzeug, Performancetest, Stabilitätstest, Skalierbarkeitstest

Lasttest Szenario
Ein Lasttest Szenario beschreibt den zeitlichen Ablauf eines Lasttests auf Basis der Testscripte, des Mengengerüstes und spezifischer Parameter eines Lasttests.
Pro Testscript wird das Ramp-up, die Ausführungsdauer und das Ramp-down definiert. Ramp-up und Ramp-down legen fest, wie schnell die gewünschte Anzahl an parallelen Benutzern (VUser) erreicht ist bzw. das Testscript beendet wird.

Teil von:  Lasttest

Synonym: Testszenario

Besteht aus: Virtual User, Mengengerüst, Testscript

Lasttest Werkzeug
Die Durchführung von Lasttests erfolgt auf Basis von Werkzeugen, welche in der Lage sind, eine hohe Anzahl von parallelen Benutzerinteraktionen auf einer Anwendungsoberfläche (GUI) oder eine hohe Anzahl von Schnittstellenaufrufen zu simulieren. Auf Basis dieser erzeugten Last wird das Performanceverhalten der Anwendung untersucht. Dazu werden für frei definierbare Aktivitätsbereiche die Antwortzeiten (auch als Transaktionszeiten bezeichnet) gemessen. Zusätzlich können Monitoringdaten integriert werden, um eine Korrelation zwischen Performanceverhalten und Systemzustand zu ermöglichen.
Lasttest Werkzeuge bestehen meist aus einer Komponente für die Erstellung und Wartung von Scripten (Entwicklungsumgebung), der Definition und Ausführung von Testszenarien (Controller inklusive Lasttreiber) und der Analyse von Testergebnisse.

Teil von:  Lasttest

Verweis: Übersicht Lasttest Werkzeuge

Mengengerüst
Ein Mengengerüst beschreibt zu welchem Zeitpunkt, welche Aktivitäten durch wieviele parallele Benutzer bzw. Umsysteme ausgeführt werden.
Das Mengengerüst ist die Basis für die Konfiguration eines Lasttestszenarios.

Teil von:  Lasttest Szenario

Beispiel:

  • 100 Sachbearbeiter führen pro Stunde 400 Suchanfragen und 200 Buchungen durch.

Monitoring
Kontinuierliche Überwachung von Zuständen einer Komponente.

Teil von:  Application Performance Management

Synonym: IT-Monitoring

Übersetzung: Monitoring

Besteht aus: Baselining, End-to-End Monitoring, Geschäftsprozess Monitoring, Systemmonitoring, Infrastrukturmonitoring, Anwendungsmonitoring

Verweis: Gartner Definition

Parametrisierung
Mittels Parametrisierung kann das Verhalten eines Testscriptes variiert oder die Ergebnisse einer Aktivität im Testscript validiert werden. Die Parametrisierung basiert auf Testdaten.
Die Variation spielt eine wichtige Rolle für die Abbildung von realistischen Lasttests. Hierdurch können Verfremdungen durch datenvorhaltende Komponenten (Caches) vermieden und Effekte auf Grund von Datenvarianzen berücksichtigt werden.

Teil von:  Testscript

Beispiel:

  • Benutzernamen und dazugehörige Passwörter für die Anmeldung von unterschiedlichen Benutzern an einer Softwareanwendung.
  • Suchtexte bzw. -attribute für unterschiedliche Suchanfragen in einer Softwareanwendung.

Performancetest
Ein Lasttest mit dem Fokus, die Antwortzeiten von Interaktionen auf einer Anwendungsoberfläche (Desktop Client, Webseite, App) bzw. Schnittstellenaufrufe unter Last zu validieren.

Teil von:  Lasttest

Übersetzung: Performance Test

Real User Monitoring
(RUM)   en
Beim Real User Monitoring wird das Performance- und Fehlerverhaltenverhalten der Anwendung aus Sicht der realen Benutzer auf deren Endgerät (bspw. Smartphone mit mobilen Browser) überwacht.
Für jeden einzelnen Benutzer können seine Benutzeraktionen sowie die daraus resultierenden Webanfragen inklusive aller notwendigen Performancemetriken erfasst werden. Des Weiteren können JavaScript-Fehler und Daten zur Infrastruktur des Endgerätes des Benutzer erfasst werden (Betriebssystem, Auflösung, Browser, Netzanbindung, GEO-Lokation).
Bei Einsatz einer Webanwendungen kann der Messmechanismus vollautomatisiert und ohne Änderungen am Softwarecode integriert werden. Aus diesem Grund wird RUM auch hauptsächlich in webbasierten Softwareanwendungen eingesetzt.

Teil von:  End-to-End Monitoring

Synonym: User Experience Monitoring, Passives Monitoring

Skalierbarkeitstest
Mit einem Skalierbarkeitstest wird geprüft, ob die Anwendungsperformance bei sich ändernder Last durch angepasste Ressourcen (Speicher, CPU, IO, Cluster Nodes etc.) konstant bleibt.
Meist liegt der Fokus auf dem 'Upscaling', bei dem die Konstanz des Performanceverhaltens einer Anwendung unter höherer Last durch Erweiterung der Server- oder Systemkomponenten untersucht wird. Es ist jedoch genauso für ein 'Downscaling' Szenario einsetzbar (bspw. temporärer Betrieb einer abgelösten Anwendung für Zufriff auf die Altdaten).

Teil von:  Lasttest

Synonym: Upscaling, Downscaling

Übersetzung: Scability Test

Beispiel:

  • Upscaling: Prüfung, ob ein Anwendungssystem unter mehr Last mit erweiterten Ressourcen das bisherige Performanceverhalten beibehält.
  • Downscaling: Prüfung, ob ein nicht mehr so stark genutztes Anwendungssystem auf einem Server mit geringerer Leistung betrieben werden kann.

Stabilitätstest
validiert durch einen Langzeittest die Stabilität eines Anwendungssystems hinsichtlich der Verfügbarkeit und Performance.

Teil von:  Lasttest

Übersetzung: Stability Test

Synthetisches Monitoring
Das synthetische Monitoring überwacht die Verfügbarkeit und Performance einer Softwareanwendung mittels der Simulation von automatisierten Benutzeraktionen in definierten Zeitintervalen von einem oder mehreren Messstandorten. Damit wird zusätzlich in Zeiten keiner Benutzeraktivitäten die Überwachung gewährleistet sowie die Monitoringfähig des Application Performance Monitoring sichergestellt.
Die technische Umsetzung der Simulation von Benutzeraktivitäten basiert in der Regel auf Skripten im Zusammenspiel mit Testautomationswerkzeugen.

Teil von:  End-to-End Monitoring

Synonym: Active Monitoring

Übersetzung: Synthetic Monitoring

Besteht aus: Testscript

Systemmonitoring
Das Systemmonitoring überwacht Hardware, Betriebssystem und alle für die Ausführung von Anwendungen notwendigen Systemkomponenten (Datenbank, Webserver, Applikationsserver, Load Balancer, Reverse Proxy Server etc.) auf einem physischen oder virtuellem Rechner.
Für die Überwachung wird in der Regel auf dem Rechner ein Agent installiert, welcher lokal die konfigurierten Messungen durchführt.

Teil von:  Monitoring

Übersetzung: System Monitoring



Abbildung: Systemmonitoring (Dynatrace)

Testdaten
Testdaten sind für die Ausführung von Testfällen ein elementarer Bestandteil einer Softwareanwendung. Sie bestehen aus Anwendungsdaten und Eingabe- bzw. Ergebnisdaten.
Anwendungsdaten sind i.d.R. in einer Datenbank oder Konfigurationsdatei abgelegt. Eingabedaten werden für die Ausführung von Testfällen (Datenbefüllung von Benutzermasken bzw. Schnittstellen) benötigt. Mittels der Ergebnisdaten ist eine Validierung der Rückgabeergebnisse möglich.
Eingabe- bzw. Ergebnisdaten stehen meist in einem direkten Zusammenhang mit den Anwendungsdaten bzw. werden teilweise aus diesen erzeugt.

Teil von:  Testscript

Beispiel:

  • Benutzername und zugehöriges Passwort
  • Suchanfragen
  • Produkt-/Artikelnummern
  • Kundendaten (ID, Name, Vertragsnummer etc.)

Testscript
Ein Testscript simuliert an einer Softwareanwendung Aktivitäten von Benutzern oder Umsystemen. Die Aktivitäten bestehen aus Eingaben über die Benutzeroberfläche (GUI) oder aus dem Aufruf von technischen Schnittstellen (API) der Softwareanwendung.
Mittels der parallelen Ausführung von Scripten wird ein hohes Nutzungsverhalten für die Softwareanwendung simuliert, um das Performanceverhalten unter Last zu validieren (Lasttest).
In Zeiten, in denen Benutzer oder Umsysteme keine Aktivitäten an einer Softwareanwendung erzeugen, kann die Verfügbarkeit durch das periodische Ausführen der Testscripte validiert werden (Synthetisches Monitoring).

Teil von:  Lasttest Szenario, Synthetisches Monitoring

Besteht aus: Think Time, Korrelation, Parametrisierung, Testdaten

Think Time
  en
Mit Think Time wird die Zeit zwischen den Aufrufen eines Lasttests bezeichnet, welche die Bearbeitungszeit eines realen Benutzers simuliert.

Teil von:  Testscript, Virtual User

Virtual User
(VUser)   en
Mit der parallelen Ausführung von Testscripten werden reale Benutzer simuliert. Diese werden als Virtual User bezeichnet.

Teil von:  Lasttest Szenario

Übersetzung: Virtueller Benutzer

Besteht aus: Think Time

Web Analyse
Bezeichnet die Sammlung und Auswertung von Daten über das Verhalten von Benutzern einer Webseite, um Vertriebs- und Marketingmaßnahmen steuern und optimieren zu können.

Teil von:  Application Performance Management

Übersetzung: Web Analytics

Besteht aus: Absprungrate, Konversionsrate