Übersicht Lasttest Werkzeuge

Kommerzielle, freie und Open Source Lasttest Produkte

von Stephan Sowitzki, Alexander Aschauer & Matthias Scholze | Februar 2017
 
Folgender Blog Beitrag soll Ihnen eine Übersicht zu kommerziellen, freien und Open Source Lasttest Werkzeugen geben, um beispielsweise die Evaluation oder Auswahl eines entsprechenden Lasttest Werkzeuges für Ihr Projekt oder Unternehmen zu vereinfachen.

Der "Social"-Indikator

Wir haben uns gefragt, wie wir die Marktdurchdringung der Lasttest Werkzeuge darstellen können. Gartner hat hierzu keinen speziellen Quadranten und der Aufwand einer Marktanalyse hat uns auch abgeschreckt :-)
Eine einfachere Möglichkeit ergibt sich jedoch in der Suche in den sozialen Netzwerken. Wir haben in XING mal geprüft, wie viele Mitglieder ein spezielles Lasttest Werkzeug unter "Ich biete" angegeben und wieviele Follower entsprechende Twitter Konten haben. Ok, dass ist sicherlich keine qualitative Marktanalyse, jedoch mindestens ein Indikator wie stark das entsprechende Lasttest Werkzeug genutzt wird sowie wie viele Wissensträger im Markt vorhanden sind. Letzteres sollte auch ein Kriterium bei der Evaluation eines entsprechenden Werkzeuges sein.
Übersicht Lasttest Werkzeuge
Abbildung: Xing-Indikator für Lasttest Werkzeuge (Stand August 2017)
Übersicht Lasttest Werkzeuge
Abbildung: LinkedIn-Indikator für Lasttest Werkzeuge (Stand November 2017)
Übersicht Lasttest Werkzeuge
Abbildung: Twitter-Indikator für Lasttest Werkzeuge (Stand August 2017)
 

Betrachtete Lasttest Werkzeuge

BlazeMeter
Floot IO
Gatling
JMeter
LoadRunner
Loader.io
NeoLoad
OctoPerf (8P)
Performance Tester
StormForger
StormRunner Load

 

Kurzporträt zu den Lasttest Werkzeugen

BlazeMeter

BlazeMeter





Anbieter: BlazeMeter
Version: -
XING-Indikator: 7


Beschreibung

Blazemeter der gleichnamigen Firma ist eine cloud-basierte Lasttest Lösung. Für die Erstellung der Skripte wird zum überwiegenden Teil auf die Basis von anderen Lasttest Werkzeuge zurückgegriffen.

Hauptfokus von Blazemeter liegt in der Ausführung und Auswertung der Lasttest. Als Cloud-basierte Lösung kann die Last aus verschiedensten Lokation weltweit generiert werden.

Bewertung
Keine eigene Hardware Infrastruktur notwendig
Wiederverwendung von Skripten aus anderen Lasttest Werkzeugen
Moderne und funktionale Benutzeroberfläche gleicht die Schwächen von Open Source Werkzeugen im Bereich Konfiguration und Auswertung aus
Einsatzgebiet
Lasttest
Lizenztypen
Kommerziell (Anzahl virtuelle Benutzer + Test / Jahr + Lastgeneratoren)
Freie Version (50 VUser + 10 Tests + 1 Lastgeneratoren)
Schnittstellen
Jenkins
Bamboo
Travis
Teamcity
CircleCI
Dynatrace AppMon
New Relix
App Dynamics
Unterstützte Technologien
Native / Mobile Web Apps
JMeter Skripte
Gatling Skripte
Selenium Skripte
Taurus
Floot IO

Floot IO





Anbieter: Tricentis
Version: -
XING-Indikator: 0


Beschreibung

Floot IO ist Cloud-basierte Lasttest Lösung für HTTP(S)-basierte Web-Anwendungen und technische Schnittstellen. Die Lasterzeugung erfolgt auf von Floot IO bereitgestellten oder kundeneigenen Amazon AWS Instanzen. Die Lasttest-Enginee basiert auf JMeter.

Bewertung
Unterstützung von JMeter, JMeter Ruby und Gatling Skripten (Selenium im Experimentierstatus)
Keine eigene Hardware Infrastruktur notwendig
Unzureichende Möglichkeit für die Auswertung der Lasttest Ergebnisse
Einsatzgebiet
Lasttest
Lizenztypen
On-Demand Versionen Standard und Plus
On-Primse Version
Free Trial als On-Demand Version
Schnittstellen
Jenkins
Unterstützte Technologien
HTTP Schnittstellen (WebService, REST)
Gatling

Gatling





Anbieter: Gatling
Version: 2.3.0
XING-Indikator: 52


Beschreibung

Gatling ist ein auf Scala, Akka und Netty basiertes Open Source Lasttest Werkzeug. Im Unterschied zu den meisten anderen Werkzeugen ist es eine rein Kommandozeilen-orientierte Lösung.

Test Skripte und Szenarien werden in einer Scala basierten DSL in einem Skript implementiert. Für die initale Skript Aufzeichnung steht ein Gatling Recorder zur Verfügung. Intern verwendet Gatling für die Lasttest Ausführung einen asynchronen Ansatz (Actor Model, non-blocking IOs) auf Basis von Akka. Für die Auswertung der Lasttest Ergebnisse generiert Gatling nach Lasttest Abschluss einen HTML Bericht.

Bewertung
Build-Plugins ermöglichen DevOps Integration
Assertions für die autmatische Auswertung von Performance Zielwerten
Grafische Benutzeroberfläche für Ausführungs- und Analysemonitoring (nur kommerziell)
Fehlende Tool-Unterstützung für die Korrelation bzw. Analyse der Lauffähigkeit der Szenarien
Nicht anpassbares bzw. erweiterbares Reporting erschwert die Analyse und Auswertung der Lasttestergebnisse
Einsatzgebiet
Lasttest
Lizenztypen
Open Source für Gatling Core (Apache License 2.0)
Kommerziell für Gatling Frontline (Ausführung & Auswertung)
Schnittstellen
Jenkins
Gradle
Maven
SBT
Unterstützte Technologien
HTTP(S)
WebService
REST
JMS
JMeter

JMeter





Anbieter: Open Source (Apache)
Version: 3.1
XING-Indikator: 1162


Beschreibung

JMETER ist ein sehr bekanntes Open Source Tool mit großer Community. Es ist in Java geschrieben, mittlerweile sind sehr viele PlugIns vorhanden. JMETER erfordert einen relativ hohen Einarbeitungsaufwand, ist dafür aber sehr flexibel bzw. jederzeit erweiterbar. Relativ schlichte Reportingmöglichkeiten.

Bewertung
Vielzahl von PlugIns vorhanden
Relativ schlichte Reportingmöglichkeiten
Relativ hoher Einarbeitungsaufwand
Einsatzgebiet
Lasttest
Funktionstest
Synthetisches Monitoring
Lizenztypen
Open Source
Schnittstellen
Jenkins
Maven
Gradle
Unterstützte Technologien
HTTP(S)
WebService / SOAP
REST
Java
JMS
JDBC
LDAP
FTP
POP3, SMTP, IMAP
Shell Kommandos und Skripte
LoadRunner

LoadRunner





Anbieter: MicroFocus (vorher Hewlett Packard Enterprise)
Version: 12.55
XING-Indikator: 556


Beschreibung

Der LoadRunner ist auf Grund seiner langen Marktpräsenz und Protokollabdeckung die in großen Unternehmen am meisten eingesetzte Lasttest Lösung. Das Produkt besteht aus den Komponenten VUGen, Controller, Lasttreiber und Analysis. Der VUGen ist ein ausgereiftes Entwicklungswerkzeug für die Umsetzung von Skripten für die zu simulierenden Prozesse. Leistungsstarke Funktionen bspw. für die Korrelation von HTTP(S) Skripten, Testdatensteuerung etc. stehen für ein effinzientes Entwickeln zur Verfügung. Im Controller können komplexe Szenarien auf Basis der Skripte konfiguriert und verfügbare Monitoringlösungen eingebunden werden. In der Testdurchführung steuert der Controller die Ausführung der Testszenarien über die Lasttreiber. Die Analysis ermöglicht eine zeitnahe Auswertung und Visualisierung der Lasttestergebnisse.

Bewertung
Umfangreiche Protokoll- und Technologieabdeckung
Leistungsstarke Entwicklerumgebung (IDE)
Abbildung komplexer Lasttest Szenarien
Effiziente Möglichkeiut der Testauswertung und Visualisierung
Wiederverwendung der Lasttest Skripte für das synthetische Monitoring
Einsatzgebiet
Lasttest
Synthetisches Monitoring
Lizenztypen
Kommerziell (Anzahl VUser)
Kostenlose Community Edition mit bis zu 50 VUsern
Schnittstellen
ALM / Quality Center
Unified Functional Tester
Business Process Monitoring (BPM)
Service Virtualization
Dynatrace AppMon
Unterstützte Technologien
Web HTTP(S)/HTML
MQTT
TruClient - Native Mobile
TruClient - Mobile Web
WebServices
Citrix ICA
RDP (Remote Desktop Protocol)
RTE (Remote Terminal Emulation)
Java
Java over HTTP
Java Record Replay
C und .NET
Ajax - Click and Script
POP3 (Post Office Protocol)
IMAP (Internet Messaging)
SMTP (Simple Mail Protocol)
DNS (Domain Name Resolution)
FTP (File Transfer Protocol)
LDAP (Listing Directory Service)
MAPI (Microsoft Exchange)
ODBC
Oracle - 2 Tier
Oracle Web
Oracle Oracle NCA
SAP - Web
SAP GUI
SMP (SAP Mobile Platform)
Siebel - Web
Flex
Silverlight
COM/DCOM
Windows Sockets
Loader.io

Loader.io





Anbieter: SendGrid
Version: -
XING-Indikator: 0


Beschreibung

Loader ist eine Cloud-basierte Lasttest Lösung für HTTP(S)-basierte Web-Anwendungen und technische Schnittstellen (API). Der Hauptfokus der Lösung liegt auf der Realisierung von bis zu 100.000 parallelen Zugriffen.

Bewertung
Umfangreiche Werkzeug Integration
Zeitliche Simulation der Lasttest-Ausführung (Watch Simulation)
Manuelle Skriperstellung ohne Unterstützungsfunktionen
Geringe Möglichkeit für die Auswertung der Lasttest Ergebnisse
Einsatzgebiet
Lasttest
Lizenztypen
ProVersion
Free Version (10K User, 2 Aufrufe)
Schnittstellen
WebHook (Incomming)
TravisCI
CircleCI
Jenkins
TeamCity
GitHub
New Relic
HipChat
Unterstützte Technologien
HTTP(S) GUI
HTTP(S) API
NeoLoad

NeoLoad





Anbieter: Neotys
Version: 6.2
XING-Indikator: 63


Beschreibung

Neoload von Neotys ist eine vollumfängliche Lasttest-Lösung für Webanwendungen. Größter Unterschiede zu herkömlichen Lasttest Werkzeugen ist der Automationsansatz, welcher nicht mittels klassischen Skriptsprachen sondern über einen GUI-basierten Ansatz abgebildet ist. Des Weiteren werden Lastgeneratoren als Cloud Service (SaaS) angeboten.

Bewertung
Anwendung unter Windows, Linux und MacOS lauffähig
Breite Funktionsunterstützung in jeder Phase der Lasttest Aktivitäten
Simulation von Netzwerkcharakteristiken (Bandbreite, Latenz, Paketverlust)
Shared Queue für den Austausch von Testdaten zwischen den parallelen Benutzern
Weltweit verfügbare Cloud-Lastgeneratoren
Keine moderene Optik der Benutzeroberfläche
Der skriptlose Automationsansatz bedingt eine Vielzahl von Aktionen via Benutzermasken
Einsatzgebiet
Lasttest
Lizenztypen
Kommerziell (Anzahl VUser)
Free Edition mit bis zu 50 VUsern
Schnittstellen
Jenkins / Hudson
Bamboo
GIT
Unterstützte Technologien
HTTP(S)/2
WebService / SOAP
REST
WebSocket
JMS
Microsoft Silverlight
Adobe Flex
ORACLE Forms und Siebel)
OctoPerf (8P)

OctoPerf (8P)





Anbieter: OctoPerf
Version: -
XING-Indikator: 1


Beschreibung

OctoPerf ist eine kommerzielle Lasttest Lösung für HTTP(S)-basierte Webseiten und mobile Applikationen. Die Lösung ist als SaaS (Cloud) und als OnPremise Plattform einsetzbar.

Bewertung
Umfangreiche Visualisierungsmöglichkeiten der Lasttest Ergebnisse
Verfügbarkeit einer Vielzahl von Monitoring-Komponenten und Integration von APM-Lösungen
Einsatzgebiet
Lasttest
Lizenztypen
SaaS OneShot / Comfort / Unlimited
Enterprise Edition
Schnittstellen
Dynatrace
AppDynamics
Jenkins
Unterstützte Technologien
HTTP(S)
JMeter
Selenium
HAR
Performance Tester

Performance Tester





Anbieter: IBM Rational
Version: 9.0
XING-Indikator: 42


Beschreibung

Der Rational Performance Tester (RPT) von IBM hilft Ihnen bei der Automatisierung von Last- und Skalierbarkeitstests von Web-, ERP-, Citrix- und Server-basierten Softwareanwendungen. Sie können Performanceanforderungen (wie Last, Durchsatz, Parallelität etc.) in Ihren Testplänen erfassen und unter wechselnden Lastszenarien entsprechend auswerten.

Neben dem RPT können Performancetests auch mit dem Rational Integration Tester (RIT) durchgeführt werden. Neben einigen Überschneidungen ist der Unterschied, dass der RIT für den Aufruf von Schnittstellen entwickelt wurde, um so Integrationstests und als Nebenprodukt Performancetest durchzuführen.

Bewertung
Möglichkeit von Code freien Test-Skripte
Eclipse basierte Benutzeroberfläche
Cloud-basierte Edition verfügbar
Protokollerweiterung via IBM RPT Extensibility Software Development Kit (SDK)
Einsatzgebiet
Lasttest
Synthetisches Monitoring
Lizenztypen
Kommerziell (Virtuelle Benutzer)
Kostenlose Starter Edition (limitierte Anzahl Funktionen und VUser)
Schnittstellen
IBM Rational Quality Manager
IBM Rational Team Concert
Jenkins
Unterstützte Technologien
HTTP(S)/2
Citrix
WebService / SOA
SAP GUI
TN3270
Siebel
TCP Socket
StormForger

StormForger





Anbieter: StormForger GmbH
Version: -
XING-Indikator: 0


Beschreibung

StormForger ist eine auf HTTP-Schnittstellen (WebService, REST) fokussiert Performancetest-Lösung in der Cloud. Mittels einer JavaScript-basierten DSL (Domain-Specific Languages) können Lasttest-Skripte erstellt und ausgeführt werden.

Bewertung
Keine eigene Hardware Infrastruktur notwendig
JavaScript als DSL
HAR Konverter
Kein Live-Dashboard und nur rudimentäres Reporting
Einsatzgebiet
Lasttest
Lizenztypen
Kommerzielle Versionen (Small/Medium/Large Subscription sowie Enterprise Subscriptions)
Kostenlose Version (Preflight Subscription)
Schnittstellen
Slack
Unterstützte Technologien
HTTP Schnittstellen (WebService, REST)
StormRunner Load

StormRunner Load





Anbieter: MicroFocus (vorher Hewlett Packard Enterprise)
Version: 2.7
XING-Indikator: 1


Beschreibung

StormRunner Load ist eine Cloud-basierte Lasttest-Lösung für Web- und mobile Anwendungen und wird vom lokalen Browser aus bedient. Im Fokus des StormRunner Load stehen agile Teams und neue Webtechnologien. Für die Lasterzeugung stehen weltweit verteilte Lastgeneratoren zur Verfügung. Durch die Einbindung von lokalen Lastgeneratoren können auch Unternehmensinterne Anwendungen getestet werden.

Bewertung
Keine eigenen Hardware Infrastruktur notwendig
Weltweit verteilte sowie lokale Lasttreiber
Node.js Unterstützung
Einsatzgebiet
Lasttest
Synthetisches Monitoring
Lizenztypen
Kommerziell (Anzahl VUser Stunden)
Schnittstellen
Jenkins
AppPulse Active
Splunk
Bamboo (Atlassion)
Unterstützte Technologien
Web HTTP(S)/HTML
TruClient
TruAPI (Node.js)
JMeter
Diese Übersicht der aufgerührten Last- und Performancetest Werkzeugen erhebt keinen Anspruch auf Vollständigkeit. Die Reihenfolge ist alphabetisch nach den Produktnamen der Lasttest Werkzeuge sortiert und stellt keine Bewertung dar.
Ihnen fehlt noch eine Lasttest Software, Sie haben Fehler in der Werkzeugbewertung gefunden oder Sie können uns eine entsprechende Beschreibung eines Lasttest Werkkzeuges zur Verfügung stellen?! Wir freuen uns über Ihre Kontaktaufnahme via Kontaktformular oder via E-Mail an hello[@]qmethods.com.



Ihr Kommentar zum Blog-Beitrag

Nennen Sie uns bitte Ihren Namen und E-Mail-Adresse zur Verifikation. Die E-Mail Adresse wird nicht veröffentlicht!