Kazidomi

Herausforderung

Kazidomi wandte sich an QAwerk, um das Entwicklungsteam mit professionellen QA- und Testautomatisierungsingenieuren zu verstärken und zu erweitern.  Bevor wir mit der Zusammenarbeit begannen, verließ sich Kazidomi auf Fehlerberichte seiner Kundenbetreuer, die Entwicklern oft nicht die detaillierten Informationen lieferten, die sie benötigten, um die Ursache eines Problems schnell zu verstehen.

Die Partnerschaft mit QAwerk soll zu folgenden Ergebnissen führen:

• Schnellere Fehlerbehebung. Unsere Aufgabe bestand darin, die vom internen Team verfassten Berichte mit Voraussetzungen, Schritten zur Reproduktion des Fehlers und anderen Details zu ergänzen, um den Kazidomi-Entwicklern Zeit zu sparen und zu klären, was genau unter welchen Umständen schief gelaufen ist.
• Automatisierte Tests. Wir mussten Testautomatisierung implementieren, um den Zeitaufwand für Funktionstests, UI-Tests und Regressionstests zu reduzieren, was wiederum zu einer schnelleren und reibungsloseren Bereitstellung neuer Funktionen für Benutzer führen würde.
• Verbesserte Konvertierung. QAwerk hat den Funktionen, die sich direkt auf die Konvertierung auswirken, maximale Aufmerksamkeit geschenkt.  Unser Ziel war es, alle möglichen Conversion-Killer aufzuspüren und sicherzustellen, dass der Benutzer keine Schluckauf-Symptome verspürt.

Die Erstellung und Pflege der Testdokumentation ist ein wichtiger Teil des Qualitätssicherungsprozesses, und genau das haben wir für Kazidomi getan.  Für jedes getestete Feature mussten neue Testfälle geschrieben oder bestehende aktualisiert werden.

Lösung

Wir glauben, dass gründliche Tests am besten durch eine Kombination aus manuellen und automatisierten Tests erreicht werden.  Dank der Testautomatisierung konnten wir die Testgeschwindigkeit erhöhen und eine größere Abdeckung erreichen.  Gleichzeitig ermöglichten uns manuelle Tests, die Plattform aus der Sicht des Benutzers zu erkunden.

Eine Weblösung wie Kazidomi erfordert die folgenden Arten von Tests:

• Funktionale Prüfung. Wir haben versucht, die häufigsten Benutzeraktionen zu testen, wie z. B. Anmelden, Hinzufügen von Artikeln zum Warenkorb, Ändern des Inhalts des Warenkorbs, Anwenden von Rabattcodes und mehr.  Wir haben dafür gesorgt, dass jeder Button, Link und Filter seinen Zweck erfüllt und dem Nutzer hilft, eine Entscheidung zu treffen.
• Integrationstests. Abrechnungsseitenfehler sind eine der häufigsten Ursachen für verlorene Conversions.  Unsere QA-Ingenieure haben Integrationen mit Zahlungsabwicklern wie PayPal und Adyen getestet, um eine erfolgreiche und problemlose Zahlung zu gewährleisten.
• Browserübergreifende Tests.  Multinationale E-Commerce-Plattformen wie Kazidomi haben Kunden, die verschiedene Browser auf verschiedenen Geräten verwenden.  Wir haben darauf geachtet, dass die Benutzeroberfläche unabhängig vom verwendeten Browser oder Gerät von hoher Qualität bleibt.  Die automatisierten Tests konzentrierten sich ausschließlich auf Chrome.
• UI-Tests. Eine elegante Benutzeroberfläche ist genauso wichtig wie ein einwandfreies App-Erlebnis, da sie zum ersten Eindruck und Markenvertrauen beiträgt.  Unsere Qualitätskontrolle prüft, ob die Umsetzung des Projekts den Anforderungen entspricht.
• Regressionstests. Da Kazidomi häufig Updates veröffentlicht, war die Notwendigkeit, Regressionstests zu automatisieren, offensichtlich.  Durch automatisierte Regressionstests konnten Fehler rechtzeitig gemeldet werden, sodass die Kazidomi-Entwickler wichtige Probleme vor dem Veröffentlichungstag beheben und den Zeitplan einhalten konnten.

Wir haben 587 Testfälle von Grund auf neu geschrieben, 284 davon sind automatisiert.

Testautomatisierung

Alle Tests wurden auf einem neuen Datenbankserver ohne vorab erstellte Benutzer oder Testdaten durchgeführt.  Die Daten wurden für jeden Test automatisch generiert, kurz bevor der Test ausgeführt wurde.  Dieser Ansatz trug dazu bei, dass die Autotests stabil blieben und in beliebiger Reihenfolge ausgeführt werden konnten, da es keine Abhängigkeiten zwischen den Testdaten gab.  Wenn beispielsweise zwei Tests auf denselben Testdaten basieren und der erste Test sie in einem der Schritte entfernt, schlägt der zweite Test fehl, was zu einem falsch positiven Ergebnis führt.

Unsere Autotests umfassten auch Nachbedingungen für die Datenbereinigung.  Da für jeden kleinen Testfall neue Daten generiert werden, wächst die Größe der Datenquelle recht schnell und belastet den Server unnötig.  Daher löscht jeder Autotest nach einem erfolgreichen Testlauf zuvor generierte Testdaten.

Wie Sie wissen, dauert die Ausführung von 284 Autotests auf einmal sehr lange, oder besser gesagt, ungefähr 6 Stunden. Um den Vorgang zu beschleunigen, haben wir alle Tests in Gruppen eingeteilt und die Gruppe „Smoke“ gewählt, die etwa 30 Autotests für die wichtigsten Produkteigenschaften enthält.  Andere Gruppen wurden beispielsweise nach den von ihnen getesteten Merkmalen benannt. Z. B. ”Login”, ”in den Warenkorb” und ein ”Konto erstellen”.

Diese Tests wurden kontinuierlich nach jedem Commit in das GitLab-Repository durchgeführt.  Bei Bedarf war es auch möglich, Autotests für eine bestimmte Gruppe manuell auszuführen oder zu überspringen.