Evolv

Vorstellung

Evolv unterstützt Unternehmen durch seine KI-gesteuerte SaaS-Plattform, die für den Start mehrerer UX-Experimente entwickelt wurde, die weit über herkömmliche A/B-Tests hinausgehen. Evolv hilft seinen Kunden, wichtige Kennzahlen wie die Сonversionsraten durch die Einführung der richtigen UX-Verbesserungen auf ihren Websites oder Apps deutlich zu steigern. Evolv wurde 2019 gegründet und ist das Ergebnis einer Technologie-Ausgliederung von Sentient Technologies, das den größten Teil des Jahrzehnts als KI-Forschungs- und Entwicklungsunternehmen gearbeitet hat. Dieses Team hat einige innovative Algorithmen entwickelt, die jetzt als Bausteine in der KI-gesteuerten Optimierungsplattform von Evolv enthalten sind. Ursprünglich haben wir unseren Service für Sentient Technologies bereitgestellt. Nachdem Sentient den Großteil seines Geschäfts an Cognizant verkauft hatte, wurde Evolv aus dem geistigen Eigentum des zuvor Sentient Ascend genannten Angebots geboren.
Eine Plattform mit einer so umfangreichen Geschäftslogik erfordert eine komplexe und einzigartige Architektur mit mehreren Modulen. Um die Plattform robust und intakt zu halten, investiert Evolv weiterhin in fortlaufende Softwaretests und Qualitätssicherung und vertraut QAwerk an, ihr bei dieser wichtigen Mission zu helfen.

Die Lösung für die digitale Wachstumsoptimierung von Evolv ermöglicht es Marken, von sich ändernden Trends und Kundenpräferenzen zu profitieren, indem sie bewährte UX-Verbesserungsforschung verwendet. Sie helfen Kunden, ihre aktuelle Strategie für digitale Kundenerlebnisse zu analysieren, neue Ideen zu entwickeln, die erforscht werden sollen, und nutzen ihre proprietäre KI-Software, um schnell erfolgreiche Erfahrungen zu ermitteln und den Verkehr in Echtzeit an sie weiterzuleiten.

Angenommen, ein Geschäftsinhaber möchte, dass mehr Nutzer einen Lead-Magneten auf einer Serviceseite verwenden. Die Suche nach Optionen zur Optimierung der User Journey auf dieser Seite mit herkömmlichen A/B-Tests kostet jedoch zu viel Zeit und Geld. Evolv ermöglicht das gleichzeitige Testen mehrerer UX-Kandidaten und schließt automatisch die leistungsschwächsten Optionen aus. Darüber hinaus gibt es eine zweite Phase von UX-Experimenten – EVO –, bei der Varianten aus verschiedenen Variablen basierend auf den maschinellen Lernalgorithmen der Plattform kombiniert werden. Wenn der Unternehmer alle statistischen Berichte zur Hand hat, weiß er genau, welche UX-Änderungen er implementieren muss, um sein Optimierungsziel zu erreichen.

Herausforderung

Ganz am Anfang war es für uns eine Herausforderung, umfassende Tests durchzuführen, ohne die Geschäftslogik der Plattform und ihren Umfang vollständig zu verstehen. Damals hatten wir nur wenige Testfälle und arbeiteten mit einer älteren Version der Web-App von Evolv. Später begannen wir mit dem Testen ihrer brandneuen Desktop-App – Web Editor –, die zur Entwicklung von UX-Verbesserungen für Kunden-Websites entwickelt wurde, und einer Web-App – Manager –, die zum Starten und Verwalten von KI-gesteuerten Tests sowie zum Anzeigen aller relevanten Statistiken zu den Experimenten entwickelt wurde. Eine unserer größten Herausforderungen bestand darin, zu überprüfen, ob der A/B-Test korrekt gestaltet ist, dass das UX-Experiment wie beabsichtigt verläuft und dass die Manager-App genaue Berichte anzeigt.
Alle QA-Dienste, die wir für Evolv anbieten, können in die folgenden Kategorien eingeteilt werden:

• Das Testen von UX-Verbesserungen für die Experimente der Kunden von Evolv – das Angebot maßgeschneiderter UX-Lösungen für jeden Besucher und Kunden ist ein wesentlicher Bestandteil der digitalen Wachstumsstrategie von Evolv. Unsere Aufgabe in diesem Teil besteht darin, sicherzustellen, dass alle vorgeschlagenen UX-Änderungen zur Optimierung des digitalen Wachstums richtig umgesetzt werden.
• Testen von Produktversionen + Regressionstests – Evolv veröffentlicht jeden Monat Software-Updates, daher testen wir regelmäßig neue Funktionen, Bugbehebungen und führen Regressionstests der Kernfunktionen durch, damit die Plattform jeden Tag rund um die Uhr läuft.
• Automatisiertes Testen – Unsere größte Herausforderung in diesem Bereich besteht darin, Regressions- und Smoke-Tests zu automatisieren, damit sie in der CI/CD-Pipeline ausgeführt werden können. Wir sind auch bestrebt, leicht wartbare und wiederverwendbare Tests mit Fokus auf codelose Testautomatisierung zu erstellen.

Lösung

Die Hindernisse, mit denen wir in der ersten Testphase konfrontiert waren, wurden dank der engen Kommunikation mit dem Evolv-Team und der gründlichen Dokumentation schnell gelöst. Während wir Testfälle in CucumberStudio schrieben, bereitete das Team von Evolv Bugbehebungs-Dokumente vor, damit wir die Logik der Plattform besser verstehen können. Nachdem Evolv auf eine neue Plattform umgestiegen war, war es für uns einfacher, es zu testen, da wir an jedem Schritt seiner Entwicklung beteiligt waren und die Architektur und die gesamte Logik dahinter sehr gut kannten.

Bisher haben wir eine Reihe von Regressionstestfällen abgeschlossen, die die Kernfunktionen der Plattform abdecken. Für jede Version führen wir Regressionstests durch und es ist uns gelungen, diesen Prozess von 3-4 Tagen auf 2 Tage zu beschleunigen.

Wir freuen uns auch darüber, unsere Dienstleistungen auf den Bereich des automatisierten Testens auszudehnen, wodurch die Zeit, die unser QAwerk-Team für die Überprüfung der Hauptfunktionen in jedem neuen Build aufwendet, erheblich reduziert wird. Bei der Implementierung automatisierter Tests müssen sich QA-Ingenieure häufig mit der kontinuierlichen Codebearbeitung oder dem vollständigen Neuschreiben des Codes befassen, um automatisierte Tests zum Laufen zu bringen. Im Zentrum der Herausforderung steht die Notwendigkeit, die Plattform weiterzuentwickeln und zu verbessern und herauszufinden, wie die User Journey dabei mehrfach verändert werden kann. Daher führt jede Änderung in der User Journey zu entsprechenden Änderungen im Testautomatisierungscode, was Zeit und Mühe kostet. Wir haben einen produktiveren Ansatz zur Automatisierung von Regressions- und Smoke-Tests gefunden, der es uns ermöglicht, wartbaren und wiederverwendbaren Code zu schreiben und ganz einfach neue Testszenarien zu erstellen, ohne Code zu schreiben: Wir bilden nur neue Sets von Szenarien in CucumberStudio.

Testautomatisierung

Sehen wir uns genauer an, wie wir zu einer fast codefreien Testautomatisierung gekommen sind. Anfangs verließ sich Evolv auf CucumberStudio als BDD-Collaboration-Tool. Als wir anfingen, mit Evolv zu arbeiten, wurde es zunächst verwendet, um einige manuelle Testfälle und Szenarien zu schreiben und auszuführen. Auf unserer Seite haben wir uns für das Automatisierungsprojekt auf CodeceptJS, nämlich Puppeteer, verlassen. Wir wollten jedoch die Vorteile beider Tools nutzen, den Automatisierungsprozess optimieren und ihn auch für Mitarbeiter mit schwachen oder keinen Programmierkenntnissen zeitsparend und transparent machen.

Indem wir die Automatisierungsfunktionen von CucumberStudio, wie den Export von Tests für BDD-Frameworks wie CodeceptJS und den Import von .feature-Dateien, mit etwas Javascript-Magie (AST-Parsing/Codegenerierung) kombinieren, haben wir ein Tool zum automatischen Generieren von Glue-Code für die Hin-und Her-Integration von CucumberStudio- und CodeceptJS-basierten Automatisierungsprojekten entwickelt. Dieses Setup ermöglicht eine einfache Integration in praktisch jede CI/CD-Pipeline.

Mit diesem Ansatz ist es möglich, die Menge an Codes, die ein QA-Ingenieur schreiben muss, um gängige Testszenarien zu automatisieren, erheblich zu reduzieren. Darüber hinaus ermöglicht dieses Setup manuellen QA-Ingenieuren, mit minimalem Zeitaufwand für das Onboarding zur Testautomatisierung beizutragen. Hier ist, was sie tun können:

• Neue Testszenarien im CucumberStudio-Projekt erstellen (worin die von unserem benutzerdefinierten Tool generierte .feature-Datei importiert wurde) – unter Verwendung von über 100 Aktionswörtern und dem Testszenario-Kontext (Variablen)
• Einem Test Runner in CucumberStudio neu erstellte Testszenarien (mit bereits konfigurierter CI/CD-Pipeline) hinzufügen
• Neu erstellte Testszenarien verifizieren – Pässe in CI/CD
• Refaktorierung von Aktionswörtern auf niedriger Ebene (Gruppen) in neu erstellten Testszenarien zu solchen auf Geschäftslogikebene – auch bekannt als echte Gurken-Phrasen in CucumberStudio

Es ist keine Eilmeldung, dass die Testautomatisierung ihren Zweck leicht verfehlen kann, wenn sie falsch durchgeführt wird. Das Beheben von Testinkonsistenzen aufgrund von Änderungen in der GUI (die ziemlich häufig vorkommen) ist einer der Hauptprobleme bei der Testautomatisierung. Wenn eine Schaltfläche oder ein Textfeld verschoben wird, findet der Element-Locator sie nicht, was zu einem fehlgeschlagenen Testlauf führt. Um Tests wieder grün zu machen, muss der Automatisierungstester Code modifizieren und die Änderungen pushen/PR/zusammenführen – ein ziemlich zeitaufwändiger Prozess.

Unser Ansatz zur Testautomatisierung ermöglicht es, den Zeitaufwand für solche (und viele andere) Korrekturen zu reduzieren, sei es bei Änderungen der Locator-Namen oder der Schrittreihenfolge. Manuelle QA-Ingenieure können diese Art von Bearbeitungen effizient durchführen, indem sie Testschritte in CucumberStudio korrigieren und diese Änderungen mit Testläufen synchronisieren.