Penpot

Herausforderung

Penpot wandte sich an QAwerk, um sicherzustellen, dass sie ihr Produkt innerhalb des vorgegebenen Zeitrahmens für die breite Öffentlichkeit freigeben können.  Das interne Team sollte sich auf die Entwicklung zusätzlicher Funktionen und die Feinabstimmung des Produkts konzentrieren, anstatt auf Fehler und deren Aufspüren.

Hier ein kurzer Überblick über unser Leistungsspektrum:

• Entwicklung von Teststrategie und Testplan.  Vor der Zusammenarbeit mit QAwerk hat das Penpot-Team mit Hilfe interner Teammitglieder und der großen Community von Beta-Benutzern Fehler gemeldet.  Mit der zunehmenden Popularität von Penpot und der Absicht, das Beta-Tag aus der App zu entfernen, ist dieser Ansatz nicht mehr praktikabel.  Daher wurden wir gebeten, alle Testbemühungen zu planen und geeignete Arbeitsabläufe zur Qualitätssicherung einzurichten, um die Grundlage für professionellere Tests in der Zukunft zu legen.
• Von der Beta bis zur offiziellen Veröffentlichung.  Die Behebung von Fehlern und die Verbesserung der Leistung vor der Veröffentlichung des Produkts für die breite Öffentlichkeit war Penpots oberste Priorität.  Unser Ziel war es, alle vorhandenen Funktionen methodisch durchzugehen und so viele Probleme wie möglich zu finden, um sicherzustellen, dass keine kritischen Fehler mehr auftreten und die Anwendung ohne Verzögerungen oder Probleme mit der Datenspeicherung ausgeführt wird.
• Polnische neue Funktionalität.  Die Produktionsversion enthielt einige lang erwartete neue Funktionen wie Fluid-Schnittstellen, Zugriff auf Code direkt aus dem Arbeitsbereich und Verbesserungen der Barrierefreiheit, um nur einige zu nennen.  Unsere Aufgabe war es sicherzustellen, dass sich diese Innovationen nahtlos integrieren, bestehende Funktionalitäten nicht beeinträchtigen und Penpot-Benutzer wirklich ansprechen.

Darüber hinaus wollten wir Penpot helfen, die Testabdeckung zu verbessern und Updates mit Zuversicht zu veröffentlichen.  Daher haben wir vorgeschlagen, manuelles Testen durch Testautomatisierung zu ergänzen.

Lösung

Als wir mit dem Testen begannen, stießen wir auf zahlreiche interne Serverfehler, die zufällig auftraten und deren Ursache zunächst unklar war.  Diese Fehler mussten sofort behoben werden, da sie dazu führen könnten, dass Benutzer ihre Arbeit verlieren.

Daher haben wir Videos aufgenommen, um die genauen Schritte zur Reproduktion dieser Art von Fehlern festzuhalten, und versucht, ein gemeinsames Muster zwischen solchen Fällen und Benutzeraktionen zu finden, die Fehler verursachen können, und welche Anwendungsfälle am anfälligsten dafür sind.  Wir haben unsere Ergebnisse mit den Penpot-Entwicklern geteilt, die das Problem schließlich vollständig behoben haben.

Unsere Tests umfassten verschiedene Arten von Tests, wie z. B.:

• Funktionstest.  Wir haben dafür gesorgt, dass die Benutzerautorisierung korrekt funktioniert.  Wir haben die Module User Profile, Dashboard und Workspace ausgiebig getestet.  Wir haben dafür gesorgt, dass sich alle Änderungen unverzüglich im Design widerspiegeln, insbesondere beim Co-Editing.
• Regressionstests. Das Penpot-Team führt ständig neue Funktionen ein und aktualisiert bestehende Funktionen, was regelmäßige Regressionstests erfordert.  Wir kombinieren sowohl manuelle als auch automatisierte Regressionstests, um die beste Abdeckung und konsistente Ergebnisse zu erzielen.
• Testen der Benutzeroberfläche.  Ein eleganter UI-Look ist für jede moderne Anwendung von größter Bedeutung, insbesondere für ein Designtool wie Penpot, das von UI/UX- und Produktexperten in großen Organisationen verwendet wird.  Wir haben die Position und Ausrichtung der Elemente in jeder Benutzeroberfläche überprüft und sichergestellt, dass die Muster der Benutzeroberfläche in der gesamten Anwendung konsistent sind.
• Kompatibilitätstests. Unsere QA-Ingenieure haben Penpot auf drei großen Browsern getestet – Firefox, Chrome und Safari.  Wir haben Penpot auf mehreren Versionen von Safari getestet, da einige der Fehler nur in älteren Versionen aufgetreten sind.  Darüber hinaus haben wir drei verschiedene Betriebssysteme verwendet: Windows, macOS und Linux, damit alle Benutzer unabhängig von ihrem Gerät die Vorteile von Penpot genießen können.

Bei der Testautomatisierung haben wir uns hauptsächlich auf Regressionstests konzentriert.

Testautomatisierung

Die Testautomatisierung wurde mit dem Playwright-Framework durchgeführt.  Playwright wurde entwickelt, um die browser- und plattformübergreifende Automatisierung zu vereinfachen, daher ist es für unsere Zwecke gut geeignet.

Bei der Auswahl von Testfällen für die Automatisierung haben wir uns von zwei Regeln leiten lassen: Testfälle sollten eine hohe Rendite haben und ihre Vorbereitung sollte nicht zu viel Zeit in Anspruch nehmen.  Auf diese Weise können Sie einen positiven ROI erzielen.

Zum Beispiel haben wir Dinge wie das Anmelden oder das Vergessen Ihres Passworts nicht automatisiert, weil Sie es mit APIs von Drittanbietern wie Gmail zu tun haben und die Automatisierung dieses Prozesses den Aufwand nicht wert ist.  Oder Fälle mit Drag-and-Drop- oder Copy-and-Paste-Aktionen, da Playwright diese nicht immer korrekt handhabt und Tests instabil sein können.

Wir haben automatisierte Testfälle wie Anmelden, Erstellen und Löschen von Dateien, Öffnen und Umbenennen von Dateien, Erstellen und Löschen von Boards, Hinzufügen von Unschärfe zu Boards, Ändern von Hintergrundfarben und mehr.  Sie sind im öffentlichen Penpot-Repository verfügbar.

Wir haben auch den visuellen Vergleich des Dramatikers verwendet, um die Aufnahmen zu überprüfen.  Um beispielsweise Testfehler aufgrund von UI-Änderungen zu minimieren, haben wir Screenshots verwendet, die nur ein Element oder einen Abschnitt zeigen.  B. das erstellte Formular erfasst wird.  Wenn dem Design-Panel neue Abschnitte hinzugefügt wurden, hatte dies keinen Einfluss auf die Stabilität der Tests.

Etwa 10 % unserer Testfälle erfordern die Erfassung des gesamten Bildschirms, z.  B. wenn wir nicht nur die Ebenen, sondern auch die Symbolleiste überprüfen müssen.  Hier haben wir Maskierung verwendet, um Elemente mit dynamischem Inhalt wie Zeitstempel oder Benutzernamen zu ignorieren.  Obwohl es nicht möglich ist, Fehlalarme vollständig zu eliminieren, ist die Aktualisierung solcher Testfälle einfach und schnell.