Bug Crawl Digest #4: QA-Tests für mobile Apps

QA-Tests für mobile Apps fragen meist, ob eine Funktion funktioniert. Was dabei übersehen wird, ist alles drumherum: ein verlorenes Signal, eine Unterbrechung, ein Kunde, der seine kostenlose Testphase bereits aufgebraucht hat. Diese Bedingungen haben im vergangenen Monat nahezu jeden Fehler erzeugt, den wir in 14 Produkten gefunden haben.

Solche Situationen sind völlig gewöhnlich. Die meisten Apps begegnen ihnen allen innerhalb weniger Tage nach dem Start. Trotzdem deckt ein Testplan diese Fälle üblicherweise zuletzt ab, und viele Teams kommen nie so weit. Genau diese Fehler zu finden ist das, was unsere Ingenieure für mobiles Applikationstesten jede Woche tun.

Hier sind die vier Ausfälle, die Ihre Aufmerksamkeit verdienen, und das Produkt, das unseren Fehler des Monats gewonnen hat.

Apps in diesem Digest:

Die anderen sieben Produkte, die wir im August durchforstet haben, finden Sie im vollständigen Bug-Crawl-Archiv.

Werbung, die Sie aussperrt, wenn das Signal geht

Apps: Isle Survival: Land Builder, Extreme Makeover: Home Edition (beide iOS)
Schweregrad: Kritisch
Typ: Werbung und Konnektivität

Beide Spiele speichern einen Videowerbespot vorab auf dem Telefon, damit er später flüssig abspielt. Dieser Teil funktionierte, doch alles, was darum herum gebaut war, setzte voraus, dass das Internet noch da sein würde.

Unser Tester versetzte Isle Survival in den Flugmodus, tippte auf Ansehen und sah sich das ganze Video an. Der Shop-Bildschirm, der danach erscheinen sollte, konnte ohne Verbindung nicht laden, und eine Schließen-Schaltfläche erschien ebenfalls nicht. Es gab keinen Weg zurück ins Spiel. Ein Spieler, der eine Werbung in gutem Glauben ansieht, sitzt am Ende dahinter fest.

Extreme Makeover: Home Edition scheiterte auf dieselbe Weise mit einem anderen Ausgang. Der gespeicherte Werbespot lief ebenfalls offline ab, danach führte die Rückkehr ins Spiel zu einem schwarzen Bildschirm, auf dem nichts reagierte.

Spieler lesen beides als Versagen des Spiels und nicht des Netzes, und dieser Unterschied kostet Geld. Wer dem Produkt die Schuld gibt, deinstalliert es, während ein abgerissenes Signal meist verziehen wird.

Was Sie auf Ihrer Seite prüfen sollten: Testen Sie jede Werbung, die vorab gespeichert werden kann, mit ausgeschalteter Verbindung, und testen Sie über das Video hinaus weiter. Der Weg hinaus darf niemals von einem Bildschirm abhängen, der nur bei funktionierendem Internet erscheinen kann. Wo eine Belohnung offline wirklich nicht gewährt werden kann, blenden Sie das Angebot aus, statt einen Spieler etwas verdienen zu lassen, das Sie nicht aushändigen können.

Wie so etwas gefunden wird: Exploratives Testen auf echter Hardware, bei dem jemand die Verbindung an unpassenden Momenten absichtlich kappt. Automatisierte Suiten laufen in einem gesunden Netz und begegnen dem nie. Unsere Arbeit im Spieletesten behandelt Werbung als eigenen Bereich, nicht als Funktion, die zufällig im Spiel sitzt.

Bug Crawl Digest #4: Was QA-Tests für mobile Apps übersehen

Apps, die vergessen, wo Sie aufgehört haben

Apps: SUN AI: Audiobook & Podcasts (Android), Grounds: Fitness App for Women (iOS)
Schweregrad: Kritisch bis schwerwiegend
Typ: Unterbrechungen und Fortsetzen

Jedes Telefon legt Apps schlafen. Ein Anruf kommt, jemand sieht nach einer Nachricht, und Ihr Produkt sitzt eine halbe Minute still im Hintergrund. Was es tut, wenn die Person zurückkommt, ist eine Funktion, ob sie nun jemand als solche entworfen hat oder nicht.

SUN AI ging mit der Unterbrechung am schlechtesten um. Unser Tester wechselte zu etwas anderem, kehrte einen Moment später zurück und fand einen leeren weißen Bildschirm, der auf nichts reagierte. Die einzige Abhilfe war, die App vollständig zu schließen und neu zu beginnen.

Grounds scheiterte sanfter. Unser Tester startete ein Workout, öffnete die Detailseite einer Übung, wechselte kurz weg und kam stattdessen zur Übersichtsliste zurück.

Keines der beiden Produkte bemerkte, dass es unterbrochen worden war, und das ist der gemeinsame Nenner. Es erklärt auch, warum dies so oft durchrutscht: Ein geschriebener Test bekommt nie einen Anruf, also wird von der App nie verlangt, einen zu überstehen.

Was Sie auf Ihrer Seite prüfen sollten: Wechseln Sie von jedem Bildschirm weg, der etwas Laufendes enthält, nicht nur vom Startbildschirm. Warten Sie einige Minuten mit anderen geöffneten Apps, lange genug, damit das Telefon beginnt, Ihre aus dem Speicher zu räumen. Prüfen Sie dann bei der Rückkehr drei Dinge: Der Bildschirm ist dort, wo Sie ihn verlassen haben, jede Zahl, die mitlief, stimmt, und jedes Audio oder Video spielt oder pausiert genau so, wie die Person es gewählt hat.

Wie so etwas gefunden wird: Regressionstests, die die Unterbrechung in bestehende Testfälle einbauen, statt sie als gesonderte Übung zu behandeln. Diese Ausfälle sammeln sich auf Bildschirmen, die etwas Laufendes halten, also gehört genau dorthin der Aufwand.

Wenn Timer und App sich uneinig sind

Apps: Grounds: Fitness App for Women, January: AI Health Tracker (beide iOS)
Schweregrad: Kritisch bis schwerwiegend
Typ: Zeitmessung und Fortschrittsverfolgung

Eine Zahl, die nach oben tickt, verspricht, dass etwas gemessen wird. Zwei Produkte haben dieses Versprechen im August gebrochen, und keines gab jemandem die Möglichkeit, es zu bemerken.

January: AI Health Tracker lieferte die beunruhigendere Variante. Unser Tester startete eine Sprachaufnahme, ein Wecker ging los, und er sprach einfach weiter. Der Zähler lief die ganze Zeit weiter, was bedeutete, dass die Aufnahme in Ordnung sei, doch kein einziges während dieses Weckers gesprochenes Wort erreichte das fertige Transkript. Die App meldete Arbeit, die sie still eingestellt hatte.

Grounds hatte das schwerere Problem. Mitten in der Sitzung ordnete unser Tester die Reihenfolge des Workouts neu. Das Häkchen, das zeigte, welche Übung bereits beendet war, blieb an seiner alten Stelle zurück, statt mitzuwandern. So erschien eine Bewegung, die niemand ausgeführt hatte, als abgeschlossen, während die tatsächlich erledigte unberührt aussah.

Dieselbe App ließ außerdem ihre Workout-Uhr weiterlaufen, während unser Tester die Liste neu sortierte, sodass die Zeit fürs Organisieren als Trainingszeit erfasst wurde.

Für Produkte, deren gesamter Wert eine ehrliche Aufzeichnung dessen ist, was Sie getan haben, ist das der denkbar schlechteste Ausgang. Eine falsche Zahl richtet mehr Schaden an als gar keine Zahl, weil Menschen danach handeln.

Was Sie auf Ihrer Seite prüfen sollten: Unterbrechen Sie alles, was Zeit oder Fortschritt verfolgt. Öffnen Sie einen anderen Bildschirm, wechseln Sie zu einer anderen App, lösen Sie einen Wecker aus, nehmen Sie einen Anruf an. Vergleichen Sie dann das Gemeldete mit dem, was wirklich geschah, und stellen Sie sicher, dass ein Timer in dem Moment pausiert, in dem es die Aktivität tut. Wenn das Telefon Ihrer App das Mikrofon still wegnehmen kann, muss sie das bemerken und es sagen.

Wie so etwas gefunden wird: Funktionstests, die um Unterbrechungen herum aufgebaut sind statt um saubere Durchläufe. Es braucht jemanden, der bereit ist, den eigenen Versuch absichtlich zu ruinieren, und so wird ein Testplan selten geschrieben.

Kostenlose Testphasen, über die das Produkt nicht Buch führen kann

Apps: OLY: Personal Fitness Coach (iOS)
Schweregrad: Schwerwiegend
Typ: Abonnements und Abrechnung

Das ist der einzige Fehler, den wir im August gefunden haben, der einem Kunden tatsächlich Geld abgenommen hat.

OLY zeigte unserem Tester eine Paywall mit einer Schaltfläche, auf der stand: Meine 7-tägige kostenlose Testphase starten. Er tippte darauf. Allerdings hatte er sein Einführungsangebot bereits genutzt, sodass keine Testphase mehr übrig war. Die Bestätigung des Kaufs belastete ihn stattdessen für ein ganzes Jahr. Der Bildschirm versprach das eine, die Zahlung lieferte das andere. Unser vorheriger Digest fand dieselbe Lücke beim Testen von In-App-Käufen, wo das Geld durchging und nichts ankam.

Genau dieses Muster beobachten amerikanische Regulierungsbehörden. Die FTC verfolgt Abonnementfälle weiterhin mit ihren bestehenden Befugnissen, während sie die Negative Option Rule überarbeitet, und eine Beschwerde dreht sich um eine Schaltfläche für eine kostenlose Testphase, die zu einer Belastung führte. Ein Fehler hier sieht genau wie die Praxis aus, die verfolgt wird. Weder der Kunde, der bezahlt hat, noch die Behörde, die davon erfährt, kann ein Versehen von einer absichtlichen Täuschung unterscheiden.

Der Fehler selbst ist simpel genug: OLYs Paywall war für einen Erstbesucher gebaut und fragte nie, mit wem sie eigentlich sprach.

Was Sie auf Ihrer Seite prüfen sollten: Testen Sie jeden Abonnementbildschirm als wiederkehrender Kunde, nicht nur als neuer. Prüfen Sie, was Ihre Paywall jemandem anbietet, der bereits eine Testphase hatte, und bestätigen Sie, dass die folgende Belastung zum Angebot auf dem Bildschirm passt. Behandeln Sie das Versprechen und die Zahlung als zwei getrennte Tatsachen, die zu vergleichen sind.

Wie so etwas gefunden wird: Indem das ganze Leben eines Kontos getestet wird, mit den Testzahlungssystemen der Stores und Konten in unterschiedlichen Stadien ihrer Historie. Unsere App-Store-Konformitätsprüfung deckt die Plattformregeln ab, denen diese Bildschirme unterliegen, neben den kommerziellen.

QA-Testen für mobile Apps: was auf Ihre Checkliste gehört

Jeder Punkt unten stammt aus einem Fehler, den wir im August gefunden haben. Geben Sie die Liste an die Person weiter, die Ihre Releases testet.

Jede gespeicherte Werbung: spielen Sie sie mit ausgeschalteter Verbindung ab und bestätigen Sie, dass es noch einen Weg zurück in die App gibt.
Jeder Bildschirm mit etwas Laufendem: wechseln Sie für mehrere Minuten weg und bestätigen Sie, dass Bildschirm, Zahlen und Audio korrekt zurückkommen.
Jeder Zähler: unterbrechen Sie ihn mit einem Anruf, einem Wecker oder einem anderen Bildschirm und vergleichen Sie das Gemeldete mit dem Geschehenen.
Jede Paywall: betrachten Sie sie als jemand, der bereits eine Testphase genutzt hat, und prüfen Sie, ob die Belastung zum Angebot passt.
Jeder Ladebildschirm: starten Sie ihn offline und bestätigen Sie, dass er sich erklärt, statt ewig zu warten.

Fehler des Monats

Unsere Wahl ist Weglot, eine Übersetzungsplattform. Unternehmen verbinden sie mit ihrer Website, damit Besucher die Inhalte in ihrer eigenen Sprache lesen können. Diese übersetzte Seite auszuliefern ist die Kernaufgabe des Produkts, und beide gefundenen Fehler bedeuten, dass die App genau daran scheitert.

Der erste zeigte sich auf einer Testwebsite, die unser Tester mit dem angebundenen Weglot-Plugin aufgebaut hatte. Das Seitendesign brach zusammen, sobald er von der Originalsprache zu einer anderen wechselte. Dieses Ausmaß des Versagens wurde als kritisch eingestuft, da es das Hauptversprechen der App zunichtemachte, indem es die Struktur der Website beschädigte.

Der zweite betrifft handgeschriebene Korrekturen. Weglot übersetzt eine Website automatisch, und der Eigentümer kann manuell alles korrigieren, was die Software falsch gemacht hat. Unser Tester tat genau das und wies die Plattform dann an, die maschinelle Ausgabe nicht mehr zu verwenden, sodass nur die handgeschriebene Fassung erscheinen sollte. Keine dieser Korrekturen erschien auf der Website.

Die lobende Erwähnung geht an Isle Survival. Ein Spieler sitzt eine Werbung aus, kommt nicht zurück ins Spiel und muss es schließen. Viele werden es einfach löschen.

Niemand möchte von Fehlern wie diesen zuerst von einem Kunden hören. Erzählen Sie uns von Ihrer App, und wir finden sie zuerst.

FAQ

Was ist QA-Testen für mobile Apps?

QA-Testen für mobile Apps bedeutet zu prüfen, ob sich Software auf echten Geräten korrekt verhält, bevor Kunden sie nutzen. Es deckt ab, ob Funktionen arbeiten, und auch, wie das Produkt zurechtkommt, wenn es unterbrochen wird, das Signal verliert oder auf jemanden trifft, der es schon einmal genutzt hat. Diese ungeplanten Bedingungen verursachen die schwerwiegenderen Probleme, weil sie in einem skriptgesteuerten Testlauf selten auftauchen.

Warum zeigen sich so viele App-Fehler nur offline?

Weil die meisten Tests mit guter Verbindung laufen, sodass niemand je beobachtet, was eine App ohne sie tut. Produkte werden auf Erfolg gebaut, und sie bewältigen eine Anfrage, die gänzlich fehlschlägt, meist gut, doch wenige Teams entscheiden, was dazwischen passiert. Ein Bildschirm wartet ewig, eine Schaltfläche tut nichts, oder eine gespeicherte Werbung läuft, während der Rest der App nicht laden kann.

Können automatisierte Tests Offline- und Unterbrechungsfehler finden?

Sie finden einige, nicht die meisten. Automatisierung ist gut darin zu bestätigen, dass eine Funktion weiterhin arbeitet, und Unterschiede zwischen Builds zu erkennen. Sie tut sich schwer mit unterbrochenen Sitzungen, fehlenden Verbindungen und allem, was ein Mensch mit dem Auge beurteilen muss. Dafür braucht es jemanden mit einem echten Telefon in der Hand, weshalb exploratives Testen Teil jedes ernsthaften Plans bleibt.

Wollen Sie einen Bug Crawl für Ihre App?

Fordern Sie einen an!

Wir setzen einen unserer QA-Ingenieure darauf an und senden Ihnen einen detaillierten, reproduzierbaren Bericht mit Videobelegen.