Granola

Einführung

Granola fungiert als KI-Notizblock, der den Nutzer während Meetings begleitet. Anstatt sich auf virtuelle Bots zu verlassen, die sich in Anrufe einwählen und aufnehmen, nimmt die App direkt Audio vom Computer auf, während der Nutzer seine eigenen Notizen eingibt. Sobald das Meeting endet, kombiniert Granolas KI die manuellen Eingaben des Nutzers mit dem vollständigen Transkript, um organisierte Zusammenfassungen, wichtige Erkenntnisse und Aktionspunkte zu erstellen. Die Nutzer behalten die volle Kontrolle, um diese Notizen zu bearbeiten, benutzerdefinierte Vorlagen für bestimmte Meeting-Typen wie 1-on-1s oder Discovery Calls anzuwenden und die finalisierten Informationen direkt in Plattformen wie Slack, CRMs oder Projekt-Boards zu exportieren.

Herausforderung

Als Granolas Nutzerbasis und Funktionsumfang wuchsen, erkannte das Team den Bedarf nach einem dedizierten Ansatz zur Qualitätssicherung. Vor der Partnerschaft mit QAwerk arbeitete Granola ohne eine interne QA-Abteilung und überließ Entwicklern und Kundensupport-Teams die gesamte Testarbeit neben ihren Hauptaufgaben. Diese Konstellation, kombiniert mit einem Mangel an vielfältigen Testgeräten, erschwerte es, die Stabilität während des schnellen, wöchentlichen Release-Zeitplans aufrechtzuerhalten.

Granola wandte sich an QAwerk, um die volle Verantwortung für die Softwarequalität zu übernehmen. Um unsere Partnerschaft erfolgreich zu machen und greifbare Geschäftsergebnisse zu erzielen, mussten wir mehrere spezifische Herausforderungen überwinden:

• Schritt halten mit schnellen Releases: Da neue Funktionen ungefähr einmal pro Woche eingeführt wurden, mussten wir eine schnelle und zuverlässige Testroutine implementieren, die perfekt mit Granolas schnelllebigem Entwicklungszyklus übereinstimmte und Qualität ohne Deployment-Verzögerungen sicherstellte.
• Geräte- und Hardware-Abdeckung erweitern: Da Granola komplexe Audioaufnahmen verarbeitet und im Hintergrund läuft, muss es auf unterschiedlichen Setups einwandfrei funktionieren. Wir mussten QAwerks umfangreiche Geräteinfrastruktur nutzen, um die App auf einer breiten Palette von Hardware-Konfigurationen und Betriebssystemen zu testen, auf die Granolas internes Team keinen Zugriff hatte. Wir validierten auch die Kompatibilität mit verschiedenen Audio-Setups, einschließlich integrierter Audiogeräte, externer kabelgebundener Lautsprecher, kabelgebundener Headsets und Bluetooth-Headsets.
• Entwickler und Support-Teams entlasten: Wir mussten Granolas internem Personal die Testlast abnehmen, indem wir von Nutzern gemeldete Bugs unabhängig untersuchten, die Grundursachen isolierten und eine klare, umfassende Testdokumentation von Grund auf erstellten.
• Testautomatisierung von Grund auf aufbauen: Um langfristige Effizienz und Produktstabilität bei häufigen Updates zu gewährleisten, bestand ein wesentliches Ziel darin, ein robustes Test-Automatisierungs-Framework für Regressionstests zu entwerfen und zu implementieren und Zeit für tiefere manuelle Erkundung freizumachen.

Lösung

Wir übernahmen die volle Verantwortung für Granolas QA-Workflow, um ihren schnellen Release-Zyklus zu unterstützen. Wir erstellten eine umfassende Testdokumentation von Grund auf mit Qase.io (mit über 1.100 Testfällen), meldeten innerhalb der ersten zwei Monate 90 Bugs und implementierten eine mehrschichtige Teststrategie, die auf eine KI-gesteuerte, plattformübergreifende Anwendung zugeschnitten ist.

Hier ist eine Aufschlüsselung der spezifischen Testlösungen, die wir implementiert haben:

• Functional Testing. Wir validierten die Kernfunktionen von macOS und Windows, einschließlich Transkription, KI-Notizerstellung, Offline-Modi und Audio-Gerätewechsel. Wir unterstützten auch wichtige Rollouts wie Microsoft-Login, Recipes, MCP-Server, Granola-Chat-Updates, Pre-Meeting Briefs und das Rebranding vom Februar 2026, um sicherzustellen, dass die App unter realen Bedingungen zuverlässig funktioniert.
• Regression & AI-Assisted Test Selection. Um mit wöchentlichen Updates Schritt zu halten, ohne die Entwicklung zu bremsen, führten wir gezielte Regressionsssuites durch. In Zusammenarbeit mit Granola-Entwicklern bauten wir einen intelligenten KI-Flow, der Pull Requests analysiert und automatisch die relevantesten Testfälle auswählt.
• Dedicated iOS Testing. Um Granolas mobiles Wachstum zu unterstützen, richteten wir einen strukturierten Testprozess ein, der vollständig iOS gewidmet ist. Dazu gehörte der Aufbau der notwendigen Testdokumentation und die Durchführung strenger Pre-Release-Regressionszyklen. Unser Team testete die mobile App rigoros auf verschiedenen Software-Versionen (iOS 17, 18 und 26) und Geräte-Formfaktoren (reguläre, mini und Max-Bildschirme), um eine konsistente Nutzererfahrung auf jedem iPhone zu gewährleisten.
• Test-Automatisierungs-Framework. Wir automatisierten 76 % der kritischen Regressionssuite und richteten direkte Slack-Berichte ein. Dazu lösten wir komplexe technische Hürden: Umgehung von Google-SSO-Autorisierungen, direkte Einspeisung von Systemaudio in Tests und Verwendung von KI in unseren Skripten zur Überprüfung von Granolas KI-Besprechungszusammenfassungen.
• Integration Testing. Wir testeten Granolas Verbindungen zu wesentlichen externen Tools wie Outlook, Google Calendar, Stripe, Slack, HubSpot und Zapier und gewährleisteten, dass Nutzer Meeting-Daten nahtlos ohne Synchronisationsfehler exportieren können.
• Cross-Platform & Compatibility Testing. Mit QAwerks umfangreichem Gerätelabor verifizierten wir die App-Stabilität auf verschiedenen macOS- und Windows-Hardware-Konfigurationen sowie auf mehreren iPhone-Modellen und iOS-Versionen und gewährleisteten eine konsistente Erfahrung unabhängig vom Setup des Nutzers.
• LLM Testing. Wir konzentrierten uns auf die Bewertung der Antwortqualität, Kohärenz und sachlichen Genauigkeit der KI über verschiedene reale Meeting-Szenarien hinweg. Dazu gehörte das Testen der Robustheit des Modells gegenüber Edge Cases, wie mehrdeutigen Audio-Eingaben und Halluzinationen, während sichergestellt wurde, dass es den genauen Kontext während komplexer, mehrstufiger Gespräche beibehielt.
• Usability Testing. Um sicherzustellen, dass die App intuitiv und ablenkungsfrei ist, gingen unsere QA-Entwickler das Testen strikt aus der Nutzerperspektive an. Wir arbeiteten eng mit Granolas Produktteam zusammen, um die Benutzererfahrung zu verfeinern, und teilten umsetzbare Vorschläge wie die Klärung von Fehlermeldungen und das Hinzufügen hilfreicher UI-Hinweise.
• API Testing. Wir führten gründliche Tests von Granolas API-Endpunkten durch, um einen zuverlässigen Datenaustausch, stabile Integrationen und nahtlose Backend-Kommunikation sicherzustellen.
• Migrations-Testing. Um die Datenintegrität bei App-Updates zu gewährleisten, führten wir bei jedem Release-Kandidaten strenge Migrationstests durch. Dies stellte sicher, dass die sensiblen Besprechungsnotizen, Vorlagen und Workspace-Einstellungen der Nutzer beim Übergang zur neuesten Version sicher erhalten blieben.

Durch aktive Untersuchung von Nutzerbewertungen, Bearbeitung von Ad-hoc-Testanfragen und Abdeckung aller neuen Funktionen gaben wir Granolas Team das Vertrauen, Updates schnell zu veröffentlichen.

Testautomatisierung

Um Granolas Release-Zyklus zu beschleunigen und die manuelle Regressionszeit drastisch zu reduzieren, bauten wir ein skalierbares Test-Automatisierungs-Framework. Wir priorisierten die Automatisierung stabiler Kernfunktionen wie Onboarding, Notiz-Management und Workspace-Sharing und überließen hardware-abhängige und externe Zahlungsszenarien dem manuellen QA-Team, um die automatisierte Suite schnell und zuverlässig zu halten.

Das Framework wurde mit TypeScript und Playwright aufgebaut, um das Testing für ihre Electron-basierte Desktop-App auf macOS und Windows zu automatisieren. Wir verwendeten die Page Object Model (POM)-Architektur, um die Test-Suite leicht wartbar zu halten, während sich die App weiterentwickelt, und integrierten visuelles Regressionstesting, um unbeabsichtigte UI-Layout-Verschiebungen automatisch zu erkennen.

Die Automatisierung einer KI-gesteuerten App erforderte kreative Problemlösung. Da KI-generierte Notizen by design variieren, konnten wir uns nicht auf Exakt-Match-Verifizierungen verlassen. Über einfache Schlüsselwortvalidierung hinausgehend, implementierten wir einen KI-gestützten Testansatz, bei dem wir LLMs verwenden, um den Kontext und die Genauigkeit der Ausgaben intelligent zu analysieren. Wir umgingen auch instabile Drittanbieter-Logins (wie Google SSO), indem wir einen sicheren internen Authentifizierungshelfer implementierten, um falsche Testfehler zu verhindern.

Schließlich integrierten wir die gesamte Suite in Granolas CI/CD-Pipeline mit GitHub Actions. Tests laufen jetzt automatisch parallel auf Mac- und Windows-Umgebungen – entweder nächtlich oder vor einem Code-Merge. Um sicherzustellen, dass Entwickler schnell debuggen können, richteten wir eine Slack-Integration ein, die Autotest-Berichte schnell an das Team liefert und schnelles, umsetzbares Feedback zu jedem Build bereitstellt.