Softwaretesten-Blog

Wenn Sie ein Produkt entwickeln, das auf einem Large Language Model (LLM) basiert, kennen Sie bereits die Aufregung beim Ausliefern eines neuen Features. Sie kennen auch das schleichende Unbehagen, das folgt. Sie pushen am Dienstag einen kleinen Prompt-Tweak. Bis Freitag leitet der Kundensupport Screenshots weiter, auf denen Ihr Chatbot ein Konkurrenzprodukt empfiehlt, eine nicht existierende Rückerstattungsrichtlinie halluziniert und vergisst, das Tool „Abonnement kündigen“ aufzurufen.

Wöchentlich wählen die Tester von QAwerk ein Spiel oder eine App aus den Stores aus und suchen nach Fehlern. Wir veröffentlichen jeden Fund auf unserer Bug-Crawl-Seite, inklusive Reproduktionsschritten, Videobeweis, Schweregrad und weiteren wichtigen Details.

Schon ein einziger Absturz kann dazu führen, dass ein Nutzer die App sofort deinstalliert. Entwickeln Sie eine Strategie zur Meldung von App-Abstürzen, mit der Sie Fehler frühzeitig erkennen, und erfahren Sie, welche Tools sich dafür am besten eignen.

Stellen Sie sich vor, Sie liefern ein KI-Produkt aus, das jede Demo perfekt meistert. Ihr Team testet es vor dem Launch gründlich, und die Ausgaben sehen scharf aus, also liefern Sie mit Zuversicht. Jedoch schickt Ihnen zwei Wochen später ein Kunde einen Screenshot einer Antwort, die sachlich falsch, selbstsicher formuliert und völlig im Widerspruch zu dem steht, was dasselbe Produkt am Vortag gesagt hat. Das könnte ein ernsthafter Schlag für Ihren Ruf sein, und Sie können es sich absolut nicht leisten, das Vertrauen Ihrer Kunden zu verlieren.

Falls Sie sich fragen, warum LLM-Red-Teaming-Tools heute unverzichtbar sind, bedenken Sie Folgendes: Die Kosten der Cyberkriminalität werden 2025 voraussichtlich 10,5 Billionen US-Dollar übersteigen, wobei LLM-Schwachstellen nun Teil dieser Entwicklung sind.

Air Canada verlor einen Rechtsstreit, weil sein Chatbot eine Rückerstattungsrichtlinie erfunden hatte. Das Gericht entschied, dass die Fluggesellschaft das einhalten müsse, was der Bot versprochen hatte. Klarna kehrte von seiner AI-first-Kundenservicestrategie ab, nachdem sein Chatbot einen schlechteren Service lieferte als Menschen, und begann, wieder Mitarbeiter einzustellen. Beide Geschichten sorgten für Schlagzeilen, weil das zugrunde liegende Problem dasselbe war. Ein großes Sprachmodell wurde ohne den QA-Prozess, den die Technologie tatsächlich benötigt, in die Produktion gebracht.

Ein einziger Satz. Das war alles, was nötig war, um den KI-Assistenten eines Autohand­lers im Dezember 2023 dazu zu bringen, einem Verkauf eines 76.000-Dollar-SUV für einen einzigen Dollar „zuzustimmen“.

Multi-Agenten-KI-Systeme versprechen eine verlockende Vision: autonome Agenten, die wie ein erfahrenes menschliches Team zusammenarbeiten.

Funktioniert Ihre API nicht wie erwartet? Treten immer mehr Probleme auf, ohne dass Sie wissen, warum, obwohl sie alle Tests Ihres Teams bestanden hat?