Die 10 wichtigsten Bewertungskriterien für LLM-Studiengänge, die Sie kennen müssen

Die Einführung eines LLM ohne eine geeignete Evaluierungsstrategie ist ein riskantes Unterfangen, dessen Tragweite den meisten Teams nicht bewusst ist. Weltweit setzen 67 % der Unternehmen LLMs produktiv ein, doch die Mehrheit verlässt sich weiterhin auf Evaluierungsmetriken, die für maschinelle Übersetzung im Jahr 2018 entwickelt wurden, oder verzichtet gänzlich auf eine strukturierte Evaluierung. Die Folgen sind vorhersehbar: Fehlalarme, die Schlagzeilen machen, Chatbots, die illegale Ratschläge erteilen, und Modellaktualisierungen, die unbemerkt Fehler verursachen, bis die Nutzer abwandern.

Dieser Artikel behandelt die wirklich relevanten LLM-Evaluierungsmetriken. Wir erläutern, was jede einzelne Metrik misst, wann sie anzuwenden ist, welche Punktzahl angestrebt werden sollte und welche Details die meisten Teams übersehen. Wenn Sie die Einstellung eines dedizierten QA-Teams oder die Beauftragung anderer Testdienstleister zur Evaluierung Ihrer LLM-basierten Tools erwägen, sind diese Informationen unerlässlich.

Die 10 wichtigsten Bewertungskriterien für LLM-Studiengänge

Bevor wir uns näher damit befassen, sollten Sie Folgendes wissen: Die richtigen Kennzahlen für die LLM-Evaluation hängen davon ab, in welchem ​​der drei Kontexte Sie tätig sind:

• Bewertung des Basismodells
  Auswahl oder Feinabstimmung eines LLM und Benchmarking der Rohleistung.
• RAG-Pipeline-Bewertung
  Die Kombination eines LLM mit einem Retrieval-System und die Bewertung der gesamten Kette, nicht nur des Modells.
• Agentische Bewertung
  Ein LLM ergreift Maßnahmen, ruft Tools auf und trifft mehrstufige Entscheidungen, die spezifische Bewertungsmetriken für LLM-Agenten erfordern, welche die meisten Standard-LLM-Benchmarks nicht abdecken.

Behalten Sie beim Lesen den Kontext im Auge. Die folgenden Kennzahlen lassen sich allen drei Bereichen zuordnen, und die Übersichtstabelle zeigt, welche Kennzahlen wo zutreffen.

Treue

Die Treue des Modells misst, ob seine Ergebnisse dem zugrunde liegenden Quellenmaterial widersprechen. Wenn Ihr LLM auf Basis recherchierter Dokumente antwortet, enthält eine treue Antwort ausschließlich Aussagen, die direkt durch diese Dokumente gestützt werden. Jede Aussage, die über die Quelle hinausgeht, ist eine Illusion.

Diese Bewertungsmetrik ist bei der Implementierung der RAG-Best Practices und dem Aufbau einer Pipeline unerlässlich. Sie ist zwingend erforderlich, wenn Ihr Produkt Fragen anhand interner Dokumente, Wissensdatenbanken oder externer Daten beantwortet. Ein Wert von über 0,8 auf einer normalisierten Skala von 0 bis 1, gemessen mit Frameworks wie Ragas oder DeepEval, ist anzustreben. Liegt der Wert unter 0,7, besteht wahrscheinlich ein Problem mit der Erkennung von Halluzinationen im großen Maßstab.

Beachten Sie, dass die Treue nur angibt, ob das Modell innerhalb der Quelle geblieben ist. Sie sagt nichts darüber aus, ob die Quelle selbst die richtige war. Dies ist ein separates Problem, das durch Kontextpräzision und Kontextwiederholrate abgedeckt wird.

Antwortrelevanz

Die Relevanzmetrik für Antworten ist unerlässlich für Kundensupport-Bots, interne Frage-Antwort-Tools, Dokumentationsassistenten und alle Schnittstellen, auf denen Nutzer direkte Fragen stellen und direkte Antworten erwarten. Sie misst, ob die Antwort die Frage des Nutzers tatsächlich beantwortet. Ein Modell kann sich vollständig an die Vorlage halten und dennoch eine Antwort geben, die vom Thema abweicht oder eine andere Frage als die gestellte beantwortet. Bei der Bewertung sollten Sie Werte von 1 oder höher anstreben, da Werte unter 0,75 in der Regel darauf hindeuten, dass das Modell den Kontext paraphrasiert, anstatt die Frage des Nutzers zu beantworten.

Es ist wichtig zu beachten, dass die Relevanz einer Antwort stark von der Gestaltung der Aufgabenstellung abhängt. Daher führt eine schlecht strukturierte Aufgabenstellung oft zu einem drastischen Abfall der Relevanzwerte, selbst wenn das Modell an sich leistungsfähig ist. Überprüfen Sie daher unbedingt die Aufgabenstellung, bevor Sie das Modell kritisieren.

Kontextpräzision und Kontextrückruf

Dies sind zwei Seiten derselben Medaille bei den LLM-Evaluierungsmetriken, und sie befinden sich auf der Abrufebene Ihrer RAG-Pipeline, nicht auf der Generierungsebene.

• Die Kontextpräzision gibt an, wie viel von dem abgerufenen Inhalt tatsächlich zur Beantwortung der Frage beitrug. Eine hohe Präzision bedeutet, dass der Retrieval-Algorithmus keine irrelevanten Informationen mitnimmt.
• Der Kontextwiedererkennungswert gibt an, wie viele der zur Beantwortung der Frage benötigten Informationen in den abgerufenen Datenblöcken enthalten waren. Ist der Wiedererkennungswert hoch, fehlen dem Abrufer keine wichtigen Inhalte.

Sie sollten diese LLM-Evaluierungsmetriken immer dann berücksichtigen, wenn Sie ein RAG-System debuggen, das niedrige Genauigkeits- oder Relevanzwerte liefert. Oft ist das Modell in Ordnung, und das Problem liegt im Retriever.

Viele Teams messen lediglich die Ausgabequalität von LLM und übersehen dabei, dass 60 bis 70 % der Fehler bei der RAG-Evaluierung auf die Datenabfrage und nicht auf die Datengenerierung zurückzuführen sind. Werden diese beiden Metriken bei der LLM-Evaluierung außer Acht gelassen, bleibt die Hälfte des Systems ungenutzt.

Halluzinationsrate

Dies ist eine der wichtigsten Kennzahlen zur Bewertung von Lernmanagementsystemen (LLM) und misst den Anteil der Ergebnisse mit faktisch falschen Aussagen. Im Gegensatz zur Genauigkeit, die das Ergebnis mit einem abgerufenen Kontext vergleicht, misst die Falschheitsrate die faktische Korrektheit im Vergleich zur Wahrheit. Dadurch ist sie schwieriger zu automatisieren, aber für kritische Anwendungsfälle aussagekräftiger.

Dies ist ein entscheidendes Bewertungskriterium für die Entwicklung von KI-Lösungen in Rechts-, Medizin-, Finanz- und Compliance-Anwendungen, wo ein sachlicher Fehler reale Konsequenzen haben kann. Darüber hinaus ist es unerlässlich für jedes Produkt, bei dem Nutzer wahrscheinlich auf Basis der Modellausgaben handeln, ohne diese zu überprüfen.

Bei den meisten LLM-Evaluierungsmetriken für die Produktion sollte eine Halluzinationsrate von unter 5 % angestrebt werden. In risikoreichen Bereichen sollte dieser Schwellenwert eher bei 1 % liegen.

Bedenken Sie, dass die Erkennung von Halluzinationen mittels LLM in großem Umfang kostspielig ist, da sie häufig eine menschliche Überprüfung oder die Hinzuziehung eines zweiten LLM als Gutachter erfordert. Daher ist es unerlässlich, dies im Budget einzuplanen, bevor Sie sich für diese Kennzahl entscheiden.

BLAU und ROT

Einige referenzbasierte Leistungsmetriken von LLM vergleichen die Ausgabe eines Modells mit einer bekannten korrekten Antwort. Sie sind:

• BLEU (Zweisprachige Evaluierungs-Unterstudie)
  Es misst die N-Gramm-Übereinstimmung zwischen dem generierten und dem Referenztext, wobei der Fokus auf der Präzision liegt. Ursprünglich wurde es für die maschinelle Übersetzung entwickelt.
• ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
  Es konzentriert sich auf das Erinnerungsvermögen und wird häufig zur Bewertung der Qualität von Zusammenfassungen verwendet.

Diese Metriken sollten Sie beim Erstellen von Übersetzungspipelines, strukturierten Zusammenfassungsaufgaben und Dokumentengenerierungstools verwenden, wenn Sie ein definiertes, korrektes Ergebnis erzielen möchten. Der anzustrebende Wert ist stark domänenspezifisch. Ein BLEU-Wert über 0,4 ist im Allgemeinen für Übersetzungen akzeptabel. Ein ROUGE-L-Wert über 0,5 stellt hingegen einen sinnvollen Richtwert für die Zusammenfassung dar.

BLEU oder ROUGE sollten jedoch niemals als alleinige Metriken zur Bewertung von Sprachlernkompetenzen in offenen Anwendungen verwendet werden. Eine 2024 veröffentlichte Studie bestätigte, dass beide Metriken die tatsächliche Leistung von Sprachlernkompetenzen in Gesprächs- oder Denkaufgaben nur unzureichend vorhersagen. Sie bestrafen gültige Paraphrasen und erfassen semantische Äquivalenz nicht. Sie gehören zwar zu Ihrem Werkzeugkasten, sollten aber nicht als primäres Bewertungskriterium dienen.

Verwirrung

Diese LLM-Evaluierungsmetrik steht in keinem Zusammenhang mit Perplexity AI. Sie misst, wie sicher das Modell das nächste Token in einer Sequenz vorhersagt. Eine geringere Perplexität bedeutet, dass das Modell sich seiner Ausgaben sicherer ist. Sie dient als Indikator für Flüssigkeit und Kohärenz auf der Ebene der Sprachmodellierung.

Sie sollten die Modellperplexität während der Basisevaluierung und des Feinabstimmens bewerten. Dies ist nützlich, um Modellversionen zu vergleichen oder die Auswirkungen eines Trainingslaufs auf die Ausgabeflüssigkeit zu messen.

Bedenken Sie jedoch, dass die Perplexität keinerlei Aussagekraft über die faktische Korrektheit, Relevanz oder Aufgabenerfüllung besitzt. Ein Modell kann eine sehr geringe Perplexität aufweisen und dennoch überzeugenden Unsinn produzieren. Daher sollten Sie sie lediglich als unterstützendes Signal während der Modellentwicklung verwenden, nicht aber als Qualitätskriterium für die Produktion.

Toxizitäts- und Bias-Score

Der Toxizitätswert misst, wie häufig ein Modell schädliche, beleidigende oder diskriminierende Inhalte erzeugt. Mithilfe dieser Bewertungsmetrik können Sie Ausgaben kennzeichnen, die Beschimpfungen, Drohungen oder explizites Material enthalten. Der Bias-Wert hingegen deckt Muster auf, bei denen das Modell Gruppen systematisch unterschiedlich behandelt, beispielsweise indem es Fragen, die sich auf eine bestimmte demografische Gruppe beziehen, besser beantwortet als Fragen zu anderen.

Sie sollten diese LLM-Evaluierungsmetriken für jede kundenorientierte Implementierung unbedingt anwenden. Über die Benutzererfahrung hinaus verlangt die EU-KI-Richtlinie, die seit 2024 gilt, von risikoreichen KI-Systemen den Nachweis von Genauigkeits- und Sicherheitsprüfungen hinsichtlich geschützter Merkmale. Dies ist nun eine Compliance-Anforderung und keine optionale Qualitätsprüfung mehr.

Um dies in Ihrem Produkt zu evaluieren, können Sie die Perspective API von Google (für Toxizität) und benutzerdefinierte LLM-Evaluierungssets verwenden, die auf Ihre spezifische Domäne zugeschnitten sind. Beachten Sie jedoch, dass generische Toxizitätsklassifikatoren oft subtile, kontextspezifische Schäden übersehen. Ein Generator für juristische Dokumente kann Inhalte erzeugen, die zwar Standard-Toxizitätsfilter bestehen, Ihr Unternehmen aber dennoch Haftungsrisiken aussetzen. Domänenspezifische Evaluierungssets sind hier entscheidend. Berücksichtigen Sie dies daher unbedingt in Ihrem individuellen KI-Testplan.

Aufgabenabschlussrate

Die Aufgabenerfüllungsrate dient dazu, festzustellen, ob das LLM-System das ihm gestellte Ziel tatsächlich erreicht. Sie ist die wichtigste Bewertungsmetrik für LLM-Agenten und wird von den meisten Teams, wenn überhaupt, zuletzt gemessen. Bei einem agentenbasierten System fragt die Aufgabenerfüllungsrate: Hat der Agent die Aufgabe abgeschlossen? Es geht nicht darum, ob er eine Antwort erzeugt hat, sondern darum, ob er das Ziel erreicht, die richtigen Werkzeuge eingesetzt und einen gültigen Endzustand erzielt hat.

Jedes System, in dem das LLM Aktionen ausführt, anstatt nur Text zu generieren, muss anhand dieses Parameters bewertet werden. Buchungssysteme, Code-Generierungsagenten, Workflow-Automatisierung und Datenanalyse-Pipelines sind einige der wichtigsten Beispiele, bei denen eine hohe Aufgabenabschlussrate zwingend erforderlich ist. Je nach Aufgabenkomplexität sollten Sie bei einfachen, einstufigen Aufgaben mindestens 90 % anstreben. Bei mehrstufigen, agentenbasierten Workflows gelten 70 % oft als gut, und alles unter 50 % bedeutet, dass der Agent vor der Auslieferung überarbeitet werden muss.

Beachten Sie, dass die Aufgabenerledigungsrate ohne ein geeignetes LLM-Evaluierungsmodell kaum messbar ist. Daher müssen Sie vor Beginn der Messung Erfolgskriterien für jeden Aufgabentyp definieren. Falls Ihr Team diese Kriterien noch nicht formuliert hat, sollte dies als Erstes nachgeholt werden.

Kompromiss zwischen Latenz und Qualität

Dieses Modell unterscheidet sich in Bezug auf die LLM-Evaluierungsmetriken etwas. Es handelt sich nicht um eine einzelne Metrik, sondern um das Verhältnis zwischen zwei Faktoren: der Reaktionszeit des Modells und der Qualität der Antwort. Im Produktivbetrieb stehen diese beiden Dimensionen in einem ständigen Spannungsverhältnis. Ein langsameres, aber leistungsfähigeres Modell mag zwar bessere Ergebnisse liefern, frustriert aber Nutzer, die Antworten innerhalb von zwei Sekunden erwarten.

Für jede Produktionsumgebung müssen neben Qualitätsschwellenwerten auch akzeptable Latenzschwellenwerte definiert werden. Die isolierte Bewertung der LLM-Performance liefert nur ein unvollständiges Bild davon, ob das Modell tatsächlich für den Produktiveinsatz geeignet ist.

Was zu verfolgen ist:

• Zeit bis zum ersten Token (für Streaming-Schnittstellen)
• Gesamte Antwortlatenz (für Batch- oder Nicht-Streaming-Verarbeitung)
• Qualitätsbewertung in jedem Latenzbereich

Teams optimieren häufig die Qualität während der Entwicklung und entdecken Latenzprobleme erst bei Lasttests. Wenn Sie Leistungstests als Teil Ihres QA-Prozesses einsetzen, stellen Sie sicher, dass die LLM-Latenz von Anfang an im Testplan enthalten ist und nicht erst nachträglich hinzugefügt wird.

LLM-als-Juror-Bewertung (G-Eval)

In diesem Fall wird ein sekundäres LLM verwendet, um die Ausgaben des KI-Modells anhand von Kriterien der natürlichen Sprache zu bewerten. G-Eval, eingeführt in einer Studie von Liu et al. (2023), ist eine der am weitesten verbreiteten Implementierungen des LLM-als-Richter-Evaluierungsansatzes. Anstatt sich auf N-Gramm-Überlappung oder regelbasierte Prüfungen zu stützen, liest ein Richtermodell die Ausgabe und bewertet sie anhand von Dimensionen wie Kohärenz, Relevanz und Aufgabenerfüllung.

Diese LLM-Evaluierungsmetrik müssen Sie bei offenen Aufgaben berücksichtigen, bei denen es keine eindeutig richtige Antwort gibt, bei Aufgaben zur Generierung langer Texte, bei Aufgaben zum logischen Denken und in allen Fällen, in denen Sie ein skalierbares, menschenähnliches Qualitätssignal benötigen, ohne bei jedem Evaluierungslauf für menschliche Annotatoren bezahlen zu müssen.

Die Stärke der LLM-basierten Bewertung liegt darin, dass Sie die Bewertungskriterien selbst bestimmen können. Definieren Sie diese daher klar, bevor Sie die Bewertungen durchführen. Bedenken Sie jedoch, dass LLM-basierte Bewertungsmodelle eigene Verzerrungen aufweisen. Sie neigen dazu, längere Antworten, selbstbewusst klingende Texte und Ergebnisse zu bevorzugen, die ihrer eigenen Trainingsverteilung entsprechen. Um dem entgegenzuwirken, können Sie beispielsweise ein anderes Modell als Bewertungsmodell verwenden als das zu bewertende, mehrere Bewertungsmodelle einsetzen und die Ergebnisse mitteln oder das Bewertungsmodell anhand menschlicher Annotationen auf einem Beispieldatensatz kalibrieren.

Wie Sie die richtigen Kennzahlen für Ihren Anwendungsfall auswählen

Nicht jede Kennzahl ist für jedes Produkt geeignet. Es gibt jedoch eine Regel, die für alle gilt: Es empfiehlt sich, mindestens eine referenzbasierte Kennzahl mit einer referenzfreien und einer aufgabenspezifischen Kennzahl zu kombinieren. Eine einzelne Kennzahl reicht nie aus, und mehr als fünf ohne klaren Zweck sind irrelevant.

Wichtige Kennzahlen für den ROI der Investition in eine LLM-Evaluierungsplattform

Der Aufbau eines Evaluierungsmodells für LLM-Studiengänge erfordert zwar zunächst Zeit und Geld, der Verzicht darauf ist jedoch teurer. So lässt sich der ROI-Beweis formulieren:

• Die Kosten eines einzelnen Produktionsfehlers: Der Fall des Chatbots von Air Canada führte zu einem Gerichtsurteil, das die Fluggesellschaft verpflichtete, einen Preis zu akzeptieren, den der Bot niemals hätte anbieten dürfen. Die Reputations- und Rechtskosten dieses Vorfalls überstiegen bei Weitem alle Investitionen in die Infrastruktur zur Evaluierung von Lernmanagementsystemen.
• Die Folgen einer ungeeigneten Modellauswahl: Nur 5 % der GenAI-Programme erzielen ein schnelles Umsatzwachstum. Einer der häufigsten Fehlergründe ist, dass Teams ein Modell auswählen oder feinabstimmen, ohne einen strukturierten LLM-Evaluierungsprozess durchzuführen, um die Qualität der LLM-Ausgabe zu messen und zu überprüfen, ob es tatsächlich für ihren Anwendungsfall geeignet ist.
• Die Folgen fehlender Regressionstests: Jede Modellaktualisierung birgt das Risiko einer Regression. Ohne die über einen längeren Zeitraum verfolgten LLM-Evaluierungsmetriken fehlt ein Frühwarnsystem. Daher ist die Integration von Regressionstests in Ihre Qualitätssicherungspipeline unerlässlich.

Teams, die strukturierte LLM-Evaluierungspipelines einsetzen, berichten durchweg von geringeren Fehlerraten und schnelleren Iterationszyklen, da sie Modelle sicher aktualisieren können, ohne unbemerkte Regressionen befürchten zu müssen. Die KI-Testdienstleistungen von QAwerk basieren genau auf diesem Ansatz. Kontaktieren Sie uns noch heute, und wir entwickeln gemeinsam einen Plan, der auf Ihre Geschäftsziele zugeschnitten ist.

Erfahren Sie, wie wir dieser KI-gestützten App geholfen haben, landesweit zu expandieren

Bitte geben Sie Ihre Geschäfts-E-Mail ein ist keine Geschäfts-E-Mail

PDF herunterladen