Eigener Test

Wie zuverlässig zählen KI-Modelle in einer Spendentabelle? Wir haben es 240-mal getestet

Wir haben vier KI-Modellen dieselben drei Zählfragen zu einer Spendentabelle mit 350 Zeilen je 20-mal gestellt. Claude Sonnet 5.5 lag bei allen 60 Antworten richtig, die anderen drei bei höchstens 19 von 60.

Zuletzt aktualisiert: 19. November 2026

Wie haben wir getestet?

  1. Wir haben eine synthetische Spendentabelle erzeugt: 350 Zeilen, 150 erfundene Spender:innen, Zeitraum 2023 bis 2025, mit Datum, Betrag, Art (Einmalspende oder Dauerspende) und Kanal (Meta, Mailing, Website, Telefon). Die richtige Zahl rechnen wir mit Code aus.
  2. Wir haben jedem Modell die ganze Tabelle als Text gegeben und drei Zählfragen gestellt:
    • Wie viele Spender:innen haben 2024 ihre erste Spende überhaupt geleistet? (richtig: 52)
    • Wie viele Spenden über den Kanal Meta gab es 2024? (richtig: 35)
    • Wie hoch ist die Summe aller Spenden 2024 in Euro? (richtig: 7.620)
  3. Jede Frage ging 20-mal an jedes der vier Modelle, insgesamt 240 Aufrufe. Die Modelle bekamen keine Werkzeuge und keinen Code-Zugang. Sie sollten nur im Format "ANTWORT: Zahl" antworten.
  4. Wir haben jede Zahl mit der richtigen verglichen. Jede Antwort ohne exakte Übereinstimmung zählt als falsch.

Was kam heraus?

Gesamtergebnis über alle drei Fragen (60 Antworten pro Modell):

ModellRichtige Antworten
Claude Haiku 4.51 von 60
Claude Sonnet 4.619 von 60
Claude Sonnet 5.560 von 60
Perplexity Sonar1 von 60

Ergebnis je Frage:

ModellFrageRichtigVerschiedene AntwortenBereich der AntwortenMittlere Abweichung
Claude Haiku 4.5Q10 von 201927 bis 9729.4 %
Claude Haiku 4.5Q20 von 20831 bis 397.6 %
Claude Haiku 4.5Q31 von 20205.150 bis 13.07522.8 %
Claude Sonnet 4.6Q16 von 20642 bis 533.1 %
Claude Sonnet 4.6Q20 von 20530 bis 348.7 %
Claude Sonnet 4.6Q313 von 2037.590 bis 7.6200.1 %
Claude Sonnet 5.5Q120 von 20152 bis 520.0 %
Claude Sonnet 5.5Q220 von 20135 bis 350.0 %
Claude Sonnet 5.5Q320 von 2017.620 bis 7.6200.0 %
Perplexity SonarQ11 von 201424 bis 6214.8 %
Perplexity SonarQ20 von 201323 bis 4613.7 %
Perplexity SonarQ30 von 202010.065 bis 15.79559.9 %

Warum liegen manche Modelle so weit daneben?

Das haben wir nicht untersucht, wir können nur beschreiben, was wir gesehen haben: Bei den schwächeren Modellen streuten die Antworten stark. Bei der Summenfrage gab es teils in jedem der 20 Läufe eine andere Zahl. Eine naheliegende Erklärung ist, dass ein Sprachmodell Text erzeugt und nicht zwingend jede Zeile zählt. Das ist eine Vermutung, kein Ergebnis unseres Tests.

Heißt das, dass ChatGPT und Gemini falsche Zahlen liefern?

Das wissen wir nicht. ChatGPT und Gemini haben wir nicht getestet. Getestet wurden Claude Haiku 4.5, Claude Sonnet 4.6, Claude Sonnet 5.5 und Perplexity Sonar, jeweils über die Schnittstelle ohne Werkzeuge. Wenn du ChatGPT im Chat nutzt, kann es mit Code-Werkzeugen anders abschneiden. Das hängt vom Tool, der Version und der Einstellung ab.

Wie testest du dein eigenes Tool?

  1. Nimm eine kleine Tabelle, deren Ergebnis du kennst, oder rechne es per Datenbankabfrage oder Pivot-Tabelle aus.
  2. Stelle dieselbe Zählfrage mindestens fünfmal, jeweils in einem frischen Chat.
  3. Schwanken die Zahlen, vertraue keiner davon. Stimmen alle mit deiner Gegenrechnung überein, ist das ein gutes Zeichen für genau diese Tabelle und dieses Tool.
  4. Wiederhole den Test bei jeder größeren Tabelle und nach jedem Modellwechsel.

Wo liegen die Grenzen dieses Tests?

Wo finde ich die Daten?

Lizenz: CC BY 4.0. Wenn du die Zahlen zitierst, nenne FlyRaising und den Link auf diese Seite.

Häufige Fragen

Wie zuverlässig zählen KI-Modelle in einer Spendentabelle?

Das hängt stark vom Modell ab. In unserem Test mit 350 Zeilen lag Claude Sonnet 5.5 bei allen 60 Antworten richtig, Claude Haiku 4.5 bei 1 von 60, Claude Sonnet 4.6 bei 19 von 60, Perplexity Sonar bei 1 von 60. Bei den schwächeren Modellen wechselten die Antworten von Lauf zu Lauf.

Warum bekomme ich bei derselben Frage unterschiedliche Zahlen?

Sprachmodelle erzeugen ihre Antwort bei jedem Aufruf neu. Wenn ein Modell nicht sauber über alle Zeilen zählt, entsteht bei jedem Lauf eine etwas andere Schätzung. Im Test gab es bei der Summenfrage bis zu 20 verschiedene Antworten in 20 Läufen.

Heißt das, dass ChatGPT und Gemini falsche Zahlen liefern?

Das wissen wir nicht. Wir haben ChatGPT und Gemini nicht getestet, weil uns für beide kein Zugang über die Schnittstelle zur Verfügung stand. Getestet wurden Claude Haiku 4.5, Claude Sonnet 4.6, Claude Sonnet 5.5 und Perplexity Sonar.

Reicht es, ein neueres Modell zu nehmen?

Für eine Tabelle dieser Größe hat das neueste getestete Modell fehlerfrei gezählt. Das sagt nichts über größere Tabellen, andere Fragetypen oder andere Datenqualität. Teste dein eigenes Tool mit deinen Daten, bevor du einer Zahl vertraust.

Wie teste ich, ob ich einer KI-Auswertung trauen kann?

Stelle dieselbe Zählfrage mindestens fünfmal. Schwanken die Zahlen, ist keine davon verlässlich. Dann rechne eine Stichprobe mit einer Datenbankabfrage oder einer Pivot-Tabelle nach und vergleiche.

Welche Daten haben wir verwendet?

Eine synthetische Spendentabelle mit 350 Zeilen und 150 erfundenen Spender:innen (Zufallsgenerator mit festem Startwert 42). Es sind keine echten Spenderdaten. Die Tabelle und alle Antworten stehen als Download bereit.

Wie viel kostet so ein Test?

Unser Test mit 240 Aufrufen lief in rund acht Minuten und verursachte geringe Kosten im niedrigen einstelligen Euro-Bereich. Die genaue Summe haben wir nicht einzeln erfasst.

Weiterlesen

Willst du wissen, wie viel Potenzial bei euch drin ist?

Schau bei FlyRaising vorbei.