Wie haben wir getestet?
- Wir haben eine synthetische Spendentabelle erzeugt: 350 Zeilen, 150 erfundene Spender:innen, Zeitraum 2023 bis 2025, mit Datum, Betrag, Art (Einmalspende oder Dauerspende) und Kanal (Meta, Mailing, Website, Telefon). Die richtige Zahl rechnen wir mit Code aus.
- Wir haben jedem Modell die ganze Tabelle als Text gegeben und drei Zählfragen gestellt:
- Wie viele Spender:innen haben 2024 ihre erste Spende überhaupt geleistet? (richtig: 52)
- Wie viele Spenden über den Kanal Meta gab es 2024? (richtig: 35)
- Wie hoch ist die Summe aller Spenden 2024 in Euro? (richtig: 7.620)
- Jede Frage ging 20-mal an jedes der vier Modelle, insgesamt 240 Aufrufe. Die Modelle bekamen keine Werkzeuge und keinen Code-Zugang. Sie sollten nur im Format "ANTWORT: Zahl" antworten.
- Wir haben jede Zahl mit der richtigen verglichen. Jede Antwort ohne exakte Übereinstimmung zählt als falsch.
Was kam heraus?
Gesamtergebnis über alle drei Fragen (60 Antworten pro Modell):
| Modell | Richtige Antworten |
|---|---|
| Claude Haiku 4.5 | 1 von 60 |
| Claude Sonnet 4.6 | 19 von 60 |
| Claude Sonnet 5.5 | 60 von 60 |
| Perplexity Sonar | 1 von 60 |
Ergebnis je Frage:
| Modell | Frage | Richtig | Verschiedene Antworten | Bereich der Antworten | Mittlere Abweichung |
|---|---|---|---|---|---|
| Claude Haiku 4.5 | Q1 | 0 von 20 | 19 | 27 bis 97 | 29.4 % |
| Claude Haiku 4.5 | Q2 | 0 von 20 | 8 | 31 bis 39 | 7.6 % |
| Claude Haiku 4.5 | Q3 | 1 von 20 | 20 | 5.150 bis 13.075 | 22.8 % |
| Claude Sonnet 4.6 | Q1 | 6 von 20 | 6 | 42 bis 53 | 3.1 % |
| Claude Sonnet 4.6 | Q2 | 0 von 20 | 5 | 30 bis 34 | 8.7 % |
| Claude Sonnet 4.6 | Q3 | 13 von 20 | 3 | 7.590 bis 7.620 | 0.1 % |
| Claude Sonnet 5.5 | Q1 | 20 von 20 | 1 | 52 bis 52 | 0.0 % |
| Claude Sonnet 5.5 | Q2 | 20 von 20 | 1 | 35 bis 35 | 0.0 % |
| Claude Sonnet 5.5 | Q3 | 20 von 20 | 1 | 7.620 bis 7.620 | 0.0 % |
| Perplexity Sonar | Q1 | 1 von 20 | 14 | 24 bis 62 | 14.8 % |
| Perplexity Sonar | Q2 | 0 von 20 | 13 | 23 bis 46 | 13.7 % |
| Perplexity Sonar | Q3 | 0 von 20 | 20 | 10.065 bis 15.795 | 59.9 % |
Warum liegen manche Modelle so weit daneben?
Das haben wir nicht untersucht, wir können nur beschreiben, was wir gesehen haben: Bei den schwächeren Modellen streuten die Antworten stark. Bei der Summenfrage gab es teils in jedem der 20 Läufe eine andere Zahl. Eine naheliegende Erklärung ist, dass ein Sprachmodell Text erzeugt und nicht zwingend jede Zeile zählt. Das ist eine Vermutung, kein Ergebnis unseres Tests.
Heißt das, dass ChatGPT und Gemini falsche Zahlen liefern?
Das wissen wir nicht. ChatGPT und Gemini haben wir nicht getestet. Getestet wurden Claude Haiku 4.5, Claude Sonnet 4.6, Claude Sonnet 5.5 und Perplexity Sonar, jeweils über die Schnittstelle ohne Werkzeuge. Wenn du ChatGPT im Chat nutzt, kann es mit Code-Werkzeugen anders abschneiden. Das hängt vom Tool, der Version und der Einstellung ab.
Wie testest du dein eigenes Tool?
- Nimm eine kleine Tabelle, deren Ergebnis du kennst, oder rechne es per Datenbankabfrage oder Pivot-Tabelle aus.
- Stelle dieselbe Zählfrage mindestens fünfmal, jeweils in einem frischen Chat.
- Schwanken die Zahlen, vertraue keiner davon. Stimmen alle mit deiner Gegenrechnung überein, ist das ein gutes Zeichen für genau diese Tabelle und dieses Tool.
- Wiederhole den Test bei jeder größeren Tabelle und nach jedem Modellwechsel.
Wo liegen die Grenzen dieses Tests?
- Eine einzige Tabellengröße (350 Zeilen). Bei größeren Tabellen können die Ergebnisse anders aussehen.
- Nur deutsche Prompts, nur drei Fragetypen, ein einzelner Testtag (6. November 2026). Modelle ändern sich.
- Synthetische Daten. Echte Spendendaten sind unordentlicher.
- Vier Modelle, darunter weder ChatGPT noch Gemini.
- Wir geben keine Garantie, dass ein Modell in deiner Umgebung genauso abschneidet.
Wo finde ich die Daten?
- Alle 240 Antworten als CSV
- Alle Antworten und die richtigen Zahlen als JSON
- Die synthetische Spendentabelle als CSV
Lizenz: CC BY 4.0. Wenn du die Zahlen zitierst, nenne FlyRaising und den Link auf diese Seite.
Häufige Fragen
Wie zuverlässig zählen KI-Modelle in einer Spendentabelle?
Das hängt stark vom Modell ab. In unserem Test mit 350 Zeilen lag Claude Sonnet 5.5 bei allen 60 Antworten richtig, Claude Haiku 4.5 bei 1 von 60, Claude Sonnet 4.6 bei 19 von 60, Perplexity Sonar bei 1 von 60. Bei den schwächeren Modellen wechselten die Antworten von Lauf zu Lauf.
Warum bekomme ich bei derselben Frage unterschiedliche Zahlen?
Sprachmodelle erzeugen ihre Antwort bei jedem Aufruf neu. Wenn ein Modell nicht sauber über alle Zeilen zählt, entsteht bei jedem Lauf eine etwas andere Schätzung. Im Test gab es bei der Summenfrage bis zu 20 verschiedene Antworten in 20 Läufen.
Heißt das, dass ChatGPT und Gemini falsche Zahlen liefern?
Das wissen wir nicht. Wir haben ChatGPT und Gemini nicht getestet, weil uns für beide kein Zugang über die Schnittstelle zur Verfügung stand. Getestet wurden Claude Haiku 4.5, Claude Sonnet 4.6, Claude Sonnet 5.5 und Perplexity Sonar.
Reicht es, ein neueres Modell zu nehmen?
Für eine Tabelle dieser Größe hat das neueste getestete Modell fehlerfrei gezählt. Das sagt nichts über größere Tabellen, andere Fragetypen oder andere Datenqualität. Teste dein eigenes Tool mit deinen Daten, bevor du einer Zahl vertraust.
Wie teste ich, ob ich einer KI-Auswertung trauen kann?
Stelle dieselbe Zählfrage mindestens fünfmal. Schwanken die Zahlen, ist keine davon verlässlich. Dann rechne eine Stichprobe mit einer Datenbankabfrage oder einer Pivot-Tabelle nach und vergleiche.
Welche Daten haben wir verwendet?
Eine synthetische Spendentabelle mit 350 Zeilen und 150 erfundenen Spender:innen (Zufallsgenerator mit festem Startwert 42). Es sind keine echten Spenderdaten. Die Tabelle und alle Antworten stehen als Download bereit.
Wie viel kostet so ein Test?
Unser Test mit 240 Aufrufen lief in rund acht Minuten und verursachte geringe Kosten im niedrigen einstelligen Euro-Bereich. Die genaue Summe haben wir nicht einzeln erfasst.
Weiterlesen
- Kann ich Spendendaten mit ChatGPT auswerten? Warum kommen falsche Zahlen raus?
- Experimente von FlyRaising
- Sichtbarkeit von NGOs in KI-Suchmaschinen
- Alle Leitfäden