Wie wir testen, und warum die Zahl der Realität entspricht

Über unser Ökosystem laufen 2.600+ automatisierte Tests über 20 unserer Repositories. Wir runden diese Zahl bewusst nach unten, statt sie zu schönen. Das „+ steht dort, weil einige Skripte Tests ausführen, die sich nicht automatisch zählen lassen — die tatsächliche Zahl liegt also höher. Wir nennen lieber eine kleinere Zahl, die stimmt, als eine größere, die nur gut klingt.

Wie wir zählen

Jede Zahl stammt vom Test-Runner selbst — jest, vitest, Playwright, pytest, bats, node:test. Nichts wird von Hand gezählt, nichts per Textsuche (grep) geschätzt. Wo ein Skript keine Zählung ausgibt, runden wir nach unten und zählen es lieber gar nicht mit. Dafür steht das „+: der tatsächliche Wert liegt höher, aber wir behaupten nur, was ein Runner bestätigt.

Wie wir prüfen

Wir haben das gesamte Test-Estate neu gezählt — und jede einzelne Zahl unabhängig gegengeprüft, bevor wir sie akzeptiert haben. Zwei Zählungen stellten sich dabei als falsch heraus und wurden korrigiert, bevor irgendetwas veröffentlicht wurde. Der Grundsatz dahinter: die Zahl, die stimmt, schlägt die schnelle Zahl an jedem Tor.

„Das erste Prinzip ist, dass man sich nicht selbst täuschen darf — und man selbst ist die Person, die am leichtesten zu täuschen ist.
— Richard Feynman

Was abgedeckt ist

Unser Test-Scope umfasst 13 Testarten über das gesamte Estate hinweg:

  • Unit
  • Integration
  • End-to-End
  • Contract
  • Smoke
  • Regression
  • Performance
  • Security
  • Accessibility
  • SEO/GEO
  • Visual/UAT
  • Docs-Lint
  • AI-Eval

Bewusst ohne Zahl pro Testart: eine estate-weite Aufschlüsselung nach Testart ist nur teilweise verfügbar — eine genaue Aufteilung wäre also unvollständig.

Pro Repository

Die testreichsten Repositories mit ihrer vom Runner gemeldeten Zahl. Die Gesamtzahl oben ist nach unten gerundet; die Einzelwerte sind die echten, gemessenen Zahlen pro Repository.

RepositoryTypTests
omnopsis-backendProdukt588
obsidian-vault-autopilotPlugin/Skill496
neckarshore-websiteWebseite308
snakeoil-checkMMP241
omnopsis-frontendProdukt232
imap-mailbox-cleanupPlugin/Skill171
… und 14 weitere Repositories

Alle Repositories ansehen →

Wie dieser Text entstand: Diese Seite über nachprüfbares Testen wurde selbst KI-entworfen und menschlich editiert — dieselbe Disziplin, die unsere Tests zählt, hat auch diesen Text geschrieben.