Wie wir testen, und warum die Zahl der Realität entspricht

Über unser Ökosystem laufen 7.713+ automatisierte Tests in 20 unserer Repositories. Wir nennen die exakte Zahl, die die Test-Runner melden. Das „+“ steht dort, weil einige Skripte Tests ausführen, die sich nicht automatisch zählen lassen — die tatsächliche Zahl liegt also höher. Wir nennen lieber eine kleinere Zahl, die stimmt, als eine größere, die nur gut klingt.

Wie wir zählen

Jede Zahl stammt vom Test-Runner selbst — jest, vitest, Playwright, pytest, bats, node:test. Nichts wird von Hand gezählt, nichts per Textsuche (grep) geschätzt. Wo ein Skript keine Zählung ausgibt, zählen wir es lieber gar nicht mit. Dafür steht das „+“: der tatsächliche Wert liegt höher, aber wir behaupten nur, was ein Runner bestätigt.

Wie wir prüfen

Wir haben das gesamte Test-Estate neu gezählt — und jede einzelne Zahl unabhängig gegengeprüft, bevor wir sie akzeptiert haben. Zwei Zählungen stellten sich dabei als falsch heraus und wurden korrigiert, bevor irgendetwas veröffentlicht wurde. Der Grundsatz dahinter: die Zahl, die stimmt, schlägt die schnelle Zahl an jedem Tor.

„Das erste Prinzip ist, dass man sich nicht selbst täuschen darf — und man selbst ist die Person, die am leichtesten zu täuschen ist.“
— Richard Feynman

Was abgedeckt ist

7.713+automatisierte Tests in 20 Repositories

  • Unit4.799
  • Integration1.532
  • End-to-End1.222
  • Andere160

„Andere“ sind 1 Smoke-Test und 159 Tests aus 2 Repositories, deren Zählung noch nicht nach Stufe aufteilt.

Täglich automatisch aktualisiertStand:

Gezählt wird nach Teststufe: Unit, Integration und End-to-End. Smoke-Tests und Tests, deren Zählung nicht nach Stufe aufteilt, stehen unter „Andere“. Zusammen ergeben die vier Zahlen die Gesamtzahl.

Geprüft wird außerdem nach Zweck: Accessibility · Contract · Docs-Lint · Performance · Regression · Security · SEO/GEO · Visual/UAT. Die Zwecke liegen quer zu den Stufen: Ein Accessibility-Test dieser Website ist technisch ein End-to-End-Test und steckt deshalb in der End-to-End-Zahl, nicht in einer eigenen.

Manche Prüfungen laufen als Schritt in der Pipeline oder von Hand und haben keinen Zähler, etwa Docs-Lint, Performance-Messung und visuelle Abnahme. Sie stehen in keiner Zahl. Eine Zahl pro Zweck nennen wir bewusst nicht: Sie würde Tests doppelt zählen oder Prüfungen mitzählen, die kein Test-Runner bestätigt.

Pro Repository

Jede Zahl stammt vom Test-Runner des Repositorys. Die Gruppen lassen sich auf- und zuklappen. Private Repositories zählen mit: Sie erscheinen mit ihrem Produktnamen oder, ohne Namen, zusammengefasst in einer Zeile. Hat ein Produkt mehrere Repositories, sind sie nach Größe nummeriert.

Tests pro Repository, gruppiert, nach Teststufe
RepositoryUnitIntegrationEnd-to-EndAndereGesamt
694271860907
TrustScopeUnit 274 · E2E 742740740348
Snakeoil-CheckUnit 233 · E2E 8233080241
md-viewerUnit 77 · Integration 27 · E2E 10477271040208
ClearPathUnit 110110000110
705075001.455
neckarshore.aiUnit 380 · E2E 60138006010981
Oakwood Golf ClubUnit 110 · E2E 561100560166
GoldoniUnit 138 · E2E 271380270165
rauhut.comUnit 71 · E2E 63710630134
GrafowerkUnit 6 · E2E 360309
592272861906
2.49047002.537
3181.43101591.908
Summe4.7991.5321.2221607.713+

° Von Hand mit dem Test-Runner gezählt. Dieses Repository meldet seine Zahl noch nicht selbst, sie wird deshalb nicht täglich neu erhoben.

„Andere“: Smoke-Tests und Tests, deren Zählung nicht nach Stufe aufteilt.

Alle Repositories ansehen →

Aus dem Blog

Wie wir testen, ausführlich und mit Zahlen aus unseren Projekten:

Alle Beiträge zu Testmanagement →

Wie dieser Text entstand: Diese Seite über nachprüfbares Testen wurde selbst KI-entworfen und menschlich editiert — dieselbe Disziplin, die unsere Tests zählt, hat auch diesen Text geschrieben.