Wie wir testen, und warum die Zahl der Realität entspricht
Über unser Ökosystem laufen 7.713+ automatisierte Tests in 20 unserer Repositories. Wir nennen die exakte Zahl, die die Test-Runner melden. Das „+“ steht dort, weil einige Skripte Tests ausführen, die sich nicht automatisch zählen lassen — die tatsächliche Zahl liegt also höher. Wir nennen lieber eine kleinere Zahl, die stimmt, als eine größere, die nur gut klingt.
Wie wir zählen
Jede Zahl stammt vom Test-Runner selbst — jest, vitest, Playwright, pytest, bats, node:test. Nichts wird von Hand gezählt, nichts per Textsuche (grep) geschätzt. Wo ein Skript keine Zählung ausgibt, zählen wir es lieber gar nicht mit. Dafür steht das „+“: der tatsächliche Wert liegt höher, aber wir behaupten nur, was ein Runner bestätigt.
Wie wir prüfen
Wir haben das gesamte Test-Estate neu gezählt — und jede einzelne Zahl unabhängig gegengeprüft, bevor wir sie akzeptiert haben. Zwei Zählungen stellten sich dabei als falsch heraus und wurden korrigiert, bevor irgendetwas veröffentlicht wurde. Der Grundsatz dahinter: die Zahl, die stimmt, schlägt die schnelle Zahl an jedem Tor.
„Das erste Prinzip ist, dass man sich nicht selbst täuschen darf — und man selbst ist die Person, die am leichtesten zu täuschen ist.“
Was abgedeckt ist
7.713+automatisierte Tests in 20 Repositories
- Unit4.799
- Integration1.532
- End-to-End1.222
- Andere160
„Andere“ sind 1 Smoke-Test und 159 Tests aus 2 Repositories, deren Zählung noch nicht nach Stufe aufteilt.
Täglich automatisch aktualisiertStand:
Gezählt wird nach Teststufe: Unit, Integration und End-to-End. Smoke-Tests und Tests, deren Zählung nicht nach Stufe aufteilt, stehen unter „Andere“. Zusammen ergeben die vier Zahlen die Gesamtzahl.
Geprüft wird außerdem nach Zweck: Accessibility · Contract · Docs-Lint · Performance · Regression · Security · SEO/GEO · Visual/UAT. Die Zwecke liegen quer zu den Stufen: Ein Accessibility-Test dieser Website ist technisch ein End-to-End-Test und steckt deshalb in der End-to-End-Zahl, nicht in einer eigenen.
Manche Prüfungen laufen als Schritt in der Pipeline oder von Hand und haben keinen Zähler, etwa Docs-Lint, Performance-Messung und visuelle Abnahme. Sie stehen in keiner Zahl. Eine Zahl pro Zweck nennen wir bewusst nicht: Sie würde Tests doppelt zählen oder Prüfungen mitzählen, die kein Test-Runner bestätigt.
Pro Repository
Jede Zahl stammt vom Test-Runner des Repositorys. Die Gruppen lassen sich auf- und zuklappen. Private Repositories zählen mit: Sie erscheinen mit ihrem Produktnamen oder, ohne Namen, zusammengefasst in einer Zeile. Hat ein Produkt mehrere Repositories, sind sie nach Größe nummeriert.
| Repository | Unit | Integration | End-to-End | Andere | Gesamt |
|---|---|---|---|---|---|
| 694 | 27 | 186 | 0 | 907 | |
| TrustScopeUnit 274 · E2E 74 | 274 | 0 | 74 | 0 | 348 |
| Snakeoil-CheckUnit 233 · E2E 8 | 233 | 0 | 8 | 0 | 241 |
| md-viewerUnit 77 · Integration 27 · E2E 104 | 77 | 27 | 104 | 0 | 208 |
| ClearPathUnit 110 | 110 | 0 | 0 | 0 | 110 |
| 705 | 0 | 750 | 0 | 1.455 | |
| neckarshore.aiUnit 380 · E2E 601 | 380 | 0 | 601 | 0 | 981 |
| Oakwood Golf ClubUnit 110 · E2E 56 | 110 | 0 | 56 | 0 | 166 |
| GoldoniUnit 138 · E2E 27 | 138 | 0 | 27 | 0 | 165 |
| rauhut.comUnit 71 · E2E 63 | 71 | 0 | 63 | 0 | 134 |
| GrafowerkUnit 6 · E2E 3 | 6 | 0 | 3 | 0 | 9 |
| 592 | 27 | 286 | 1 | 906 | |
| Omnopsis · 1 von 3Unit 303 · Integration 27 · E2E 263 | 303 | 27 | 263 | 0 | 593 |
| Omnopsis · 2 von 3Unit 204 · E2E 23 | 204 | 0 | 23 | 0 | 227 |
| Omnopsis · 3 von 3Unit 85 · Andere 1 | 85 | 0 | 0 | 1 | 86 |
| 2.490 | 47 | 0 | 0 | 2.537 | |
| Mailbox AutopilotUnit 1.963 · Integration 47 | 1.963 | 47 | 0 | 0 | 2.010 |
| Obsidian Vault AutopilotUnit 493 | 493 | 0 | 0 | 0 | 493 |
| AI Phrase CheckUnit 34 | 34 | 0 | 0 | 0 | 34 |
| 318 | 1.431 | 0 | 159 | 1.908 | |
| test-stats-action° (von Hand gezählt)nicht nach Stufe aufgeteilt | nicht nach Stufe aufgeteilt | 50 | |||
| 4 private Repositories° (von Hand gezählt)Unit 318 · Integration 1.431 · Andere 109 | 318 | 1.431 | 0 | 109 | 1.858 |
| Summe | 4.799 | 1.532 | 1.222 | 160 | 7.713+ |
° Von Hand mit dem Test-Runner gezählt. Dieses Repository meldet seine Zahl noch nicht selbst, sie wird deshalb nicht täglich neu erhoben.
„Andere“: Smoke-Tests und Tests, deren Zählung nicht nach Stufe aufteilt.
Aus dem Blog
Wie wir testen, ausführlich und mit Zahlen aus unseren Projekten:
- Wir testen nicht mehr alles. Wir testen, was brechen kann.
· 3 Min. Lesezeit
Wie dieser Text entstand: Diese Seite über nachprüfbares Testen wurde selbst KI-entworfen und menschlich editiert — dieselbe Disziplin, die unsere Tests zählt, hat auch diesen Text geschrieben.