Generierung von automatischen Tests für bestehenden Code

Wir trafen uns bei Lindenbaum um über die automatische Generierung von automatischen Tests (auch bekannt als Characterization bzw. Golden Master Tests) zu sprechen.

Als Einstieg gab es einen Überblick über die verfügbaren Tools im Java-Umfeld durch Stefan und Urs: EvoSuite, Randoop und Testrecorder. Wir haben die Leistungsfähigkeit der genannten Tools besprochen. Die Folien des Vortrags befinden sich hier.

In der Diskussion kam dann noch die Themen

• Property-based Testing (z. B. mit QuickCheck für Haskell oder mit jqwik für Java)
• Mutation Testing (z. B. für Java mit PIT oder für Ruby mit mutant)
• Monkey Testing (z. B. mit gremlings.js)
• Resilience Testing (z. B. mit ChaosMonkey
  zu Sprache.

Um die Robustheit eines Programms gegen große, ungewöhnliche Strings zu testen gibt es die Big List of Naughty Strings.