[mepeisen]

Bei meinem aktuellen Problem geht es um das Entwerfen eines Test-Frameworks. Bevor jetzt die Antwort kommt: Nimm doch XYZ. Ja, ich kenne cppunit und Konsorten. Aber die passen einfach nicht.

Zunächst zwei grundsätzliche Sachen. Als erstes gibt es Testfälle (class TestCase). Diese verfügen relativ banal über eine Test-Methode. Die Test-Methode wirft entweder Exceptions (=Test fehlgeschlagen) oder nicht (=Test erfolgreich). So gibt es beispielsweise Makros, die dann das ganze übernehmen. Beispiel:

class MyTest : public TestCase
{
public:
  void Test()
  {
      TEST_ASSERT(2 == 2, "2 ist nicht gleich 2!");
  }
};

Testfälle lassen sich auch in Gruppen zusammenschliessen, wobei eine Testgruppe immer auch einen Testfall darstellt. Beispiel:

Testgroup group1;
group1.addTest(test1);
group1.addTest(test2);
Testgroup group2;
group1.addTest(group2);
group2.addTest(test3);
// usw.

Soweit so gut. Nun zu meinem eigentlichen Problem. Ich lasse die Testfälle teilweise aufeinander aufbauen. Der Login ist ein gutes Beispiel. Die Testfälle sollen gegen einen Server laufen. Dabei macht Test 1 einen Login. Test 2 baut darauf auf und macht dann etwas auf dem Server, was nur klappt, wenn der Login geklappt hat.

Eine Lösung wäre, den gesamten Test abzubrechen, sobald der erste (Login) schief läuft. Also Exceptions einfach Exceptions sein lassen... Das kann extrem nervig werden, wenn man ein großes Testpaket hat, bei dem vielleicht 10 weitere Tests nicht vom Login abhängen aber wegen etwas anderem fehlschlagen würden. Daher war meine Idee, die testgruppe dahingehend zu erweitern, dass sie weiss, wie sie bei einem Problem verfahren soll. Beispiel:

Testgroup group1;
group1.addTest(loginTest, TestGroup::GROUP_FAILURE);
group1.addTest(test1, TestGroup::GROUP_FAILURE);
group1.addTest(test2, TestGroup::STANDALONE);
group1.addTest(test3, TestGroup::STANDALONE);
group1.addTest(test4, TestGroup::STANDALONE);
// usw.

Wenn testlogin oder test1 fehlschlagen würde nicht weitergemacht. Wenn test2 bis test 4 fehlschalgen, wird trotzdem weitergemacht, in der Hoffnung, dass folgende Tests nicht fehlschlagen.

Mein Problem ist, dass die Exceptions nun nicht einfach weitergereicht werden dürfen. Es kann ja sein, dass noch weitere Tests aufgerufen werden können. Andererseits kann es sein, dass nun test2 und test 3 fehlschlagen, ich also zwei Fehler/Exceptions habe. Und zu allem Überfluss muss derjenige, der den Test ausführt irgendwie wissen, woher der Fehler oder die Exception kommt (das wäre das kleinere übel, man kann ja this mit in die Exception stopfen, dann weiss man wo der Fehler ist).
Meine aktuelle Lösung ist, ein Callback-Objekt mit an die Testmethode zu übergeben. Das soll dann immer sofort benachrichtigt werden, wenn ein einzelner Test fehlschlägt oder erfolgreich war. Das Widerspricht aber wieder etwas der Definition, dass auch die Testgruppen nach Möglichkeit eine Exception werfen sollten wenn sie fehlschlagen (= mindestens einer der Kinder fehlschlägt).

Das gefällt mir alles so nicht, auch wenn es geht. Hat irgendwer einen Schubser für mich in die richtige Richtung?

[WarrenFaith]

Ich kann kaum c++, aber ich würde in Testfällen die Exceptionnachrichten loggen/ausgeben und danach "fressen".
In Java ist das klassische try/catch. Im Catch die Exception loggen aber nicht werfen und dadurch kann der Test dann weiterlaufen.

[mepeisen]

Prinzipiell ist das wie in java und in PHP mit den Exceptions
Soweit so gut, aber wenn ich das grafisch visualisieren will und nicht nur loggen?

[Bleistift]

Du kannst die Fehlermeldungen ja in einem Array oder Struct (oder was es in C++ halt gibt) zwischenspeichern und am Schluss in einer Schleife alle ausgeben

[WarrenFaith]

Du kannst die Fehlermeldungen ja in einem Array oder Struct (oder was es in C++ halt gibt) zwischenspeichern und am Schluss in einer Schleife alle ausgeben

So arbeitet CruiseControl, welches wir auf Arbeit nutzen. Ich kann dir ja nach Ostern mal ein Beispiel der Fehlerausgaben geben, die bei fehlschlagenden Tests auftauchen...