test-warを用いたMayaaバージョン間の比較のテストケースで例外期待の際も一致を確認 (#107)

Author: mitonize

doc/TESTING.md

@@ -91,4 +91,19 @@ innerHTML は子要素のノードが (&), (<), (>) を含む場合はそれぞ
 元テキスト	JUnit内の記述
 [c&lt;l&amp;a&quot;s&gt;s]	"[c&lt;l&amp;a\"s&gt;s]"
 
+
+## 過去バージョンとの比較
+
+test-warを用いて過去のバージョンと最新のバージョンの実行結果の比較を行うことができる。
+
+```sh
+export VERSION_1=1.1.34 VERSION_2=1.3.0
+mvn clean -Dmayaa.version=$VERSION_1 && mvn package -U -Dmayaa.version=$VERSION_1 && mvn package -U -Dmayaa.version=$VERSION_2
+docker compose -f docker-compose-compare.yaml up
+```
+
+```sh
+mvn test -Dtest=CompareITCase -DVERSION_1=$VERSION_1 -DVERSION_2=$VERSION_2
+```
+
 以上

test-war/src/main/webapp/java.lang.Throwable.html

@@ -136,7 +136,7 @@ <h1>Error occurred while rendering.</h1>
 	</div>
 	<div class="main">
 
-	<p class="fixed"><span m:inject="m:write" m:value="${ getMessage() }" m:escapeXml="false">error message in Exception</span></p>
+	<p class="fixed" id="exception-message"><span m:inject="m:write" m:value="${ getMessage() }" m:escapeXml="false">error message in Exception</span></p>
 
 	<h2>requested path:</h2>
 	<div class="print">

test-war/src/test/java/org/seasar/mayaa/test/compatibility/CompareITCase.java

@@ -5,6 +5,7 @@
 import java.io.BufferedReader;
 import java.io.IOException;
 import java.io.InputStreamReader;
+import java.net.HttpURLConnection;
 import java.net.MalformedURLException;
 import java.net.URL;
 import java.net.URLConnection;
@@ -107,38 +108,63 @@ public void runTest() {
                 try {
                     final String context = "/mayaa-" + versions[i];
                     URL url = new URL("http", "localhost", 8080, context + path);
-                    URLConnection connection = url.openConnection();
-
-                    InputStreamReader reader = new InputStreamReader(connection.getInputStream());
-                    BufferedReader br = new BufferedReader(reader);
+                    HttpURLConnection connection = (HttpURLConnection) url.openConnection();
 
                     StringBuilder buf = new StringBuilder();
-                    // PathAdjusterが動作した部分を吸収
-                    br.lines()
-                      .map(e -> e.replace(context, "/MAYAA"))
-                      .forEach(e -> buf.append(e));
 
-                    String content = buf.toString();
+                    // ステータスコードを取得
+                    int statusCode = connection.getResponseCode();
+
+                    // ステータスコードが200以外の場合もエラーストリームを取得
+                    if (statusCode >= 200 && statusCode < 300) {
+                        try (InputStreamReader r = new InputStreamReader(connection.getInputStream());
+                             BufferedReader br = new BufferedReader(r)) {
 
-                    // 1.1系でのXML宣言直後の連続する改行コードを1つに補正
-                    content = content.replace("?>\n\n", "?>\n");
+                            // PathAdjusterが動作した部分を吸収
+                            br.lines()
+                                .map(e -> e.replace(context, "/MAYAA"))
+                                .forEach(e -> buf.append(e));
 
-                    // /tests/customtag/replace_injection_attribute.html のみv1.1.34にてなぜか閉じタグ</html> が </xml:html> となっているのを吸収
-                    content = content.replace("</xml:html>", "</html>");
 
-                    results.add(Arrays.asList(content.split("\n")));
+                            String content = buf.toString();
+                            // 1.1系でのXML宣言直後の連続する改行コードを1つに補正
+                            content = content.replace("?>\n\n", "?>\n");
+    
+                            // /tests/customtag/replace_injection_attribute.html のみv1.1.34にてなぜか閉じタグ</html> が </xml:html> となっているのを吸収
+                            content = content.replace("</xml:html>", "</html>");
+    
+                            results.add(Arrays.asList(content.split("\n")));      
+                        } catch (IOException e) {
+                            System.err.println("IOException:" + path);
+                        }
+                    } else {
+                        try (InputStreamReader r = new InputStreamReader(connection.getErrorStream());
+                             BufferedReader br = new BufferedReader(r)) {
 
+                            // エラーメッセージの行だけを取得する
+                            br.lines()
+                                .filter(e -> e.contains("id=\"exception-message\""))
+                                .forEach(e -> buf.append(e));
+
+                            String content = buf.toString();
+                            results.add(Arrays.asList(content.split("\n")));
+                        } catch (IOException e) {
+                            System.err.println("IOException:" + path);
+                        }
+                    }
+                    if (results.size() == 2) {
+                        assertArrayEquals(results.get(0).toArray(), results.get(1).toArray(), path);
+                        System.err.println("OK:" + path);
+                    }
+        
                 } catch (MalformedURLException e) {
-                    System.err.println(path);
+                    System.err.println("MalformedURLException:" + path);
                 } catch (IOException e) {
-                    System.err.println(path);
+                    System.err.println("IOException:" + path);
                 } finally {
                     //
                 }
             }
-            if (results.size() == 2) {
-                assertArrayEquals(results.get(0).toArray(), results.get(1).toArray(), path);
-            }
         }
     }
 }