フォームメールの改造で確認画面ページから「戻る」ボタンを
付けて前のページへ戻れるようにしたいのですが、
どうすればいいでしょうか。

<input type="button" value="&lt;&lt; -戻る-" onClick="history.back()">

↑を確認画面の送信ボタンの後に入れてみたんですが、
エラーが出てしまいました。
まったくの初心者ですが、判る方お願いします。

どのようなエラーが出たのでしょう？

Internal Server Error　とかでしょうか？

print "<input type="button" value="&lt;&lt; -戻る-" onClick="history.back()">
";

などと書いていたとしたら

print '<input type="button" value="&lt;&lt; -戻る-" onClick="history.back()">';

のように書くと良いんじゃないかと思います。