結論
OpenSSL
の形式にする必要があります。
これは厳密には Rundeck が原因というわけではなく、Rundeck が用いている Jetty
というライブラリが原因のようです*1。
これ、小一時間ハマりました……。
判断方法
OpenSSH
の形式ですと、鍵のヘッダに -----BEGIN OPENSSH PRIVATE KEY-----
と書かれています(フッタも同様)。
OpenSSL
の形式ですと、鍵のヘッダに -----BEGIN RSA PRIVATE KEY-----
と書かれています(フッタも同様)。
参考
補足
Rundeck 3 については粒度を細かくして記事にしているので、他の記事 も参考にするとよいかもしれません。
あと、困ったら何はともあれ 公式ドキュメント です。
*1:間違っていたらすいません