結論
ここで全部語られていました。
見落としがちなこと
見落としがちというか、私が見落としていた(設定し忘れていた)一行は以下です。
proxy_set_header X-Forwarded-Proto $scheme;
Jenkins での例
https へのリバースプロキシの設定がおかしいと、下記のように警告が出ます。
Jenkins の設定がおかしいのかなと以下の場所の設定を見直したりしますが、警告が止まりません*1。
素直に公式サイトを見ると(というか、まず真っ先にそうすべきです)設定方法が書いてあります。
結論
公式サイトを見る。エラーメッセージを見る。
*1:ここは通知メールに記載される際に利用されるだけですので当然です