結論

標題のとおりです。RAILS_ENV=production の場合は Yay! You’re on Rails! ではなくエラー画面が出ます。

Heroku でもそうなる

そして当然なのですが、Heroku にデプロイした際も Yay! You’re on Rails! の画面は出ません。$ rails new 直後のアプリを Heroku にデプロイして動作確認をしようとして Yay! You’re on Rails! が出なかったとしても、当然のふるまいとなります*1。