結論
ファイルを TMPGEnc MPEG Smart Renderer 5 に通してそのファイルをエンコードしたらエラーが消えた。
推測
バイナリレベルでデータの整合性が取れていないため、一度フィルタを通す必要があるのではないでしょうか。TMPGEnc MPEG Smart Renderer 5 である必要はないですが、幸い購入していたのでこれを使ってさっさと処理してしまいました。
備考
CUDA が怪しいと睨んだのですが、関係ありませんでした。また、Intel Media SDK（Quick Sync Video、QSV）も関係なかったです。
