※追記 2018/04/15 現在、64bit版でも問題なく使えています。
結論
32bit 版のバイナリで起動する（bin/32bit/obs32.exe）。
補足
構成は以下のとおりです。これで成功しています。
- AVerMedia GC550
- Windows 10 Pro 1709
- AmaRecTV4 Ver 4.11
- Open Broadcaster Software Studio 20.1.0
備考
インストーラからインストールした場合、標準で作られるショートカットが 64bit に向けられているので、なかなかこれに気が付きにくいです*1。キャプチャデバイスや環境によっては 32bit版 でないと正しく動作しないので、なにかおかしいと思ったら真っ先に疑うべき点だと思います。
*1:というかそもそも 32bit版 が内包されていることに普通は気づかないと思う
