結論
~/.gnupg/gpg-agent.conf に以下の二行を書きます。
default-cache-ttl 34560000 max-cache-ttl 34560000
数値の単位は秒です。
詳細
DeepL です。
default-cache-ttlオプションは、最後にGnuPGを使用した後のタイムアウト（秒）を設定し（使用するとリセットされます）、max-cache-ttlオプションは、パスワード入力後にキャッシュするタイムスパン（秒）を設定します。デフォルト値はdefault-cache-ttlが600秒（10分）、max-cache-ttlが7200秒（2時間）です。
