結論
標題通りです。rclone 経由以外で作られたアルバム*1 を指定してアップロードしようとすると 、以下のようなエラーになります。
$ rclone copy ./hoge remote_google_photos:/album/fuga 2021/01/10 18:03:55 ERROR : foobar.jpg: Failed to copy: google photos API only allows uploading to albums rclone created
したがって、$ rclone mkdir
コマンドを使ってアルバムを作る必要があります。
参考
*1:例えば Web UI 経由で作られたアルバム