Failed password for invalid user
Failed password for invalid user というエラーメッセージが出てログインに失敗するとき、様々なチェック点がありますが、一つのチェック点として盲点になりがち（？）な点を挙げます。
該当ユーザが AllowGroups で指定されているグループに属しているか？
/etc/ssh/sshd_config の設定項目のうち、AllowGroups が設定されている場合、SSHしようとしているユーザはそのグループに所属していなくてはなりません。所属していないと、パスワードとか鍵とかが適切とかそういう以前に、ログインできません。
補足
他にも AllowHogeHoge DenyHogeHoge という項目の記述があったら要チェックです。
