~/.ssh/configに
IdentitiesOnly yes
を記述する。
IdentitiesOnly (ファイルに格納された秘密鍵のみを使用)認証の際に、たとえ認証エージェントssh-agent (1) が複数の秘密鍵を持っていた場合でも、ssh_config ファイルで指定された秘密鍵のみを使用するよう指定します。この引数のとりうるキーワードは"yes"または"no"です。この項目を使うのは、ssh-agent が多くの異なる秘密鍵を返すような状況でしょう。デフォルトでは"no"になっています。
引用:http://www.unixuser.org/~euske/doc/openssh/jman/ssh_config.html
ボクは、IdentityFileを複数指定して使っていたので発生した模様。
