root用户可以git clone，但普通用户就不能git clone

ubuntu 14 LTS OS
按照网上的教程，ssh-keygen后，复制id_rsa.pub内的内容到github的ssh key中
并使用ssh -T git@github.com没问题。
然后使用命令 eval "$(ssh-agent)"打开agent
添加私钥ssh-add ~/.ssh/id_rsa
但使用git clone git@github.com/username/test.git
却失败，显示permission denied(publickey)
fatal: Could not read from remote repository
Please make sure you have the correct access rights.
但发现如果几点奇怪的地方：
使用http地址来git clone没问题
也使用命令测试 ssh-add -l能看到密钥
也使用命令ssh -v git@github.com也能看到密钥队。
最奇怪的是，我把用户换成root用户，执行完全相同的步骤，使用ssh协议的git clone却完全没问题。求解答