推荐人似乎找错了，怎莫办？

唉，最近有点烦。二月底有两个onsite面试，感觉还可以。都说两周内给消息。上周三第一家单位打了三个reference的电话。我是周五听我的一个reference说的。他人很好，跟我说讲的都是好话。老板出差还没回来，所以肯定没接着。另一个reference是我本实验室的。我问他，他说没接到电话。我check了一下实验室电话留言，结果周三有留言给他有关我的refernce问题，让他回电话。我告诉了他并请他回复一下电话给用人单位。我请他用我的手机因为是长途我不想他自己花钱。他表示周五不行，要下周一才有时间。周一上午跟我说下午就打。下午到三点多也没打，还跟别人聊天。我请他打一下，他过一会告诉我说他打了（用我的手机），对方不在，他留的言。我很郁闷，感觉他很不上心，有点不可靠的意味。我跟他不是很熟，但他是我当时的合适人选。之前找他时他也表示愿意做我的reference。现在看来好像不太好。我很担心用人单位会不会因为refernce拖拖拉拉而把我给拒了？另外一个单位我申请时也是用的这个人作reference。那个单位说call refernce之前会通知我。我该怎么办？需要换人吗？之前因为我原来的reference病了，我已经换过一个人了。担心如果再换的话用人单位会觉得我有问题。