怎么有礼貌的回绝？

隔壁团队有两个空缺，那边的经理问我有没有兴趣。其实一年多前那边的主任就已经和我谈过，我当时觉得去一个新的团队学习也挺好的。主任当时说团队正在不断扩充，需要新人。可是她们后来请了其他人，也没再需要新的人手。我过去的事儿也随风而逝了。今年第一季那个团队就走了两个人。听说是因为主任不好相处，工作压力大。虽然说会给我升职，但我现在的团队很和谐，我做得也很快乐，没什么压力，所以我不太想过去。我该怎么有礼貌的回绝那个经理？毕竟之前说了有兴趣，现在又说不想去了，有点打脸。