underwriting阶段取消refinance可以吗

我的refinance等了两个半月还没close，现在打算明年年中换房子，那么只剩半年时间再去refinance就划不来了吧，因为closing fee都有4k，这个银行之前给的条件并不好。现在已经是到了最后阶段，卡在这里一个多月。
今天问了agent说还是要等。请问大侠，我这种情况可以跟agent说我不做了吗？会不会有什么费用产生？