可恶的骗子盗用我的电话号码，怎么破？

今天接了一个电话，说刚刚有人用这个号打给她，她只是回拨问一下。我说我今天没有打过任何电话, 她说那就是有人用这个号想干点儿啥。其实这也不是第一次有人回拨了，以前我都没在意，以为是播错号，现在看来这根本就是骗子干的。请问有什么办法不让骗子用我的号码吗？