别人昨天在我家刷信用卡、但钱又退回去了、知道对方卡号钱能追回么

倘若有人在未经允许的情况下擅自使用您的信用卡，且拒绝偿还相应款项，作为合法权益的拥有者，您完全有权选择向警方报案处理此事。
根据我国《刑法》中的相关条款，其中的第一百九十六条明确规定了关于信用卡欺诈及盗窃罪行的具体内容。
具体而言，如果存在以下任何一种情况，即构成信用卡欺诈或盗窃罪行，将面临相应的刑事责任和经济处罚：
（1）使用伪造的信用卡；
（2）使用以虚假身份证明骗取的信用卡；
（3）使用已作废的信用卡；
（4）冒用他人信用卡；
（5）恶意透支。
其中，所谓“恶意透支”，是指持卡人出于非法占有的目的，超过规定的额度或期限透支，且在发卡银行催收后仍未归还的行为。
此外，若盗窃信用卡并加以使用，则应按照《刑法》第二百六十四条的规定予以定罪量刑。《刑法》第二百六十四条
【盗窃罪】盗窃公私财物，数额较大的，或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。