我4月份签了份二手房购买合同，当时约定5月30号讲尾款以银行贷款支付，当时中介说贷款十几天就下来了，时间很充裕，可事实是银行到7月5号才放款，期间也跟对方说过银行最近放款慢，可现在房东收到房款后又以我们违约付款为由不交房，我们约定的交房时间是6月30号，因为房东卖掉房以后还没有找到新的房子，房东的第二套房还在出租中不好收回，就要让我们让他们免费住到年底，不然就起诉我们要我们付违约金，对方中介还说让房东交房也可以，但我们要负责房东在外租房的费用，或者是我们自己在外租房，把房子让给房东住。现在对方中介就是拿违约来要挟我们，我们不知该怎么处理。