请问我们现在应该怎样？

我们租了一套房子（3房2卫），月租2400元（按季度给），押金一万元，签了一年租期。 我们刚搬进去（3月18日）时，才发现房子很潮湿，很脏，全部柜子（包括衣柜）都在发霉及发臭。 我们马上告诉了屋主，他叫我们自己清洗，我们也很努力地用了各种方法清洗房子，去霉及去臭等。可是臭味仍然无法去除。而且有一间房间，至今仍然无法住入，因为太臭了，柜子和衣柜都很臭了，清洗后，仍然无法使用。刚开始，屋主还答应了要安空调，修窗户的锁等等，一些合约上有纪录的事项。我们都一一告诉屋主了，可是，至今屋主一直说忙，没去处理。我们住了2个月后，屋主开始要第二季度的租金。 我们就告诉他，我们的问题仍然存在，房子太臭了，我们只能使用2间房间，空调都还没安装，窗户的锁还没修，一间房间的衣柜门坏了等等一些问题。结果，屋主就说，臭味他无法处理，房间衣柜的门无法修，叫我们全部人共用一间房间的衣柜。我们就说我们是租3房2卫的，只有2间房间能睡，衣柜只能用一间房间的衣柜，还有些其他未解决的问题，这也那太不行了吧。我们想和屋主协商，如果他真的不能处理的话，能不能让我们早点解除合约。因为我们没有理由租了3房2卫，只能用2房，衣柜只能用一个房间的吧，房子又臭，其他问题屋主又不来处理。那天协商时，我们已经把第二季度的租金支票都开了，打算如果屋主能解决我们的问题，我们就住下去。可是屋主一直说没办法，还怪我们一直嫌弃他的房子，结果叫我们在6月18日前搬走（在没有给我们两个月[按合约]通知下），空调他也不要安了。他还要我们赔一个月的违约金。我们在6月14日已搬迁了，16日时交房子及钥匙给屋主。当时，屋主及房子中介还逼我们签一份协议，说我们以后将不会向他做任何追究，还要我们把租凭合约交回给他，他才把押金给我们。我们不同意，所以至今我们的押金还在屋主那里。他还打电话来说，他有的是时间，可以跟我们玩玩的。请问我们现在应该怎样？如果要起诉他违约及无理有扣押我们的钱财？谢谢。