签订了合作建房购房合同，交了总房款的40%，现想退房还可以得回已付款全额吗？

合作建房付款分四个阶段，第一是首付30%，第二是楼房起到第五层交30%，第三是封顶交30%，第四是交钥匙后交10%，家庭状况不好，但是代理商说可以先交40%,剩下的可贷款交，所以才签订合同，收据也写40%，签订合同时是5月底，房子已起到第8层，但是后来一直停工直至11月份才有几个工人在，也不主动告诉购房者停工，催他们却得到证件需重审来推脱，买房时说五证除预售证都齐全，却不肯给原件看，如今又借故说换了法定代表人需重签合同，给合同他们看后却说合同不对，要交完第二阶段的钱，否则按总房款的20%从已交房款中扣，现在想退房还可以得回已交全部房款吗？急