一、合同约定只有违约金不退房可以吗?
合同约定只有违约金不退房是可以的，双方达成一致意见即可，一般情况下只要当事人双方认可并且不违法的情况下签订的合同都会是有效的，但如果一方以欺诈、胁迫手段、恶意串通或以合法形式掩盖非法目的，订立合同中设立的免责条款，损害国家、集体或第三人利益的，均属无效。
二、《民法典》对违约责任的规定
第五百七十七条 当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
第五百七十八条 当事人一方明确表示或者以自己的行为表明不履行合同义务的，对方可以在履行期限届满前请求其承担违约责任。
第五百七十九条 当事人一方未支付价款、报酬、租金、利息，或者不履行其他金钱债务的，对方可以请求其支付。
第五百八十条 当事人一方不履行非金钱债务或者履行非金钱债务不符合约定的，对方可以请求履行，但是有下列情形之一的除外：
(一)法律上或者事实上不能履行;
(二)债务的标的不适于强制履行或者履行费用过高;
(三)债权人在合理期限内未请求履行。
有前款规定的除外情形之一，致使不能实现合同目的的，人民法院或者仲裁机构可以根据当事人的请求终止合同权利义务关系，但是不影响违约责任的承担。
第五百八十一条 当事人一方不履行债务或者履行债务不符合约定，根据债务的性质不得强制履行的，对方可以请求其负担由第三人替代履行的费用。
第五百八十二条履行不符合约定的，应当按照当事人的约定承担违约责任。对违约责任没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，受损害方根据标的的性质以及损失的大小，可以合理选择请求对方承担修理、重作、更换、退货、减少价款或者报酬等违约责任。
对于违约的行为，是需要严格按照合同中约定的违约情况来进行处理，特别是在双方签订合同时，就需要对违约的情况来进行协商处理，如果达到了严重的情况，如存在欺诈的情况，那么该合同就是无效的，具体情况结合实际而定。
