离婚时双方都不要房子怎么办

可以由双方协议处理。协议不成时，由人民法院根据财产的具体情况，照顾子女和女方权益的原则判决。

《民法典》第一千零八十七条 离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。

对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。