离婚的时候只要没有法定的条件是不能要回来的，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形之一，人民法院应当予以支持：
(一)双方未办理结婚登记手续的;
(二)双方办理结婚登记手续但确未共同生活的;
(三)婚前给付并导致给付人生活困难的。
根据上述规定可知：
1.双方未办理结婚登记，一般情况下，男方可要求女方返还彩礼;
2.双方未办理结婚登记但同居两年以上，或者甚至有生育子女，分手时女方都可以不返还彩礼。
3.男女双方没有领结婚证但是有同居生活，并且彩礼钱也是在两人同居生活时期接收的，那么这种情形在离婚的时候彩礼也是不需要归还的。
4.男方在结婚之前付了彩礼钱给女方家庭，但是导致自己家庭非常困难的，离婚时女方就需要归还彩礼钱。
5.在婚姻关系依然保存的情况下，女方死亡之后，彩礼也是不需要归还的。但是，这种情况如果婚约人在死亡之前已经向法院起诉的除外。
二、如何要求彩礼返还？
1、决定彩礼是否返还，以当事人是否缔结婚姻关系为主要判断依据。给付彩礼后未缔结婚姻关系的，原则上应返还彩礼;如果已结婚的，原则上彩礼不予返还(一些特殊情形除外);按照习俗举办了结婚仪式但没有领取结婚证书的，解除同居时彩礼原则上不予返还。
2、一般来讲，彩礼的给付往往迫于当地行情及社会压力而不得不给，完全自愿给付且无任何附加条件的属于一般赠与行为，如果没有特殊规定，通常不予支持返还彩礼的请求。
3、如果给付彩礼之后，在婚姻关系存续期间，给付人要求返还给付的，不予支持，因为此时夫妻尚作为一个共同体，遵循夫妻法定财产共有制。如果当事人在离婚诉讼的同时提出该项请求，法院准许离婚的，可根据情况作出是否支持返还彩礼请求;判决不准离婚的，不能支持当事人返还彩礼的请求。
4、双方登记结婚后，如果一直没有共同生活，也就没有夫妻之间相互扶助、共同生活的经历，实质意义上真正的共同生活还没有开始。
综合上面所说的，离婚要回彩礼钱就一定要有合法的条件，如果没有法定的理由那么是不能要求女方退还的，而且彩礼钱是属于个人的财产，双方离婚男方也是没有权利获得，所以，双方在处理时候就需要结合实际情况来，不同的情形所处理的方式就会不同。
