如果不符合相关的条件，就是不合理的。
1.结婚时间不久，双方离婚时，是否需要退回彩礼，要看具体的情况，如果男方婚前给付的结婚彩礼导致本方生活绝对困难的，而不是相对以前的生活(如彩礼系借款、贷款等)，此时离婚，男方可以要求返还彩礼的全部或部分。
2.如果当初支付彩礼已经作为嫁妆，转为夫妻共同财产的，离婚时直接分割夫妻共同财产，不应该再要求退回彩礼。如果没有导致生活绝对困难的情形的，无需退还。
二、如果女方不能生育要退彩礼吗?
法律没有明确的规定。
1.在下列情况下，离婚时不能要回彩礼：已经登记结婚并同居生活的。这种情形下离婚后彩礼不需要归还。男女双方未办理结婚登记手续而同居生活时间较长的，一般应当以两年以上或者同居生活期间生育子女的的情况，离婚后彩礼不需要归还。
2.男女双方未办理结婚登记手续而同居生活，所接受的彩礼确已用于共同生活的，离婚后彩礼不需要归还。共同生活的界定，主要限制在家庭成员因生活、生产需要并实际支出，比如男女一方或双方患病花费、共同经营投资等。
三、离婚时返还彩礼要注意什么?
要符合婚前付给并导致给付者家庭困难的，如果用于共同生活或者是育有子女的，一般不予支持。
1、一方请求返还彩礼的，不予支持。婚前给付并导致给付人生活困难的，应做限制性的解释。该情形是指给付彩礼的一方婚前举债给付、婚后无经济来源偿还债务的，或者是婚前用家庭财产给付、婚后无固定经济来源、依靠自己的力量无法维持最基本的生活水平。确定“生活困难”需根据给付彩礼的数额、给付人的生活来源、当地生活水平等因素综合考虑，目前可参照当地最低生活保障标准合理确定。
2、婚前给付并导致给付人生活困难的，但是已经共同生活两年以上、生育子女或者所送彩礼确已用于共同生活，一方请求对方返还彩礼的，一般不予支持。又分为三种情况：男女双方未办理结婚登记手续而同居生活两年以上;双方未办理结婚登记手续而同居生活虽不满两年，但生育子女的;所接受的彩礼确已用于共同生活。
是否能退回，要看条件是否符合，女方不能生育的话能不能退回彩礼，这个法律上并没有明确的规定。但是如果仅仅是因为不能生育这一点，法律上一般不予支持。返还彩礼需要符合一定的条件。
