通常情况下，夫妻在解除婚姻关系时，彩礼的退还并不是必然的。但也存在某些特殊情况下需要退还彩礼。比如，虽然依法办理了结婚登记手续，但双方并未真正共同生活过，此时男方有权要求女方退还彩礼。再比如，男方在婚前支付彩礼导致自身经济困难，那么在离婚时，他也可以主张要求女方退还彩礼。除此之外，其他情况下离婚一般不需要退还彩礼。

根据《最高人民法院关于适用婚姻家庭编的解释（一）》，当事人请求返还按照习俗给付的彩礼的，人民法院在某些情形下会予以支持。比如双方未办理结婚登记手续、双方办理结婚登记手续但确未共同生活、婚前给付并导致给付人生活困难等。在认定彩礼退还时，需要根据实际情况是否符合彩礼返还的相关法律规定条件来决定是否需要退还。

在夫妻双方离婚时，如果需要退还彩礼，需要依法向法院提起诉讼。具体来说，存在三种情形可以主张退还彩礼：一是支付彩礼后因为未办理结婚登记手续而破裂；二是虽然办理了结婚登记手续但婚后并未共同生活；三是婚前支付彩礼导致支付方经济困难。在认定彩礼退还时，需要注意这些法律规定的条件是否满足。如果不确定是否满足条件，建议咨询专业律师以获取更详细的法律建议。

以上内容仅供参考，具体法律条款和司法解释可能因地区和时间而有所不同。在涉及离婚和彩礼退还等法律问题时，请务必咨询专业律师以获取专业的法律意见和帮助。