离婚时女方应该放弃抚养权吗

不一定，是否放弃抚养权要看女方自己。离婚协议一经签订并经民政局或者人民法院确认，即不得反悔。如果认为对方不适宜抚养孩子，而且本人更适宜抚养孩子的，可以依法向法院起诉，申请变更孩子的抚养权。
法律依据：
《中华人民共和国民法典》第一千零七十六条夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。