女方可以向起诉要回孩子的抚养权的情形包括：男方因疾病或伤残无力抚养子女，男方不尽抚养义务或有虐待行为，男方对子女身心健康有不利影响，子女愿意与女方生活，以及其他正当理由需要变更抚养权。
法律分析
如果男方存在以下情形的，女方可以向起诉要回孩子的抚养权：
1、与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。
2、与子女一同生活的一方不尽抚养义务或有虐待行为的或其与子女共同生活对子女身心健康有不利影响的。
3、八周岁以上未成年子女，愿随另一方生活的。
4、有其他正当理由需要变更的。
拓展延伸
女方抚养权争议：权利归属及解决方案
在女方抚养权争议中，权利归属和解决方案是关键问题。首先，根据相关法律规定，女方在特定情况下有权要回抚养权。然而，具体情况需要综合考虑，包括孩子的最佳利益、父母的能力和意愿等因素。解决该争议的途径包括协商、调解和诉讼等。协商是首选，双方可以通过妥协和达成一致来解决争议。如果协商无果，可以尝试调解，由第三方中立人协助双方达成妥善安排。如果仍无法解决，可以考虑通过诉讼途径解决争议，但需注意诉讼过程可能较为复杂和耗时。综上所述，女方抚养权争议的解决需要综合考虑各方利益，并选择适当的解决方式，以确保孩子的福祉和家庭的和谐。
结语
在女方抚养权争议中，权利归属和解决方案是关键问题。根据相关法律规定，女方在特定情况下有权要回抚养权。然而，具体情况需要综合考虑，包括孩子的最佳利益、父母的能力和意愿等因素。解决该争议的途径包括协商、调解和诉讼等。综合考虑各方利益，并选择适当的解决方式，以确保孩子的福祉和家庭的和谐。
法律依据
《最高人民关于适用《中华人民共和国民法典》婚姻家庭编的解释(一)》第五十六条具有下列情形之一，父母一方要求变更子女抚养关系的，人民应予支持：(一)与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女;(二)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响;(三)已满八周岁的子女，愿随另一方生活，该方又有抚养能力;(四)有其他正当理由需要变更。
