抚养权归男方所有没多久又复婚后又要离婚孩子

【法律意见】
可以要回抚养权，但是不可以他不抚养子女，因为它的这一行为是托管，并不违法。
【法律依据】
《婚姻法》第二十一条规定：父母对子女有抚养教育的义务;子女对父母有赡养扶助的义务。
父母不履行抚养义务时，未成年的或不能生活的子女，有要求父母付给抚养费的权利。
子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。
第三十条规定： 子女应当尊重父母的婚姻权利，不得干涉父母再婚以及婚后的生活。子女对父母的赡养义务，不因父母的婚姻关系变化而终止。
因此，夫妻离婚，无论抚养权归谁，子女对父母都具有赡养义务，父母对孩子都具有抚养义务。