我和以前的对方生过女孩，现在五岁了。我没有和以前的对方登记。夫妻感情不合，至今相隔两年。但是，我想要孩子，男人一直不给。怎样才能回到孩子身边。