在夫妻关系存续期间，女方故意隐瞒小孩是与他人所生的事实，从而导致男方误把小孩当成是自己的亲生子女。男方在不明真相的情况下虽然对小孩进行了抚养，但其既不是小孩的生父，也不是养父或继父，因此并没有法定的抚养义务。男女双方离婚后，男方可以起诉女方要求其返还这些年抚养孩子的抚养费，还可以主张精神损害赔偿。