可以收回。

因为农村自建房临时确权的规定是，只有在农村户口所在地，且土地使用权及房屋所有权在同一人名下的情况下，才可以进行临时确权。

如果孩子夫妻名下拥有土地使用权，但户口不在农村自建房所在的村庄内，那么根据现行政策，是可以收回临时确权的。

此外，农村自建房临时确权的政策也在改革中，未来可能会有所不同，需要关注政策变化。