请问律师我有个亲戚，在七十年代逃港后就在香港定居，以后在香港成家立业。当时没去香港之前在大陆农村和我爸准备开山做房子（是每人一边做两间土房，他当时就叫一两个人晚上开了一点因为去香港就没开了，我家没有外出就在那里做了房子）后来我们兄弟大了要各自建房问他是否要回来建房子，他笑着说叫我们在他那里建房子，我们就把那些山土打开后起了房子，以前我爸那时代做的土房也重新建了房子。现在他是香港户口，想回来做房子我们需要还给他地方做房子吗，