我家危房改建，通过了相关部门的审批，但因为与后屋人家感情甚好没有签相关协议，在造2层是他家向城建部门投诉影响采光，实际情况是两个房屋中间有一条斜的小路，他家沿路的楼梯与我家太近，并且楼梯有窗户，导致他们可以去城建部门投诉。目前，他家不与我家协商解决问题或提出无理的改建要求，并且不接受赔偿，目的是让我家只建2层。请问如何处理？