从我14岁父母离异，我和弟弟跟了母亲，可是他们协议离婚是把抚养权给的父亲，可是这么多年除了开始三年的学杂费其他什么也没有资助过，现在我和弟弟都成人有了自己的生活，父亲在外面有自己的家庭，现在问他让他回来顺便给我们尽一份力，可是他不答应，只说以后不用我们赡养。请问，因为我俩的抚养权在他那里，害怕以后他再回家让我们管他，现在应该通过什么法律途径来证明他不需要我们对他的赡养。谢谢。