首先我们来了解一些什么叫做【近亲】,如果你愿意去查找相关资料的话你就会发现所谓的近亲是指从你开始向上或向下数三代才是近亲。再说清楚点就是你爸爸的姥爷应该是从你往上的第四代(他妈妈的爷爷也是一样),也就是说你们现在根本就不是近亲——何来近亲结婚影响后代之说?对于近亲结婚的算法你可以去浏览【百度百科】,那里有更加详细的介绍。
你们俩是第五代,属于婚姻法规定可以结婚的。对后代的影响不大。