双方协议离婚不需要追回监护权，因为双方离婚之后孩子的监护权是父母双方的，父母还是子女的监护人，不因双方离婚而改变。

《中华人民共和国民法典》

第二十六条 【父母子女之间的法律义务】父母对未成年子女负有抚养、教育和保护的义务。

成年子女对父母负有赡养、扶助和保护的义务。

第二十七条 【未成年人的监护人】父母是未成年子女的监护人。

未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：

(一)祖父母、外祖父母;

(二)兄、姐;

(三)其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。

第一千零八十四条 【离婚后的父母子女关系】父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。

离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。

离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。