Bonjour,
Et il a raison d'être prudent, si il n'a pas plus de détail.
Si la prescription acquisitive est attestée alors une nouvelle limite de propriété doit être établie clairement avec un nouveau bornage cadastral.
Si ce n'est pas le cas, une vente au prix du marché (important) de ce bout de parcelle réglera ce problème avec là encore une limite de propriété officielle.
Renseigner vous auprès de votre notaire.
Mais je vous déconseille de "passer en force" car dans l'avenir vos voisins pourraient effectivement contester.