Невежливо останавливать человека, который не рассчитывал на встречу с вами. Лучше пройти с ним часть пути, попросив разрешения проводить. Если вы чувствуете, что вам не рады, настаивать не стоит.