kuka kertoisi mitä tehdä

Olen pian 40v mies, pian 3 vuotta saanut olla naisen kanssa josta todella välitän ja rakastan.
Muutin hänen luokseen pienelle paikkakunnalle, jossa periaatteessa jokainen tuntee toisensa tai ainakin tietää ketkä on kenenkin vanhemmat, kuka on kenenkin ex yms.
Naiseni historia on täällä, minulla ei mitään... jos puhun jostain tapaamastani ihmisestä, hän tietää ihmisen taustat. Tai se henkilö liittyy jollain tapaa hänen exäänsä.
Ongelmani on se, että minulla on ulkopuolinen tunne sekä en pidä siitä, että me emme ole me, vaan naiseni on aina "sen yhden exä" ja minä olen "tämän yhden uusi mies".
Mietin, että olisiko parempi muuttaa toiselle paikkakunnalle, jossa historia ei seuraa mukana vaan saamme olla me. Tässä tapauksessa naisen työpaikka säilyisi ennallaan, mutta pääsisimme aloittamaan elämämme tavallaan puhtaalta pöydältä.
Nainen ei haluaisi muuttaa, mutta jos muuta vaihtoehtoa ei ole niin sitten siihen suostuu.
Onko omassa ajattelumallissani jotain vikaa, pitäisikö vaan jäädä tänne ja toivoa että aika auttaa. Vai tehdä se päätös, että muutamme?