Voinko kieltää miestä tulemasta asuntoon? (uusi aloitus, liikaa kirotusvhreitä edellisessä)

Minulla on tällainen ongelma: asun ex-miehen omistamassa asunnossa vuokralla yhteisten lastemme kanssa. Mies itse asuu 300 km päässä, toisessa kaupungissa.
Olemme yrittäneet rakentaa suhdettamme uudelleen viimeisen pari vuotta, eli mieheni on saanut olla ja asua tässä hänen omistamassaan, ja minun vuokraamassa asunnossa 2-4 pvää viikossa.
Mies pystyy tekemään etätöitä, siksi hänelle on onnistunut tuo järjestely.

Nyt olen huomannut, etten jaksa miehen läsnäoloa enää. Hän on voimakastahtoinen mies, joka mielellään alistaa minua. Ilmapiiri kotona on painostava aina kun mies tulee tänne. Riidat ovat tihentyneet ja pahentuneet.

Ja kysymykseni kuuluu: voinko sanoa miehelle, ettei hän enää ole tervetullut? Yritin kerran, ja hän uhaksi irtisanoa minut. Siksi en ole uskaltanut tehdä asialle mitään.
Olen maksanut vuokran ajallaan.

Elatussopimuksen mukaan miehellä on oikeus tavata lapsiaan joka toinen viikonloppu.
Haluaisin palata siihen sopimukseen.

Voinko tehdä niin?

Lapset ovat olleet iloissaan, kun isä ja äiti ovat niin paljon yhdessä, mutta minä olen henkisesti riekaleina.
Haluan miehestä eroon. Mutta en oikein uskalla ottaa sitä askelta, enkä ole varma, mitkä oikeuteni ovat.

Miehellä on avain asuntoon, enkä taatusti saa sitä häneltä takaisin. Tiedän myös, että hän tulee soittelemaan ovikelloa loputtomiin.
Voinko vaihtaa asunnon lukot?

En itsekään tajua, miten olen päästänyt itseni tähän pisteeseen.

Millä tavalla saan estettyä miehen tulon asuntoon?