Tyttäreni lapsen isä estää minua olemasta mummi!

Tyttärelläni on 3-vuotias lapsi jonka huoltajuuden hän menetti mm. jouduttuaan vankilaan erinäisistä syistä.
Lapsen isä on sanonut minulle suoraan ettei halua minun olevan missään tekemisissä lapsen kanssa koska riittää että äiti on epävakaa, lapsi ei kuulemma tarvitse enempää epävakaita ihmisiä ympärilleen.
En ole mitenkään epävakaa, vaan normaali terve keski-ikäinen työssä käyvä nainen. En juurikaan käytä alkoholia, tai edes tupakoi, muusta puhumattakaan. Jostain syystä tyttäreni lapsen isä on kuitenkin sitä mieltä etten ole hyväksi lapselle joten en saa olla mummi lapsenlapselleni. Mitä ihmettä voin tehdä? Vai voinko tehdä yhtikäs mitään?