Uusperheen iloja (AITA?)

Mieheni ja minä olemme olleet yhdessä reilun vuoden. Miehellä on 5v lapsi, joka on luonamme jokatoinen viikonloppu. Lastenvalvojalla sovittu la-ma jokatoinen viikonloppu.
Lapsen äiti on viimeaikoina ilmaissut suurta tyytymättömyyttä siihen, että mies ei ota lasta jo perjantai iltana (yritti myös uhkailla lastenvalvojalla, ja meni täysin sanattomaksi kun mieheni sanoi että mielellään menee keskustelemaan lastenvalvojan kanssa jotta asiaan saadaan kaikille sopiva ratkaisu).
Mies ottaisi lapsen oikein mielellään perjantaisin, mutta ongelmana on miehen työvuorot jotka usein perjantaisin sijoittuvat niin että mies on klo 20-22 välillä kotona. Minä olen luvannut, että voin olla lapsen kanssa tuossa pe illalla sen hetken, että saadaan lapsi järkevään aikaan meidän luokse ja iltatoimet vauhtiin, eikä lapsen hakeminen mene liian myöhäiseksi. Lapsen äiti tähän ei kuitenkaan suostu, koska ei luota täysin vieraaseen ihmiseen (=minuun).
Mieheni on antanut yhteystietoni, jotta lapsen äiti voisi minuun olla yhteydessä ja voimme tutustua, mutta hän on sitä mieltä että se olen minä, jonka tulisi olla häneen yhteydessä. Minä näen asian niin, että koska lapsi ei ole minun, ja luottamusongelma ei ole minun päässäni, aloitteen ei tarvitsisi tulla minulta.
Lapsen äiti on epävakaa, ja pelkään hieman tutustua häneen tästä syystä. Miehen ja lapsen äidin välit ovat todella huonot, lapsen äiti mm. pimittää tietoa kaikesta aina lapsen harrastuksista lääkärikäynteihin. Mm. uuden miesystävänsä kanssa yhteenmuutonkin piti salassa jonkun aikaa.

Eli, olenko minä hankala jos en halua häneen ottaa yhteyttä, vai onko lapsen äidillä tässä peiliinkatsomisen paikka?