Die IP-Verbindung an sich funktioniert, dann kann es nur noch an den Netzwerkeinstellungen der ESPs liegen.
Ich tippe darauf, dass kein DNS-Server konfiguriert ist.
Demnach können die Dinger auch niemanden fragen, welche IP-Adresse sich hinter „pool.ntp.org“ verbirgt.
Ich nutze kein ESPhome, keine Ahnung wo und wie das genau eingetragen werden muss.
Alternativ könntest Du natürlich die Fritzbox als NTP-Server nutzen.
Das funktioniert ja und spart Internet-Traffic.