Mi esposo no llegó a dormir a la casa por 5ta ocasión

¡Hola buen día!
Quisiera saber si alguien puede ayudarme a tratar este tema.
Pasa que mi esposo y yo llevamos 6 años de relación, durante el noviazgo (que fue de 2 años) anduvimos de fiesta en fiesta porque él es selector de música (dj), tomábamos y la pasábamos bien. Ahora de casados es muy raro que salgamos a fiestas juntos pero cuando lo hacemos en ocasiones no llegamos a dormir a la casa por estar tomando y divirtiéndonos con los amigos. El problema está en que cuando él sale a fiestas solo y no llega a dormir a la casa (estoy hablando de que llega por ejemplo a las 5 de la tarde del otro día) yo me molesto, debido a que hay un acuerdo mutuo que indica que cuando no vayamos juntos, el otro debe llegar antes de las 6 de la mañana para que no se tome como que "no llego a dormir". Ya lo hemos hablado en repetidas ocasiones y él solo dice que lo disculpe y que no volverá a suceder. Me reprocha que no me molesto cuando no llegamos por andar de fiesta cuando vamos los dos juntos, que solo lo hago cuando él va solo. Ya hubo infidelidad por parte de él y en parte eso me hace dudar un poco sobre dónde habrá pasado la noche. No sé cómo actuar o cómo hablar del tema, ya lo hemos discutido antes pero considero que algo que se hace más de tres veces se seguirá haciendo y pues yo no tengo la necesidad de estar aguantando actitudes o acciones que me incomodan.