社会通念がどうとかモラルがどうとか言うなら
赤の他人が不倫や浮気した人間を過剰に批判するのもそれに反してると思うけどな
当事者ならともかくとして