生理休暇は労働基準法で認められてる権利だから、相手が同僚でも部下でも、休むなとは言えないよ。
不満が多いなら、誰か一人が急に休んでも困らないように体制を変えるとかしかないと思う。