我が儘じゃないと思います。もう少し様子を見てあなたの気持ちも彼の行動に変化がなかったら、お付き合いは止められた方がいいかと思います。