남에게 부탁받고 거절하면 불안합니다..

제목과같이 누군가 저에게 부탁을하면

거절을 잘못하기도 하는 성격이지만

거절을 했을경우에도 

그사람이 저를 안좋게 볼까 내내 불안합니다..그래서 거절을 하고도 나중에

다시 부탁을 들어주게 되더라구요..

이런 불안함은 어떻게 바꿀 수 있을까요?