거절하는 법

아이 친구엄마를  알게됐는데  전화도 자주오고 차마시 자고  밥먹자고  연락이 자주 옵니다.   친구 엄마는성격이 좀 거칠고 예민한것 같고 성향도 안맞는데  제가 이야기를 잘 들어줘서 그런지  자꾸 연락와서  불펀하네요. 부정적인 이야기 들어주는것도 저는 스트레스 입니다. 이럴땐 어떻게 해야 할까요