혼자 있는 시간이 필요한데 주변에서 이해를 못 해요

회사에서 점심시간에 혼자 산책하는 걸 좋아하는데, 동료들이 계속 같이 먹자고 해요. 거절하면 "왜 혼자 다녀?" "우리가 싫어?" 이런 반응이 돌아오고... 혼자 있는 시간이 에너지를 충전하는 시간이라는 걸 어떻게 설명해야 할까요? 다른 INTJ 분들은 이런 상황을 어떻게 대처하시나요? 직장 내 인간관계에서 적절한 선 긋기가 참 어렵습니다.