승복 없이 "여러분 곁 지킬 것"…주 중반 이후 관저 퇴거