"외부 누구와도 논의 안 해"…여권 의혹 정면 반박