Чтобы X-сервер не ожидал внешних соединений, его следует запускать с ключом -nolisten tcp. То есть, в простейшем случае, если вы запускаете X с помощью xinit, команда будет выглядеть так:
xinit -- -nolisten tcp
Если вам нужно время от времени подключаться к X-серверу снаружи, то самым удобным решением является запуск Xnest — отдельного X-сервера с собственными параметрами безопасности.