Модель икс-сервера только на первый взгляд странная. На самом деле там все логично:
X-сервер контролирует экран и устройства ввода (мышь, клавиатура). Х-клиенты (графические приложения) подключаются к серверу и посылают ему запросы на отрисовку различных графических элементов и т.п.
Это позволяет запускать клиентов на других машинах с тем, чтобы они подключались к Х-серверу какой-то определенной машины.
Например, для этой цели можно использовать ssh X11 forwarding (ключ -X в команде ssh):
Пишем:
ssh -X server-address
И далее запускаем графическое приложение на удаленной машине. Оно подключится к нашему Х серверу.
Насчет chroot - не очень понял задачу. Да и плохо я знаю эту тему, поэтому вряд ли смогу помочь.