Escritorio remoto en Linux. TeamViewer, ¿para qué?

Mi ordenador personal, de casa, es el corazón de mi actividad informática. Es una máquina comprada y ajustada para mi, mucho más potente de las que tengo en el trabajo y que funciona todo el día (y noche, estilo, 24 7). Además, la copia completa de mi trabajo y ocio está en él. Por ello estoy siempre interesado en conectarme con él desde mis diferentes puestos de trabajo. Sin embargo, nunca he logrado hacer funcionar correctamente un escritorio remoto gráfico. Con ssh consigo conectarme en terminal y hago copias de seguridad, actualizo cuando descubro alguna actualización importante y puedo ejecutar scripts.

Con nautilus/nemo puedo conectarme con mi ordenador y hacer intercambio de ficheros.

Simplemente lo que necesito además es un escritorio gráfico que me permita en momentos determinados ejecutar una acción determinada en un programa gráfico. Como nunca he logrado que me funciones las versiones libres (x11vnc...) lo he intentado con TeanViewer.
Es muy fácil instalarlo. En la página web se descarga el binario adecuado, que en mi caso (Fedora 18) es el rpm. Luego simplemente

su -c 'yum -y install fichero.rpm'

y listo. Simplemente al arrancarlo (en WINE, eso sí) te da una ID numérica y das una palabra clave para poder conectarte a ese ordenador. Luego lo instalas en el/los otros y al ejecutarlo ya se puede conectar al otro ordenador mediante la ID y palabra (flecha de la izquierda). En el caso de haberse registrado, se puede uno conectar directamente a los ordenadores reconocidos (flecha de la derecha).

Y luego ¿que podemos hacer? Pues poca cosa, al menos en mi caso. Por supuesto, se conecta muy fácilmente

pero como ya sabemos, por mis gustos personales mi escritorio está limpio, vacío de todo. En teoría, al activar en Acciones "Enviar combinaciones de clave" (marcado en rojo), el escritorio remoto debería recibir atajos de teclado, pero en mi caso no ha sido así.

He probado activando en el servidor y en el cliente, en uno y no en el otro, en el otro pero no en el uno, lo he intentado en red local, con otro ordenador, con un portátil, y nada. He intentado que funcionara dejando el panel superior a la vista, pero las ordenes del ratón no se ejecutaban (y además dejaban inutilizado el panel, que luego tenis que activar manualmente al usar el ordenador). La única forma de que funcione es dejar el programa que queremos activar las funciones a la vista, y en el escritorio activo, ya que al no recibir los atajos de teclado, tampoco se puede cambiar de escritorio/área de trabajo. Además, aun en ese caso, la respuesta al ratón es aleatoria e irregular.
Lo que si funciona muy bien es el intercambio de ficheros,

pero eso ya lo tenía solucionado, así que, al menos para mi, no me sirve. O me equivoco en algo (y no he visto en la red más explicaciones)o para los usuarios de Linux, o al menos de Fedora, no cubre nada que no podamos hacer con otras aplicaciones que tenemos en el sistema sin añadir nada.