downgrade xorg?

Downgradare il server X è (quasi) un suicidio, specialmente se una versione precedente non è presente nei repo.
Ad esempio sulla 13.10 non puoi downgradare X a una versione precedente alla 1.14.3, perché non è presente nei repo:

$ apt-cache policy xserver-common 
xserver-common:
  Installato: 2:1.14.5-1ubuntu2~saucy1
  Candidato:  2:1.14.5-1ubuntu2~saucy1
  Tabella versione:
 *** 2:1.14.5-1ubuntu2~saucy1 0
        500 http://archive.ubuntu.com/ubuntu/ saucy-updates/main amd64 Packages
        100 /var/lib/dpkg/status
     2:1.14.3-3ubuntu2 0
        500 http://archive.ubuntu.com/ubuntu/ saucy/main amd64 Packages

Ma in generale è un processo molto pericoloso per la stabilità dell'intero sistema. Tu quale versione di Ubuntu usi?

Considerazioni di questo tipo a parte, a quanto pare la tua scheda è una delle meno supportate da nVidia su Linux :)

I driver proprietari non la supportano, quindi devi restare con quelli open (nouveau). Inoltre non supporta tutte le tecnologie 3D di cui ha bisogno Unity e in generale l'accelerazione 3D presenta dei problemi.

Quindi, facendo il punto della situazione, non ti consiglio di cercare di fare il downgrade di X, ma ti consiglio di utilizzare Xubuntu 12.04 LTS.