Por un lado, necesitas cross-compiler arm-eabi, para poder conpilar el kernel sobre tu plataforma.
En cuanto a las fuentes, de la gemini en concreto no se, ni se si necesita cambios o no, pero nvidia tiene un repositorio git con fuentes de kernel para tegra2, incluido para android. La direccion es
http://nv-tegra.nvidia.com/gitweb/?p=linux-2.6.git
tags/branches:
- rama rel-12rX : kernel 2.6.36.3
- rama rel-14rX : kernel 2.6.39.4
- hay tags de gingerbread (-2.3) y de honeycomb (-3.2) para ambas ramas, + la release sin tagear. No se si la que es sin tagear sera para ICS o no, ni idea

- existe una rama nueva de hace dos semanas, 3.1, con kernel 3.1.10
Tanto google para la motorola xoom, como desarrolladores independientes mantienen repositorios de kernels para tegra2 y android, ni idea de su viabilidad.
Supongo que siendo la misma SoC, y siendo repositorios mantenidos por el fabricante de la misma que el kernel que tengamos que usar sera o directamente ese o algun fork del mismo con modificaciones para la board de la tableta.
Y mas no puedo ayudar sin tener el bicho y poder testear
Saludos,