http://es.wikipedia.org/wiki/N%C3%BA...m%C3%A1tica%29
En resumidas cuentas, es el núcleo del sistema operativo. Lo que se encarga de llevar a cabo todas las conexiones entre memoria, procesos, periféricos... Según el kernel que elijas, los cocineros añaden o quitan funciones que pueden ser útiles/interesantes o no.
Por ejemplo, el control sobre los led de la botonera táctil del SGS II lo lleva el kernel. Al igual, la forma en la que se gestiona la CPU y el funcionamiento de la cámara de fotos esta muy ligado al kernel. Es por ello que si un kernel tiene algún fallo, por pequeño que sea, puede ser que el sistema en general no vaya bien.
Y como info adicional, Android está basado en Linux, aunque sería más cierto decir que usa un núcleo/kernel Linux. El resto es una simple maquina virtual que ejecuta codigo Java.