Gracias a todos por las respuestas.
Tengo que hacer algunas pruebas más. En el resto de los teléfonos no tengo ese problema... El más parecido al Nexus 4 es un Moto G de 2013 que funciona correctamente.
Respecto al Kernel, uso todo stock, no hice pruebas con nada más.
Iré poniendo las novedades.