Esa versión de ICS para nuestro Xperia P es la primera que salio, y por lo que he podido comprobar, la que menos fallos da (yo tambien tengo esa compilacion y me va perfecto).
Si te va muy lento, lo mejor que puedes hacer es una reinstalacion del firmware (en apartado de ROMS, en el hilo de repilacion de firmwares subi la version .544 española).
Yo lo que suelo hacer es "congelar" (inhabilitar) aplicaciones que no uso (aunque veo que ya lo has hecho), y mantener el movil limpio, en tu caso, si no usas los widgets, quitalos ya que consumen bastante.