¿Lo conectaste en su momento en modo Depuración USB? A mí me pasaba lo mismo y sólo me conecta si lo pongo en modo Depuración USB. Si trasteas con él, déjalo activado. Si no quieres ponerlo, borra los drivers desde el Administrador de Dispositivos de Windows. Una vez dentro, le das a Ver>Mostrar dispositivos ocultos y desinstalas todos los Android Device con el teléfono desconectado. Borra también Nexus 4 en Dispositivos portátiles. Una vez hecho esto, vuelve a conectar el teléfono y espera a que te lo reconozca Windows.