Android no permite grabar nada que no pase por el micro, es decir, que para poder grabar una conversación necesitas que se haga con el altavoz activado.
Existen programas para hacer lo que dices, pero tienen poco sentido debido a la limitación de Android.