He tenido un problema similar hace poco para el proyecto en el que estoy trabajando:
1) Quita el android:scaleType="fitXY"
2) Usa en su lugar android:adjustViewBounds="true"
Si aún así sigue sin funcionar bien, añade la siguiente clase a tu proyecto y úsala en el Layout en lugar del ImageView:
import android.content.Context;
import android.graphics.drawable.Drawable;
import android.util.AttributeSet;
import android.widget.ImageView;
public class FullWidthImageView extends ImageView {
public FullWidthImageView(Context context, AttributeSet attrs) {
super(context, attrs);
}
@Override
protected void onMeasure(int widthMeasureSpec, int heightMeasureSpec){
Drawable d = getDrawable();
if(d!=null){
int width = MeasureSpec.getSize(widthMeasureSpec);
int height = (int) Math.ceil((float) width * (float) d.getIntrinsicHeight() / (float) d.getIntrinsicWidth());
setMeasuredDimension(width, height);
}else{
super.onMeasure(widthMeasureSpec, heightMeasureSpec);
}
}
}