Esto ya te lo comento más hablando de programación en general que de android en particular, porque la verdad es que no he llegado a tanto nivel, pero supongo que será un poco similar a los gráficos en 2D del resto de sistemas.
Cuando quieres saber si un punto está dentro de un objeto, no es suficiente sólo con el punto en que se genera el objeto, sino que también necesitas el ancho y el alto. Hay ecuaciones de todo tipo para saber si un punto está dentro de un área, pero por ejemplo la del cuadrado, que es la más fácil y creo que es tu caso, es algo así como:
Suponiendo que tenemos dos puntos, "touch" para donde ha tocado el usuario y "vertice" para el vértice superior izquierdo del cuadro, y dos longitudes "altura" y anchura" tenemos
Código:
bool dentro = touch.x >= vertice.x && touch.x <= (vertice.x + anchura) && touch.y >= vertice.y && touch.y <= (vertice.y + altura)