Si te has bajado un .apk, es muy facil. Primero asegurate de que tu android permite instalar desde origenes desconocidos. De lo contrario solo podras instalar desde el Google Play.
Eso está dentro de ajustes/seguridad.
Despues copias ese .apk a algún directorio del movil. Por ejemplo creas una carpeta que se llame Instalaciones, o algo así.
Despues con un explorador de archivos, buscas ese .apk, le das, y comenzará su instalación.
Es muy comodo hacerlo por dropbox, o si no por el metodo que te digo.
Si estas tan verde en Android te recomiendo que leas las guias para novatos que puedes encontrar por ahí. Saludos.
EDIT: Creo que acabo de ver la aplicacion a que te refieres. Y efectivamente es una aplicacion modificada que sustituye a la original de youtube.
Para eso tienes que borrar la original que efectivamente esta en system/app , yo no lo haria
Pero si quieres hacerlo es mejor que pidas ayuda
en el hilo de esa aplicación.