No, no se puede. De hecho, me dá que pensar que no entiendes bien el funcionamiento de este aparatejo...
Te explico por si acaso, El tema es que, básicamente, lo que haces es enviarle el link de lo que quieras pasar a la tv (ponemos como caso youtube) al chromecast, para eso es por lo que se necesita que estés en la misma red wifi (Cosa que han actualizado y hay otras formas oficiales de hacerlo si no están en la misma red, pero para el ejemplo nos ceñimos a lo fácil). Total, le pasas del movil/tablet el link de youtube al chromecast y este, de forma paralela, se descarga el video y te lo muestra en la TV, no es que el móvil lo descargue y se lo pase por la Wifi al chromecast. De esta forma se entiende que no tiene mucho sentido Chromecast sin acceso a internet.
Hay aplicaciones contadas en las que su funcionamiento no es así, como son el screen mirroring o el compartir una pestaña de chrome desde el PC y lo que hacen es pasar toda la pantalla (la pestaña activa en el caso del PC) por la red wifi a tu chromecast y ahí sí que tendría más sentido tu pregunta, pero no es el principal uso y, de hecho, con ello el consumo de procesador (sobre todo en caso del ordenador) y de bateria (sobre todo en moóviles y tablets) es excesivo!
Espero haberte aclarado un poco!