Creo que ya lo solucione, ya me cambia el color del texto correctamente y me mantiene por ejemplo el estado de los checkbox, imagenes etc,
Aqui encontre una de las soluciones, y aparte cambie algunas lineas en el getView del adapter.
Con esto se me soluciono.
View v = convertView;
ViewHolder holder;