[ CONSULTA ] DxOmark de la fiabilidad en puntuaciones. La objetividad, ese animal fantástico

[caraconejo]

Marques Brown Lee cuestiona la objetividad de DxOMark, que publicó un vídeo donde habló de "la verdad tras calificaciones sobre smartphones de DxOMark".

El youtuber menciona que en sus puntuaciones "intentan ser lo más objetivos que pueden", utilizando diferentes pruebas para determinar la calidad de un dispositivo. El problema es que DxOMark combina las subcategorías, pero no haciendo una media entre todos los apartados, sino utilizando un algoritmo que determina qué es más importante para esa cifra global. Quizá otorgue más valor al color o al zoom, todo depende del software utilizado por la consultora. "La decisión de cómo ordenan lo que tiene importancia es algo es algo subjetivo", explica Brownlee.

La objetividad, ese animal fantástico
"Es muy difícil hacer algo a la perfección porque siempre hay criterios subjetivos", explica a eldiario.es Rubén Sánchez, periodista y portavoz de FACUA. El defensor de los consumidores asegura que fiarse de estas clasificaciones es como "cuando decides leer un periódico u otro", ya que "la información puede estar comprada y tú no lo sabes".

En la misma línea se sitúa Ángel Barbero, quien opina que "las valoraciones de tecnología han estado pervertidas durante años por ser una manera de hacer negocio". El profesor del EAE Business School señala que esta es la forma que tienen muchos medios para "monetizar sin mostrar publicidad o hacerlo de forma encubierta".

Entonces, ¿debemos tomar las puntuaciones como referencias? "Nosotros ni lo aconsejamos ni dejamos de aconsejar, porque es bastante complicado trasladar un criterio de fiabilidad a estos casos", indica Sánchez. Continúa diciendo que ante el análisis de un producto existen tres opciones posibles: "que lo haya pagado la compañía de turno, que el periodista no tenga criterio y que sea un estudio de poca calidad, o que esté bien hecho".

El inconveniente, según Barbero, es que "las pruebas las realiza una persona que no es científico y que no ha establecido un modelo que todo el mundo considere un estándar". Por ello, en ocasiones las reviews muestran cosas que "se convierten en incompatibilidades", dice el docente. Además, cree que, si quien analiza el producto lo hace en base como a este le parece, "al final condiciona mucho qué persona haga el test".

En el caso de DxOMark, como aclara Sánchez, el inconveniente es "que la ponderación parte de una premisa incorrecta". Entonces, ¿son culpables los medios que le utilizan como referencia? "Quizá el periodista no tiene culpa de que esté o no pagado, pero publica algo de una página que puede subvencionada pensando que está basado en estudios solventes", expone el defensor del consumidor.

Aun así, la información tergiversada y sujeta a intereses empresariales no es algo nuevo en el sector. Según Sánchez, "ahora tenemos todo en Internet. ¿Que esa información puede estar tergiversada? Sí, pero eso ha pasado toda la vida". Ángel Barbero también cree lo que las publicaciones tradicionales de ordenadores funcionaban de esa manera: "tú me compras publicidad y yo voy a hablar de tu último portátil o pantalla para decir que es la leche".

Cuando los analistas son también consultores
Otro de los aspectos señalados por Marques Brownlee es que DxOMark también trabaja como una consultora. Es decir, que asesora a los fabricantes sobre cómo deben construir sus dispositivos para obtener el mayor rendimiento posible. Para el portavoz de FACUA, esto es "elaborar los productos a la manera de quien va a promocionarlo".

Como apunta Barbero, la estrategia de grandes compañías de análisis, como puede ser Gartner, también se basa en que las empresas paguen para participar en sus estudios. "En algunos casos hay una perversión del modelo: el fabricante al que estoy valorando también es mi cliente", dice el profesor. Además, esto también condiciona la dureza de las críticas: "no pueden destructivas, porque quieren que cuando saquen algo nuevo vuelvan a pagarles", sostiene.

Conseguir la mayor nota posible se convierte en un círculo vicioso entre fabricantes y consultoras: los primeros dependen de los segundos y viceversa. El docente del EAE Business School explica que llega un momento en el que "los test de mercado están tan estandarizados" que las marcas prepararan sus productos "conscientemente para que funcionen bien en ellos".

¿Tenemos los usuarios la culpa?
En la era de los 140 caracteres (o quizá 280) existe un problema derivado de la inmediatez: buscamos la información directa y sin rodeos. "Tenemos una saturación de información", piensa Sánchez. Menciona además que "antiguamente te comprabas una o dos revistas y a lo mejor consultabas con el vendedor de turno", pero eso ha cambiado. Para destacar en un océano de datos, los medios especializados ofrecen puntuaciones basadas en cifras y conclusiones divididas entre "pros" y "contras". Es una forma más inmediata, pero también más superficial.

"Tenemos parte importante de culpa, porque cuando vamos a comparar dos tecnologías necesitamos elementos objetivos para hacerlo", dice Ángel Barbero. Buscar la excelencia en determinadas especificaciones deriva en una competición por obtener lo que, sobre el papel, destaca como más vanguardista. Esto no solo ocurre con smartphones, también con videojuegos, televisores, ordenadores, o incluso con automóviles. "Es como el que compra un coche de ocho cilindros en vez de seis porque son más", pone de ejemplo el docente.

Entonces, ¿cómo evitar ser engañado? El defensor de los consumidores destaca un factor que define como vital: la transparencia. "Es clave, ya que se tienen que conocer con exactitud los elementos que utiliza esa empresa para elaborar sus reportajes", explica. También lo piensa Barbero, ya que quizá el analista está valorando factores que para el usuario carecen de importancia. "Quizá estás teniendo en cuenta cómo genera 3D o realidad virtual, pero yo nunca voy a utilizar el móvil para esto y entonces me da igual", menciona el profesor.

Las necesidades de cada persona son distintas, algo que también se traslada al tipo de dispositivo que pueden buscar. Según el docente del EAE Business School, "es difícil hacer un único criterio genérico para todo el mundo, porque luego valoramos con prioridades diferentes". Prioridades llenas de matices que, por muy objetivo que sea el estudio, difícilmente se transmiten con una cifra.

Artículo de 2017, Por qué no te tienes que fiar de las puntuaciones al comprar tecnología

[NixxxoN]

En la encuesta falta la opción "No" a secas

[elmonti]

Por eso yo recurro a GSMArena para comparar móviles, una página que fotografía siempre los mismos sitios y te permite ver el archivo "real" con sus datos de ISO, Mpx, hacer zoom, descargarlo, etc. y no una simple miniatura en un vídeo. Está claro que lo mejor sería tener ambos móviles y que tú fueras haciendo fotos y comparando, pero como esto es imposible, pues lo que más se acerca es eso...

[molina22]

 Cita: Originalmente Escrito por elmonti

Por eso yo recurro a GSMArena para comparar móviles, una página que fotografía siempre los mismos sitios y te permite ver el archivo "real" con sus datos de ISO, Mpx, hacer zoom, descargarlo, etc. y no una simple miniatura en un vídeo. Está claro que lo mejor sería tener ambos móviles y que tú fueras haciendo fotos y comparando, pero como esto es imposible, pues lo que más se acerca es eso...

Totalmente de acuerdo, además dxomark a veces se lían con los zooms.

[Johny1979]

Y no hay votos para:

Si cuando gana mi marca favorita

No, cuando pierde mi marca favorita.

Hay que tenerlos cuadrados

Por qué la percepción de una gran mayoría la gente de Dxomark es esa, solo es válida cuando gana su marca y maletines cuando pierde.

Sólo hay que ver los comentarios de las noticias generales y las contradicciones de los mismos usuarios dependiendo de las puntuaciones y marcas.

Yo me mantengo firme desde siempre y es que Dxomark es la página más reputada en análisis fotográficos, ya sea en compactas, DSLR, objetivos y fotografía móvil.

Eso no significa que siempre esté de acuerdo con las puntuaciones finales, pero me parece una gran opción para saber las capacidades fotográficas de tu móvil.

 Cita: Originalmente Escrito por NixxxoN

En la encuesta falta la opción "No" a secas

Esperaba una argumentación más elaborada, pero en fin....

[Edu5]

DxOmark es una página que nunca visito a la hora de comprar un smartphone, prefiero ver fotografías del terminal en otras webs y juzgar por mí mismo o directamente, si puedo, probar los terminales que me puedan interesar. De todas formas, la fotografía es muy subjetiva.

[tetsuoshima41]

Me da exactamente igual lo que diga esa página. Es como hacer un benchmark fotográfico, algo (los benchmark en general) que tampoco me dicen nada. Lo importante es lo que a cada usuario le trasmita cada terminal según su uso particular

Un saludo

[jotinga]

A partir de que tasa de acierto se considera "fiable"? En fin, es igual. Yo tb soy partidario de juzgar a partir de fotos de usuarios y hacerlo por mi mismo, sin embargo creo que cuando hay una diferencia grande entre la puntuación de dos smartphones en dxomark, efectivamente uno es mejor que el otro. Tb creo que cuando las diferencias son pocas, la mano del fotógrafo será la que determinará el resultado.

Lo que no es fiable son los cuñados, haters y fanboys... Bueno, menos fiables que dxomark, que almenos hacen pruebas e intentan estandarizar.

Yo sí lo he consultado y encuentro que ofrece información útil. Tb hay que entender cómo se hacen las pruebas y de dónde salen los números.

[NixxxoN]

 Cita: Originalmente Escrito por Johny1979

Y no hay votos para:

Si cuando gana mi marca favorita

No, cuando pierde mi marca favorita.

Hay que tenerlos cuadrados

Por qué la percepción de una gran mayoría la gente de Dxomark es esa, solo es válida cuando gana su marca y maletines cuando pierde.

Sólo hay que ver los comentarios de las noticias generales y las contradicciones de los mismos usuarios dependiendo de las puntuaciones y marcas.

Yo me mantengo firme desde siempre y es que Dxomark es la página más reputada en análisis fotográficos, ya sea en compactas, DSLR, objetivos y fotografía móvil.

Eso no significa que siempre esté de acuerdo con las puntuaciones finales, pero me parece una gran opción para saber las capacidades fotográficas de tu móvil.



Esperaba una argumentación más elaborada, pero en fin....

Ese tema ya se ha hablado muchas veces, ya paso de perder más el tiempo.

Solo ponte a la sección de comentarios de muchos análisis en la misma página y verás la cantidad de rajadas que hay
Que encima luego unos llamados expertos en fotografía se pusieran a analizar el audio y las pantallas es ya la leche... les gustan los maletines y quieren aún más.

[Johny1979]

 Cita: Originalmente Escrito por NixxxoN

Ese tema ya se ha hablado muchas veces, ya paso de perder más el tiempo.

Solo ponte a la sección de comentarios de muchos análisis en la misma página y verás la cantidad de rajadas que hay
Que encima luego unos llamados expertos en fotografía se pusieran a analizar el audio y las pantallas es ya la leche... les gustan los maletines y quieren aún más.

Los que analizan audio y pantallas son redactores y reviewers completamente distintos a los de fotografía.

Cada uno tiene su sección y joder nixxxon esto ya lo sabes como para soltar la simpleza de los maletines.

Creo que tienes más conocimiento tecnológico que decir maletines y quedarte tan ancho.

[NixxxoN]

 Cita: Originalmente Escrito por Johny1979

Los que analizan audio y pantallas son redactores y reviewers completamente distintos a los de fotografía.

Cada uno tiene su sección y joder nixxxon esto ya lo sabes como para soltar la simpleza de los maletines.

Creo que tienes más conocimiento tecnológico que decir maletines y quedarte tan ancho.

Esos redactores siguen estando dentro de dxomark. DXOMARK IMAGE LABS se llama la empresa, especializados en imagen y fotografia.
Pero bueno, también se meten en audio y otras cosas, todo sea para recudar pasta.
Ahora que Leica se ha ido de juaguey me pregunto si seguirán dandole la máxima puntuación año tras año.

[Mark96]

 Cita: Originalmente Escrito por NixxxoN

Esos redactores siguen estando dentro de dxomark. DXOMARK IMAGE LABS se llama la empresa, especializados en imagen y fotografia.
Pero bueno, también se meten en audio y otras cosas, todo sea para recudar pasta.
Ahora que Leica se ha ido de juaguey me pregunto si seguirán dandole la máxima puntuación año tras año.

Nixxxon, no has catado un Juaguey en tu vida, mucho menos un Huawei (no clon chinorri) y vas soltando que si ahora que no están o que si Leica ya no colabora, les van a seguir puntuando alto?
Es que es de risa tío y más con un leeco que su cámara debe ser un truño de los grandes jaja.
Huawei les sacó las vergüenzas a Samsung y a Apple...

[Simmpson]

 Cita: Originalmente Escrito por Mark96

Nixxxon, no has catado un Juaguey en tu vida, mucho menos un Huawei (no clon chinorri) y vas soltando que si ahora que no están o que si Leica ya no colabora, les van a seguir puntuando alto?
Es que es de risa tío y más con un leeco que su cámara debe ser un truño de los grandes jaja.
Huawei les sacó las vergüenzas a Samsung y a Apple...

Verguenza es la que no tienes tu ,el va con el Leeco por que quiere,tu vas con el F3 por que no puedes aspirar a nada mejor por mucho que ahora llorando digas que si,la camara del Leeco es un truño para ser del 2016,pero es que las del F3 ya eran un truño hace 3 años cuando se montaban en telefonos como el Mi 9T,Imaginate a dia de hoy,si es que nada mas que el ultra gran angular de 8mpx es peor que el del Mi9T,vamos,es el mismo que montan telefonos de 119 euros como el Redmi 9.

Así que si lo criticas por eso,aplícate el cuento muchacho que tienes por qué callar

[tetsuoshima41]

Otro hilo con discusiones absurdas? Qué pereza...

[m1ja1l]

 Cita: Originalmente Escrito por elmonti

Por eso yo recurro a GSMArena para comparar móviles, una página que fotografía siempre los mismos sitios y te permite ver el archivo "real" con sus datos de ISO, Mpx, hacer zoom, descargarlo, etc. y no una simple miniatura en un vídeo. Está claro que lo mejor sería tener ambos móviles y que tú fueras haciendo fotos y comparando, pero como esto es imposible, pues lo que más se acerca es eso...

El tema es que las fotos también pueden ser manipuladas de mil maneras. Basta con que la foto haya sido tomada desde un ángulo algo diferente o un día con distintas condiciones lumínicas para alterar el resultado completamente, por ejemplo. Y eso sin mencionar otras mil variables que pueden afectar a la calidad de las fotos como la configuración de la cámara, la versión de firmware o la mano del propio fotógrafo.

No te estoy diciendo que las fotos de GSMArena no sirvan para nada, ¿eh? De hecho yo también les doy bastante valor a sus reviews, pero nadie tiene una fiabilidad total ni por asomo.

Saludos

[NixxxoN]

 Cita: Originalmente Escrito por Mark96

Nixxxon, no has catado un Juaguey en tu vida, mucho menos un Huawei (no clon chinorri) y vas soltando que si ahora que no están o que si Leica ya no colabora, les van a seguir puntuando alto?
Es que es de risa tío y más con un leeco que su cámara debe ser un truño de los grandes jaja.
Huawei les sacó las vergüenzas a Samsung y a Apple...

Si no recuerdo mal. Hace años a Huawei le dieron la mejor puntuación en resolución y en zoom, porque tenía los mejores en ambas categorías.
Luego aparece el S20 ultra que le supera en ambas cosas de forma indiscutible y es el mejor del mercado en las dos cosas... vaya, no le dan la mejor puntuación en ninguna de las dos cosas.
Un año después aparece el S21 ultra que es mejor a su precedesor, y van y le dan aún peor puntuación que el anterior

Por no hablar de otras marcas secundarias que no tienen pasta para darles y las puntuaciones son de risa. Hay muchos ejemplos de ello. Lo de las punuaciones de esa gente huele que apesta y huele a kilometros.

Pero bueno, venga, ya pasó

[Frescoli]

Dxomark no vive del aire ni es entidad pública. Mientras dependa del sector privado valorará conforme al que mejor pague.

[Frescoli]

 Cita: Originalmente Escrito por NixxxoN

Esos redactores siguen estando dentro de dxomark. DXOMARK IMAGE LABS se llama la empresa, especializados en imagen y fotografia.
Pero bueno, también se meten en audio y otras cosas, todo sea para recudar pasta.
Ahora que Leica se ha ido de juaguey me pregunto si seguirán dandole la máxima puntuación año tras año.

La gente estaba equivocada con lo de Leica. Leica autorizo un tipo de recubrimiento en la lente de su propiedad( creo que era summilux) y luego una empresa externa elegida por Huawei fabricaba las lentes siguiendo los estandares de Leica. Posteriormente Huawei incluía un filtro de color en la app de la cámara que emulaba los "colores leica". Nunca lo usé.

Este tipo de etiquetas vende mucho. Un objetivo barato de cámara reflex , el de 35mm, fabricado por leica vale casi 5000€.

[jav1er]

 Cita: Originalmente Escrito por Frescoli

La gente estaba equivocada con lo de Leica. Leica autorizo un tipo de recubrimiento en la lente de su propiedad( creo que era summilux) y luego una empresa externa elegida por Huawei fabricaba las lentes siguiendo los estandares de Leica. Posteriormente Huawei incluía un filtro de color en la app de la cámara que emulaba los "colores leica". Nunca lo usé.

Este tipo de etiquetas vende mucho. Un objetivo barato de cámara reflex , el de 35mm, fabricado por leica vale casi 5000€.

¿Tienes fuente de lo que dices?

Copio parte de un comunicado oficial de cuando iniciaron la alianza:

https://m.dpreview.com/news/78284733...-camera-design

“The P9 and P9 Plus were co-engineered between Huawei and Leica. This is the first collaboration between the two companies following a long-term partnership that was announced in February. From the very beginning, Leica has been deeply involved in the development of these devices. There has been significant technological collaboration between Huawei and Leica around many aspects of the camera, including optical design, imaging quality, image data processing, optimization, and the mechanical construction of the camera module to the graphic user interface. The devices meet Leica’s highest imaging quality standards.”

Y ojo, que siempre he pensado que había mucho de marketing en la alianza, pero ahí indican claramente que colaboran en el diseño de los objetivos, entre otras cosas.

[tetsuoshima41]

 Cita: Originalmente Escrito por jav1er

¿Tienes fuente de lo que dices?

Copio parte de un comunicado oficial de cuando iniciaron la alianza:

https://m.dpreview.com/news/78284733...-camera-design

“The P9 and P9 Plus were co-engineered between Huawei and Leica. This is the first collaboration between the two companies following a long-term partnership that was announced in February. From the very beginning, Leica has been deeply involved in the development of these devices. There has been significant technological collaboration between Huawei and Leica around many aspects of the camera, including optical design, imaging quality, image data processing, optimization, and the mechanical construction of the camera module to the graphic user interface. The devices meet Leica’s highest imaging quality standards.”

Y ojo, que siempre he pensado que había mucho de marketing en la alianza, pero ahí indican claramente que colaboran en el diseño de los objetivos, entre otras cosas.

Sin conocimiento de nada de esto, pero me ha dado por leer los comentarios de ESE hilo que tú pones y le dan la razón al compi. Nadie se cree que Leica haga nada más que poner el nombre, o eso parece

Un saludo