ESTUDIO SOBRE PREGUNTAS KUDOS CERRADAS SIN PUNTAJE




Kudoz es fundamentalmente un sistema de ayuda mutua entre traductores, donde la mayor experiencia y conocimientos en un campo específico o la capacidad de investigación y deducción de unos, ayuda a otros cuando estos ingresan en ese campo sin ser su especialidad o porque un término les resulta particularmente atípico o porque podría tener varias lecturas. En algún punto de la historia se decidió asignarle puntos a quienes respondieran a las preguntas, seguramente con el afán de promover la participación responsable y una oportunidad para que los traductores demuestren de que son capaces. La asignación de puntos quedó a la discreción y criterio de quién hace la pregunta, criterio que por principio (y causado por la genética humana) tiene una alta probabilidad de ser distinto al de uno. Así, las “injusticias” abundan. Lamentablemente, y a pesar que los puntajes obtenidos por cada traductor no reflejan, muchas veces, el verdadero esfuerzo, seriedad y profundidad con que un traductor responde preguntas, y su real dominio de un campo determinado, el puntaje es un valor que produce el primer impacto, y a veces el único impacto, sobre un evaluador. Generalmente este evaluador (llámese agencia, cliente, buscadores de talento o head hunters, etc.) no dispone de tiempo para revisar exhaustivamente 150 currículums que le llegan, e incluso, tal vez, desconoce las cifras escondidas tras los Kudoz. Estas cifras escondidas están en el trabajo realizado por una persona que responde una pregunta, y que por una u otra razón, válida o no, no obtiene puntos, por lo tanto, es importante que los evaluadores tengan presente que, más importante que los puntos Kudoz, es la forma de trabajo de alguien que responde preguntas lo que entrega información más concluyente. Implica ir a la página de presentación de cada pregunta, donde están las respuestas ofrecidas por cada participante, donde está la discusión alrededor del tema, donde están las discrepancias y donde muchas veces se encuentra una respuesta que fue mal evaluada por quién pregunta, pero para alguien con otro criterio podría ser más válida. Esto no sólo es conveniente para evaluar el trabajo de un traductor sino también es útil para quién revisa el Glosario Kudoz, que en mi opinión personal, no siempre entrega una “correcta” traducción. Y si el término buscado está en otro contexto, con mayor razón se debería profundizar en la discusión alrededor del término, porque podría tener un significado totalmente diferente. Todo lo dicho podría ser otro argumento a favor de eliminar los puntos, sin embargo, tal vez, la asignación de puntos sea el precio a pagar para asegurar la participación. ¿Cómo se podría mejorar la “carta de presentación” del traductor (especialmente aquellos emergentes y que necesitan ampliar su horizonte)? ¿Cómo hacer que el puntaje de Kudoz realmente refleje las capacidades y fortalezas de un traductor? Tal vez una mayor TRANSPARENCIA (con mayúsculas) sea un buen camino en este sentido. La disponibilidad de información para ser analizadas por cualquiera es sin duda el mejor acto de transparencia, pero esta información debe ser elaborada, presentada, y de las conclusiones extraer nuevas estrategias.

Con esto en mente, he desarrollado un estudio estadístico de un área de Kudoz, el que no contribuye plenamente al desarrollo de glosarios y en algunos casos parecía ser mal utilizado: La opción de no otorgar puntaje al hacer una pregunta por puntaje (que no es lo mismo que hacer una pregunta sin otorgar puntaje)

Metodología:
Con el fin de simplificar los siguientes términos se escriben como se indica entre paréntesis:
Asker = el que pregunta, preguntador, persona que pregunta. (PqP).
Answerer = el que responde, respondedor, persona que responde. (PqR).

Se Revisaron los listados de participación en Kudoz de 6 “Personas que Responden (PqR)”. Se seleccionaron 2 con los más altos puntajes, 2 con puntajes altos, 1 con puntaje intermedio y 1 con menos de 300 puntos, entre los líderes en puntaje para un período de 12 meses en la categoría English to Spanish.
Se registró en una tabla para cada “PqR” los siguientes datos:
- Nombre de la “Persona que Pregunta (PqP)”
- País de Residencia del “PqP”¹.
- Razón para cerrar la pregunta sin dar puntos (No acceptable answer; Answer found elsewhere; Other)

Luego se agruparon todos estos datos y se elaboraron los datos por País (número de “PqP” por país que cierran sin dar puntos).
En este estudio no se evalúa si dar puntos, o no darlos, fue “correcto” o no, por cuanto esto es un criterio discrecional de la “PqP”, sin embargo se hizo una revisión en profundidad de cierta cantidad de preguntas y se descubrió algunas cosas dignas de mención que se entregan al final bajo el título de “Observaciones”.
Al revisar las 6692 preguntas de la muestra se encontró que había personas que aparecían repetidamente no otorgando puntos por lo que se hizo una lista de las personas que se repetían 2 ó más veces y se revisó su historial personal como “PqP”.

Estos datos se agruparon de dos formas: 1) por país, siguiendo la línea anterior y 2) por frecuencia individual, esto último para tratar de definir un uso “normal” o habitual o razonable de la opción de no otorgar puntaje.




Nota sobre Representatividad de la Muestra
El total de preguntas revisadas para los 6 “PqR”, correspondiente a un período de 12 meses (15 Oct 07 a 15 Oct 08), da una suma de: 6692 preguntas, algunas de las cuales aparecen repetidas al ser respondidas simultáneamente por más de una “PqR”. Si esta es, o no, una muestra representativa del universo, lo desconozco, ya que desconozco cual es el total de preguntas realizadas entre Octubre 2007 y Octubre 2008 para el par Inglés a Español (Pro), además que el resultado incluye repeticiones².

----------------------------------------------------
¹.- Se eligió este parámetro como variable de comparación, teniendo como hipótesis que la cultura en distintos países podría producir conductas diferentes en relación a otorgar o no puntos en Kudoz. También pueden usarse otras variables como grupos de edad de los “PqP” o años en Proz.com o años de traducción, etc.
².- Entre Oct 16 a Sept 20 se hicieron 1620 preguntas en el par Inglés a español (Pro). Este dato puede ser usado para suponer que el número de preguntas realizadas en 12 meses puede alcanzar un monto de 20.000. En este caso 6.700 preguntas (33.5%) es una muestra más que aceptable.

Universo Estudiado:
Corresponde a Traductores del par English to Spanish; Among top 8 pairs; Translation; Working expertize. Todas las demás categorías son: Any o n/a.
Esto arroja una cifra de 31107 traductores en todo el mundo.


Resultados:

1)
El total de preguntas cerradas sin recibir puntaje para cada uno de los “PqR” de la muestra son:
PqR-1: 47 = 2,3 % del total de preguntas hechas en el plazo de 12 meses.
PqR-2: 41 = 2,6 % del total de preguntas hechas en el plazo de 12 meses.
PqR-3: 22 = 1,7 % del total de preguntas hechas en el plazo de 12 meses.
PqR-4: 34 = 3,6 % del total de preguntas hechas en el plazo de 12 meses.
PqR-5: 15 = 2,3 % del total de preguntas hechas en el plazo de 12 meses.
PqR-6: 7 = 3,7 % del total de preguntas hechas en el plazo de 12 meses.

Estos valores aunque representan la cantidad de preguntas sin puntaje de sólo 6 “PqR”, como representan menos de un 5%, tal vez podrían considerarse “normales” o habituales, pero no dicen si deban o puedan ser menos. Si algún “PqR” presenta dentro de su historial un valor de 10% o superior, tal vez debería revisar la calidad de su trabajo en Kudoz o si está respondiendo preguntas demasiado complejas o tal vez nadie quiere dar puntos en las preguntas que EL responde.


2) Nº de preguntas sin otorgar puntaje según país de las “PqP”.

(ESTA TABLA SE PUEDE VISUALIZAR COMPLETA EN http://muestraweb.webs.com/)

(A) Muestra (B) Proporcion en la Muestra (C) Universo (D) Control (E) Cálculo de Chi² (F) Cálculo de Chi² (G)
País Nº Cierres sin puntuar Porcentaje del Total de Cierres (C/161)*100 Nº Total Miembros par Inglés a Español Porcentaje del Total de Miembros (D/9739)*100 ∑(NºObserv-NºCalc)² /NºCalc o ∑(C-E)² /E (14 g.l) ∑(NºObserv-NºCalc)² /NºCalc o ∑(C-E)² /E (14 g.l)
Argentina 63 39 2013 21 16,49 16,49
Mexico 6 4 670 7 1,44 1,44
Spain 39 24 2461 25 0,04 0,04
Colombia 3 2 199 2 0,02 0,02
Chile 7 4 340 3 0,21 0,21
Italy 2 1 87 1 0,14 0,14
Peru 3 2 159 2 0,03 0,03
Puerto Rico 1 1 73 1 0,02 0,02
Uruguay 11 7 321 3 3,79 3,79
USA 18 11 1625 17 1,82 1,82
Venezuela 3 2 451 5 1,65 1,65
Panama 1 1 118 1 0,29 0,29
Nicaragua 1 1 1 0,01 36,34 Eliminado
UK 2 1 966 10 7,59 7,59
Germany 1 1 255 3 1,52 1,52

Total 161 9739 71,40 35,06
Chi² 1,07569E-09 0,0008291



Conclusiones:

Un valor de Chi² tan pequeño (1,07569E-09 y 0,0008291) indica que hay una alta probabilidad de que las diferencias NO se deben al azar. Esto significa que los valores de Argentina se deben a factores distintos al azar. USA y España también tienen altos valores, pero son proporcionales al universo de Estadounidenses y Españoles en Proz.com.
Esto no significa que todos los Argentinos tengan la tendencia a no otorgar puntajes, o que todos los Argentinos tengan un nivel de exigencia superior a los demás, o que las preguntas que hacen los Argentinos son particularmente difíciles, pueden haber múltiples explicaciones para esto. Como se verá abajo, la “conducta” individual de algunos Argentinos, Uruguayos y Españoles es lo que dispara los índices estadísticos para sus países.




3) Nº de preguntas sin otorgar puntaje según país de las “PqP”, para algunos casos particulares.

(ESTA TABLA SE PUEDE VISUALIZAR COMPLETA EN http://muestraweb.webs.com/)

Nombre (A) País (B) Nº Preguntas Realizadas (C) Nº Cerradas sin dar puntos (D) % sin puntos (D/C)*100 OBS.
XXX Chile 533 9 1,69
XXX Spain 1145 21 1,83
XXX Spain 247 5 2,02
XXX Chile 83 2 2,41
XXX Argentina 1103 27 2,45
XXX Spain 929 31 3,34
XXX Peru 675 24 3,56
XXX Chile 1834 82 4,47
XXX Spain 551 25 4,54
XXX Mexico 949 45 4,74
XXX United States 34 2 5,88
XXX Uruguay 321 19 5,92
XXX Argentina 775 46 5,94
XXX Argentina 89 6 6,74
XXX Argentina 1090 80 7,34
XXX Argentina 180 15 8,33
XXX United States 186 16 8,60
XXX unknown 163 15 9,20 No registrado
XXX Spain 632 61 9,65
XXX Argentina 184 18 9,78
XXX Argentina 315 31 9,84
XXX Chile 9 1 11,11
XXX USA 135 15 11,11
XXX Spain 129 16 12,40
XXX Argentina 60 8 13,33
XXX Argentina 28 5 17,86
XXX Argentina 138 31 22,46
XXX Argentina 16 4 25,00
XXX Argentina 38 12 31,58 Estud
XXX Uruguay 60 40 66,67 Nota abajo


Resumen por País de algunos casos particulares.

(ESTA TABLA SE PUEDE VISUALIZAR COMPLETA EN http://muestraweb.webs.com/)

Argentina 12 11,73 Sin Estud 31,58 %
Chile 4 4,92
Mexico 1 4,74
Peru 1 3,56
Spain 6 5,63
United States 3 8,53
unknown 1 9,20
Uruguay 2 5,92 Sin 66,67 %

Totales 30

1 a 10 % 21 70,00 %
1 a 15 % 25 83,33 %


Conclusiones:

De estos 2 cuadros se puede concluir que un 70 % de los casos examinados cierran preguntas sin dar puntajes en no más de un 10 % de las preguntas realizadas, lo que tal vez se podría considerar una medida “normal” o habitual de esta opción. Si corremos el límite máximo a 15 % de las preguntas, estaríamos abarcando a un 83,33 % del universo de PqP de esta muestra.
Entre las “PqP” individuales con máxima tendencia a no otorgar puntajes tenemos a varios Argentinos que, aunque no superan el 20 %, como son varios, afectan la estadística de su País, haciéndolo aparecer como alejado de la “norma”. El estudiante Argentino es desestimado por su condición de estudiante (si es que efectivamente lo es), sin embargo aún influye.
Nota: El caso Uruguayo llama la atención (no dar puntaje en un 66,67 % de las preguntas realizadas es francamente una costumbre) y no creo que en Proz.com no existan “PqR” que no hayan sido capaces de responder adecuadamente a buena parte de ese 66,67 %.

En esta sección sólo se analizó la “conducta” de 30 personas, una muestra muy pequeña si consideramos que el universo total son 31.107 traductores. Sin embargo, creo que se pueden sacar algunas conclusiones:

- La gran mayoría de los traductores usan la opción de no dar puntaje en no más de un 10-15 % de los casos.
- Hay casos de un uso exagerado de esta opción, lo que debe ser verificado en aquellos casos en que ocurre. Debe haber una explicación en cada caso particular. El estudiante tal vez no se atreva a evaluar, pero para eso está la opción de hacer preguntas “no por los puntos”.



Observaciones:
El haber revisado 6692 preguntas, tal vez un 10 % en profundidad me ha permitido observar algunas tendencias que sugieren lo siguiente:
- Parece ocurrir que las “PqP” al iniciar su actividad en Kudoz tienden a poner puntos al cerrar sus preguntas, pero al transcurrir los meses, por alguna razón, comienzan a aumentar su tendencia a cerrar sin otorgar puntos.
- hay preguntas donde resulta evidente que no hay respuesta aceptable, hay preguntas donde, dependiendo del criterio, al menos una respuesta podría ser aceptable, y hay respuestas que (en mi particular criterio) fueron respondidas acertadamente. Pero esto es una cuestión de criterio. Lamentablemente la “PqP” en la gran mayoría de los casos no expresa por qué las respuestas no son aceptables para él/ella.
- Donde no es una cuestión de criterio, es cuando el argumento es “Answer found elsewhere” y la “PqP” no expresa ni introduce al glosario la respuesta, que según él/ella o su cliente u otro, era la correcta.
En este punto debo llamar la atención sobre la conducta de la traductora María Eugenia Wachtendorff (http://www.proz.com/profile/37522) quién en todas las preguntas que analicé siempre dio una explicación para cerrar sin puntos, introduciendo al glosario el término que en su opinión era la mejor traducción, cuando era posible hacerlo. Este tipo de conducta debiera ser un ejemplo.
- Creo que el esfuerzo que realizan muchos “PqR”, a veces simplemente sacando del sombrero conocimientos que manejan a diario, pero a veces también dedicando horas en la búsqueda de datos y argumentos para respaldar tal o cual interpretación, merece un reconocimiento material, pero sobre todo respeto de parte de aquellos que hacen las preguntas.
- Tal vez se debería poner un límite a la cantidad (proporción) de preguntas sin puntaje que se puedan realizar, pudiendo rebasar este límite sólo en casos calificados.
- Creo que en beneficio del glosario Kudoz debería “exigirse” una explicación al no otorgar puntos.


Richard Pérez
TraductorChile
http://www.proz.com/profile/692804

Pd: La identidad de los individuos usados en este estudio fue borrada por necesidades estadísticas, pero toda la información básica está disponible si la administración de Proz.com desea tenerla.