Mercor se asocia con una organización líder en investigación de IA para evaluar y mejorar cómo los asistentes de codificación razonan, actúan y se comunican durante los flujos de trabajo de desarrollo. Buscamos expertos técnicamente competentes (especialmente con experiencia en revisión de código, pruebas o documentación) para evaluar transcripciones completas de conversaciones de codificación entre usuarios y asistentes de IA. Este compromiso a corto plazo y completamente remoto contribuye a dar forma al futuro de los sistemas de IA que asisten a desarrolladores.

Responsabilidades clave

• Revisar transcripciones extensas de conversaciones entre usuarios y asistentes de codificación basados en IA

• Analizar en detalle la lógica, la ejecución y las acciones declaradas por la IA

• Puntuar cada transcripción utilizando una rúbrica de 10 puntos según múltiples criterios

• Opcionalmente, redactar breves justificaciones citando ejemplos del diálogo

• Detectar discrepancias entre las afirmaciones y las acciones (por ejemplo, decir “Ejecutaré pruebas” pero no hacerlo)

Calificaciones ideales

Perfiles principales:

• Ingenieros Senior o de Staff con amplia experiencia en revisión de código y conocimiento profundo de la ejecución

• Ingenieros de QA con sólidas prácticas de verificación y comprobación de consistencia

Otros perfiles adecuados:

• Desarrolladores Backend o Full-Stack con experiencia en llamadas a funciones, APIs y flujos de trabajo de pruebas

• Profesionales de DevOps o SRE familiarizados con la orquestación de herramientas y el análisis del comportamiento de sistemas

Lenguajes y herramientas:

• Se valorará dominio de Python (la mayoría de las transcripciones están basadas en Python)

• La familiaridad con otros lenguajes como JavaScript, TypeScript, Java, C++, Go, Ruby, Rust o Bash es un plus

• Tener soltura con flujos de trabajo de Git, frameworks de pruebas y herramientas de depuración es valioso

Más sobre la oportunidad

• Remoto y asincrónico: realiza las tareas según tu propio horario

• Debes completar cada lote de transcripciones en un plazo de 5 horas desde que lo inicias (tareas ilimitadas)

• Compromiso flexible basado en tareas con posibilidad de lotes recurrentes

Compensación y términos del contrato

• Tarifas horarias competitivas según la ubicación y la experiencia

• Los contratistas serán clasificados como proveedores de servicios independientes

• Los pagos se emiten semanalmente a través de Stripe Connect

Proceso de solicitud

• Envía tu currículum para comenzar

• Si eres seleccionado, recibirás la documentación de la rúbrica y acceso a la plataforma de evaluación

• La mayoría de los solicitantes recibe respuesta en unos días hábiles

Acerca de Mercor

• Mercor es un mercado de talento que conecta a expertos de primer nivel con laboratorios líderes en IA y organizaciones de investigación

• Entre nuestros inversores se encuentran Benchmark, General Catalyst, Adam D’Angelo, Larry Summers y Jack Dorsey

• Miles de profesionales de los ámbitos legal, ingenieril y de investigación contribuyen a proyectos de IA de vanguardia a través de Mercor

Consideramos a todos los solicitantes que cumplan con los requisitos sin distinción de características protegidas por la ley y ofrecemos ajustes razonables a petición.

APLICA AQUÍ : ****