Evaluación del rendimiento del Agente IA

Hemos preparado una nueva sección de estadísticas que te permitirá realizar un seguimiento del rendimiento de tu Agente IA y te ayudará a entender cómo ajustar su comportamiento de la mejor manera.

Podrás supervisar la calidad de las respuestas y los resultados de la automatización, garantizando que tus clientes reciban un servicio excelente. Para ello, ve a "Estadísticas" > "Agente de IA".

Puedes seleccionar el período que deseas analizar para evaluar el rendimiento del Agente IA: hoy, ayer, los últimos 7 días, los últimos 30 días o un período personalizado.

Junto a cada métrica, verás un porcentaje que representa el cambio del indicador en comparación con el período anterior de la misma duración.

A continuación, describimos cada bloque de estadísticas:

Porcentaje de diálogos sin agente#

Representa la proporción de chats que el Agente IA cerró de forma autónoma, sin solicitar la participación de un agente. Cuanto mayor sea este indicador, con menor frecuencia será necesaria la ayuda de un empleado para resolver la consulta del cliente.

El bloque establece un objetivo del 75 %. Según nuestras investigaciones, este se considera un nivel de automatización madura.

Recomendamos evaluar este indicador junto con los bloques "Calidad de las soluciones" y "Evaluación de la calidad del servicio". Esto te permitirá comprobar si el Agente IA está proporcionando una respuesta adecuada cuando cierra el chat por sí mismo.

Tiempo ahorrado#

Muestra la suma de la duración de los chats cerrados sin la participación de un empleado, es decir, cuántas horas de trabajo se ahorraron los agentes.

El equivalente de empleados se calcula de la siguiente manera:

horas ahorradas / (8 × número de días del período seleccionado)

Cuanto mayor sea el valor de esta métrica, mayor será la carga de trabajo potencial que el Agente IA ha reducido para el equipo. Sin embargo, ten en cuenta que la duración de un diálogo no siempre corresponde al tiempo de trabajo efectivo de un empleado. Recomendamos analizar este valor junto con el volumen de diálogos.

Duración media del diálogo#

Se calcula como el tiempo transcurrido desde el primer mensaje del cliente hasta el final del diálogo. En este bloque se compara la duración media de los chats atendidos exclusivamente por el Agente IA con la de los chats en los que participó un agente.

Ten en cuenta que la duración también incluye el tiempo que el cliente tarda en responder.

Recomendamos evaluar este parámetro junto con "Calidad de las soluciones", ya que los diálogos demasiado cortos pueden indicar que el problema del cliente no se resolvió.

Tiempo de la primera respuesta#

Muestra el tiempo medio entre el mensaje del cliente y la primera respuesta. Al igual que en el bloque anterior, aquí se compara el indicador de los chats atendidos exclusivamente por el Agente IA con el de los chats en los que participó un agente.

Cuanto menor sea el valor, más rápido recibirá el cliente una respuesta a su solicitud. Para evaluar la utilidad de estas respuestas, recomendamos analizar esta métrica junto con "Evaluación de la calidad del servicio".

Evaluación de la calidad del servicio#

La IA analiza el diálogo con el cliente y le asigna una puntuación de 0 a 5. Solo se tienen en cuenta los diálogos en los que participó el Agente IA. En el análisis se consideran:

• Contexto del diálogo.
• Tono del cliente.
• Negatividad o agradecimiento.
• Insatisfacción implícita.
• Sarcasmo y agresividad pasiva.
• Resultado final, si el diálogo incluyó varios temas.
• Aspectos lingüísticos y culturales de la comunicación.

Un diálogo puede recibir una puntuación de "0" si no fue posible identificar las emociones del cliente, si el diálogo fue poco informativo o no estaba relacionado con el objetivo de la interacción, o si el Agente IA no está seguro de la precisión de la evaluación.

La evolución de este indicador puede ayudar a evaluar los cambios en la base de conocimientos o en la configuración del Agente IA.

Importante: esta evaluación la realiza la IA, no el propio cliente.

Estado de ánimo de los diálogos#

La IA analiza el estado de ánimo del cliente en un diálogo que se cerró sin la participación de un agente. Se identifican tres estados: positivo, neutral y negativo.

Si no es posible determinar el estado de ánimo, se asigna la clasificación "Neutral".

El estado de ánimo no siempre corresponde a la calidad de la solución, pero puede servir como indicador de problemas relacionados con la calidad de las respuestas o con la percepción que el cliente tiene del producto.

Calidad de las soluciones#

Este bloque evalúa el resultado de la interacción con el Agente IA: si el cliente recibió una solución a su problema y si los siguientes pasos le quedan claros. Hay tres clasificaciones: "Completamente resuelto", "Parcialmente resuelto" y "No resuelto".

Completamente resuelto: el cliente recibió una respuesta a su pregunta principal. La respuesta es correcta y suficiente para resolver su necesidad.

Parcialmente resuelto: el cliente recibió ayuda, pero no fue suficiente. Por ejemplo:

• Solo se resolvió una parte del problema.
• La respuesta fue demasiado general.
• Se omitió un detalle importante en la respuesta.
• El cliente no recibió suficiente información.

No resuelto: el cliente no recibió una solución. Por ejemplo:

• No hubo respuesta o la respuesta no estaba relacionada con el problema.
• El Agente IA utilizó datos no verificados o realizó acciones no confirmadas.
• El cliente abandonó el chat antes de recibir una respuesta.
• Era necesario transferir la conversación a un agente, pero el cliente no recibió una solución.

Importante: en este parámetro, la IA evalúa el resultado para el cliente, no la cortesía ni el tono de la comunicación. El agradecimiento del cliente tampoco significa siempre que su solicitud se haya resuelto por completo.

Esta métrica permite evaluar la calidad de la automatización e identificar cuándo el Agente IA realmente ayuda a los usuarios, en lugar de simplemente cerrar el chat.

Top 5 motivos de transferencia#

Los principales motivos por los que el Agente IA solicita la participación de un agente humano en el diálogo. El bloque muestra los 5 motivos más frecuentes durante el período seleccionado.

Los posibles motivos incluyen:

• El cliente solicitó un agente.
• Tema fuera de la base de conocimientos: el Agente IA no encontró la información necesaria en la base de conocimientos disponible.
• Solicitud compleja: la pregunta del cliente es demasiado compleja para que el Agente IA la resuelva de forma autónoma.
• Queja del cliente: el visitante presenta una queja explícita o solicita que la situación sea escalada.
• Insatisfacción del cliente: el usuario está irritado o insatisfecho, aunque no lo exprese directamente.
• Se requiere una evaluación experta: es necesaria la evaluación profesional de un agente.
• Pagos y reembolsos: la cuestión está relacionada con pagos, cargos, suscripciones, reembolsos, códigos promocionales o saldo.
• Se requiere una acción del agente: es necesario realizar una acción que solo puede llevar a cabo un agente. Por ejemplo, modificar un pedido, registrar una solicitud o actualizar datos.
• Solicitud no compatible: el Agente IA no admite este tipo de consultas o están fuera de su ámbito de competencia, por ejemplo, preguntas sobre otro producto o servicio.
• Verificación de datos internos: es necesario que un agente verifique información, como el estado de un pedido, una entrega, una reserva, etc.
• Solicitud poco clara: el Agente IA no puede determinar exactamente qué necesita el cliente.
• Políticas y restricciones: la solicitud del cliente incluye cuestiones que la IA no debe interpretar ni decidir de forma autónoma.
• No está seguro de la respuesta: el Agente IA entiende la solicitud, pero no está seguro de poder proporcionar una respuesta correcta.
• Otro.

Estos motivos ayudan a comprender cómo mejorar las respuestas del Agente IA. Por ejemplo, si aparece "Tema fuera de la base de conocimientos", puede ser una señal de que es necesario mejorar los documentos y la información disponibles para el Agente IA.

Evolución de la automatización#

El gráfico muestra cómo ha cambiado la proporción de diálogos cerrados sin la participación de un agente en comparación con los que fueron transferidos a un agente.

Al analizar el rendimiento del Agente IA, recomendamos evaluar todos los indicadores en conjunto, en lugar de basarse en un único criterio.

Un buen resultado de automatización incluye tanto el cierre autónomo de los diálogos por parte del Agente IA como una alta calidad de las soluciones y una valoración positiva del estado de ánimo de los clientes.

¡Experimenta con diferentes configuraciones y mejora la eficiencia del Agente IA para que aporte el máximo valor a ti y a tus clientes!