Nota importante: Esta función está disponible en Preview para clientes seleccionados. Durante la fase de Preview se puede acceder a AI Agent Observability desde la AI Agent Platform. Cuando se alcance la General Availability (GA), la experiencia se trasladará al CXA Operations Center (antes AI Trainer).
- Resumen
- En qué se diferencia
- Cómo ayuda la AI Agent Observability
- Funciones clave
- Impacto
- Resolución de problemas más rápida
- Mejores decisiones de optimización
- Visibilidad operativa
- Información importante
Resumen
AI Agent Observability ofrece a los administradores y supervisores una visibilidad de extremo a extremo sobre cómo los AI Agents gestionan las interacciones con los clientes. A través de esta vista, los equipos pueden revisar conversaciones pasadas del AI Agent, validar el comportamiento, auditar el rendimiento y tomar decisiones de formación fundamentadas en interacciones reales.
Durante la fase de Preview se puede acceder a Session History desde la AI Agent Platform. Cuando se alcance la General Availability, la experiencia se trasladará al CXA Operations Center (antes AI Trainer), ofreciendo un lugar único y coherente para observar y analizar la actividad del AI Agent en todos los canales.
En qué se diferencia
Hasta ahora, los equipos han tenido una visibilidad limitada de lo que ocurría dentro de una sesión del AI Agent. Revisar los resultados a menudo requería recopilar información de múltiples herramientas, lo que dificultaba comprender por qué una interacción finalizaba de cierta manera o cómo el AI Agent llegaba a una respuesta determinada.
Esta falta de visibilidad ralentizaba la resolución de problemas, complicaba el control de calidad y limitaba la capacidad de los formadores para mejorar continuamente el rendimiento del AI Agent.
Cómo ayuda la AI Agent Observability
Agent Observability reúne todos los datos relevantes de una interacción en una vista única y estructurada. Los administradores y supervisores pueden encontrar rápidamente las Sessions importantes, analizar en detalle cada turno de la conversación y comprender el razonamiento del AI Agent paso a paso.
Session History ofrece el contexto necesario para actuar con seguridad, ya sea para investigar un error específico, validar un cambio reciente en la configuración o identificar oportunidades de formación.
Funciones clave
Session History
La vista de Session History muestra las interacciones recientes del AI Agent con los datos clave necesarios para hacer un análisis rápido:
- Contact and Channel: El identificador del cliente y el canal utilizado (Voice, WebChat, WhatsApp, Digital Connect, API, Autopilot y más).
- Agent Orchestrator: El orquestador que gestionó la interacción (por ejemplo, Gestión de la cuenta, Información de envío, Preguntas frecuentes).
- Date/Time & Duration: Cuando ocurrió la sesión y cuánto tiempo duró.
- End of Automation: El resultado de la sesión (Completed, Escalated, Timeout, Error o Hangup).
- End count: Un indicador rápido de cuántos errores ocurrieron durante la sesión.
Haga clic en Details en cualquier fila para abrir la vista de la sesión completa. Utilice Export para descargar un archivo CSV con todas las interacciones que coinciden con los filtros aplicados. Las exportaciones están limitadas a las primeras 100 000 interacciones.
Filtrado avanzado
Para facilitar la navegación en altos volúmenes de interacción, el Session History incluye un panel de filtro flexible. Los usuarios pueden reducir los resultados por:
- When: Last 24 hours, Last 7 days, Last 14 days, Last 30 days, All time o un rango de fechas personalizado. El valor por defecto es Last 7 days.
- Channel: Voice, Chat, SMS, entre otros.
- Agent Orchestrator: Filtra por los orquestadores específicos que gestionaron la interacción.
- End of Automation: Escalated, Completed, Timeout, Error o Hangup.
- Include simulations: Un conmutador. Cuando está activado, las Sessions creadas en el simulador del AI Agent aparecen en la lista, en los análisis y en las exportaciones. Desactivado por defecto.
- Avg Response Time: muestra solo las Sessions cuyo tiempo medio de respuesta es superior al valor seleccionado: "> 3s", "> 5s" o "> 10s".
- Guardrails: Cualquier barrera de protección activada o ninguna barrera activada.
- Guardrail type: Uno o varios tipos de barreras de protección.
Los filtros se pueden combinar, borrar de forma individual o restablecer todos a la vez.
- Utilice el cuadro de búsqueda para encontrar una sesión por Contact ID o Interaction ID.
Estado de End of Automation
El estado de End of Automation describe cómo finalizó una sesión.
| Estado | Significado |
| Completed | El AI Agent ha finalizado la gestión de la sesión. |
| Error | Un error ha finalizado la sesión |
| Escalated | Transferida fuera de la automatización |
| Timeout | La sesión ha finalizado porque el contacto ha dejado de responder |
| Hangup | El contacto se ha desconectado antes de que finalizara la automatización |
Session Details, Insights y Errors
Al abrir una sesión, se muestra la conversación completa, turno por turno, junto con información contextual como Interaction ID y Session ID. Dos vistas dedicadas facilitan el análisis:
- Insights: Destaca momentos clave de la conversación, incluidos los flujos de trabajo utilizados, las entradas y salidas, y las decisiones notables tomadas por el AI Agent.
- Errors: Enumera los errores y advertencias que ocurrieron durante la sesión para facilitar la resolución de problemas.
- Latency Summary: Muestra dónde se emplea el tiempo de respuesta a lo largo de la sesión y en cada turno. Para más información, consulte la sección "Latency Summary".
Latency Summary
La pestaña Latency Summary muestra dónde se emplea el tiempo de respuesta en una sesión. Aparece junto a la pestaña Transcript en Session Details:
- En Session History, seleccione Details de una sesión.
- Seleccione la pestaña Latency Summary.
La pestaña incluye los siguientes elementos:
- Datos de Latency media: Los valores medios por sesión de Response time, STT Latency, LLM Latency, TTS Latency y Skill execution Latency.
- Desglose por turno: Una barra apilada horizontal por turno, dividida en STT, LLM, TTS y Skill execution. Un menú desplegable muestra All Turns o Last 5 Turns.
- Tiempo de sesión y turnos: Tiempo total de la sesión y número de turnos.
Nota: La Latency STT y TTS se aplican solo a los turnos de voz.
Session Insights y Guardrails
Session Insights es un panel que se ubica sobre la lista de sesiones. Utiliza los filtros seleccionados en Session History. La sección Guardrails en este panel resume con qué frecuencia se activan las barreras de protección.
La sección Guardrails incluye los siguientes elementos:
- Guardrail Hits by Type: Un gráfico de barras jerárquico que clasifica los tipos de barrera de protección según el número de coincidencias.
- Guardrail Hits Over Time: Un gráfico de barras diario. Utilice la opción Group by para mostrar All, By AI Agent o By version.
Cuando ninguna barrera de protección se activa, la sección muestra "No guardrail policies triggered".
Nota: A medida que la plataforma admita nuevos tipos de barreras de protección, estos aparecerán en los gráficos y en el filtro Guardrail type.
Exportación del informe de Guardrail
El informe contiene una fila por cada activación de barrera de protección, con el último mensaje del cliente antes de la activación y cómo finalizó la sesión.
El informe incluye las siguientes columnas:
- interaction_id: El identificador de interacción.
- ai_agent_orchestration: El nombre y la versión del AI Agent, por ejemplo "Scheduling v2.4".
- guardrail_type: El tipo de barrera de protección que se activó.
- last_customer_message_before_the_hit: El mensaje del cliente antes de que se activara la barrera de protección.
- end_of_automation: Cómo finalizó la sesión.
- timestamp: La marca de tiempo de la activación.
El informe respeta el rango de fechas seleccionado, el AI Agent y los filtros de barrera de protección. Si hay más coincidencias de las que puede contener el informe, el cuadro de diálogo mostrará un mensaje para reducir el rango de fechas o los filtros.
Cadena completa de Thought
Para comprender mejor el comportamiento del AI Agent, el panel Thoughts muestra la cadena completa de Thought que hay detrás de cada turno. Esto incluye:
- El mensaje del usuario que inició el turno.
- La secuencia de decisiones y transiciones del agente (por ejemplo, Agent Retail Better Experience → Identify Customer Agent).
- Skill calls ejecutadas, con sus entradas y salidas.
- Razonamiento intermedio generado por el AI Agent.
- El mensaje final devuelto al cliente.
Esta visualización ayuda a los equipos a confirmar que el AI Agent sigue la lógica esperada, diagnosticar resultados inesperados y ajustar las configuraciones con precisión.
Impacto
Resolución de problemas más rápida
Los errores, la Latency y el razonamiento completo están disponibles en un solo lugar, lo que reduce el tiempo necesario para identificar la causa raíz de un problema y aplicar una solución. Latency Summary muestra qué componente ralentizó un turno.
Mejores decisiones de optimización
Al revisar las interacciones reales del AI Agent de principio a fin, los administradores y supervisores pueden identificar patrones, validar el comportamiento después de los cambios de configuración y priorizar las mejoras de mayor impacto.
Visibilidad operativa
La visibilidad unificada en las Sessions del AI Agent ofrece a los administradores y supervisores una visión consistente y auditable de las interacciones automatizadas (dentro de la AI Agent Platform durante la Preview y en CXA Operations Center en la GA). El informe de barreras de protección respalda las revisiones de cumplimiento y auditoría.
Información importante
- AI Agent Observability está disponible en Preview para clientes seleccionados.
- Durante la fase de Preview se puede acceder a Session History desde la AI Agent Platform.
- Cuando se alcance la General Availability, la experiencia se trasladará al CXA Operations Center (antes AI Trainer).