En resumen
- A todos nuestros usuarios, clientes, distribuidores, proveedores y socios les pedimos una disculpa por la interrupción imprevista de los sistemas y de antemano agradecemos su comprensión, confianza y respaldo.
- Una incidencia de telecomunicaciones obligó a poner en marcha el DRP de Induxsoft, pero dada la complejidad de los sistemas y la cantidad de información tomó más tiempo del deseado recuperar la operatividad total.
- Al momento, todos los sistemas se encuentran operando con normalidad, si está experimentando algún problema por favor póngase en contacto con nuestro equipo de soporte por Chat que estará disponible en horario extendido incluso el domingo.
- Todos los eventos fueron únicamente un reinicio completo de los sistemas de Induxsoft en una fecha complicada que no estaba en nuestro control.
En detalle
Alrededor de las 7:00 PM (hora de la CDMX) del 28 de Mayo una incidencia con los enlaces de telecomunicaciones del centro de datos principal 'Tuxtla 1' degradó rápidamente todos los sistemas en línea de Induxsoft.
A las 8:00 PM después de determinar que el tiempo de solución de nuestros proveedores excedería lo aceptable, se tomó la decisión de poner en marcha el DRP (Disaster Recovery Plan) que implica migrar 'Tuxtla 1' a los centros de datos de Microsoft Azure.
A las 00:00 del 29 de mayo el tráfico total había sido redirigido a la nube de Azure, pero algunos servidores que estaban apagados al encenderse no reconocieron las configuraciones necesarias y por eso los servicios estuvieron disponibles gradualmente en el siguiente orden:
- Sitios Web de contenido al rededor de las 10:00 AM del 29 de Mayo
- Servicios Web de procesamiento de CFDI al rededor de las 3:00 PM del 29 de Mayo
- Aplicaciones de facturación electrónica (R5 y V10) al rededor de las 6:00 PM del 29 de Mayo
- Servicios de validación de licencias al rededor de las 9:00 PM del 29 de Mayo
- Aplicaciones Web (FactuDesk y V12) alrededor de las 11:00 PM del 29 de Mayo
- Portales de proveedores al rededor de las 11:00 AM del 31 de Mayo
- Portales de distribuidores y socios al rededor de las 9:00 PM del 31 de Mayo
- Interfaces bancarias y plataformas de pago internas al rededor de las 5:PM del 31 de Mayo
Sin embargo, dada la cantidad de información y configuraciones, muchos usuarios finales continuaron experimentando intermitencias hasta las últimas horas del día 31 de Mayo.
Un reinicio de todos los sistemas dependientes del centro de datos principal 'Tuxtla 1' ocurre como consecuencia de situaciones extremadamente excepcionales y que estadísticamente suceden una vez cada 10 años.
En respuesta, Induxsoft amplió el horario de atención hasta las 6:00 PM del sábado 31 y durante el día domingo 1 de Junio igualmente hasta las 6:00 PM. Además, todas las fechas de vencimiento de licencias fueron extendidas 3 días.
Entendemos la frustración y el enojo que puede desencadenar la falta de información de lo que está ocurriendo, pero nuestra prioridad siempre es reestablecer los servicios y nuestro equipo técnico estuvo a la altura trabajando más de 60 horas continuas, nuestros colabores de marketing y comunicación carecían de herramientas para publicar mensajes hasta que todos los servicios principales estuvieran funcionando correctamente.
Todos los datos de usuarios, clientes, distribuidores, proveedores y socios nunca estuvieron en riesgo y no se perdió o alteró un solo bit.
La indisponibilidad se debió en gran medida la enorme cantidad de configuraciones que mantienen los sistemas funcionando de manera integrada y a que, como en todo caso como este, algunos componentes preparados de antemano pero apagados, al iniciarse no responden como se esperaba.
Como empresa, creemos que en todo desafío hay oportunidad y ahora 'Tuxtla 1' reside en la nube de Azure, lo que nos permitirá alcanzar mayores niveles de disponibilidad y atender con menor latencia a nuestros usuarios de centro y Sudamérica.
Agradecemos su confianza y esperamos seguir sirviéndoles por muchas décadas más.
El equipo de Induxsoft