Blog do Moloni

Confrontamo-nos com uma instabilidade na nossa plataforma que resultou na falha do serviço em alguns momentos entre os dias 23 e 26 de dezembro, afetando milhares de clientes em períodos cruciais para os seus negócios. 

Compreendemos a frustração e o impacto que esta situação causou, e é com total transparência e um profundo sentido de responsabilidade que partilhamos a cronologia detalhada dos eventos e o nosso plano de ação para o futuro.

Cronologia dos acontecimentos

23 de dezembro de 2025

• 14h04: Registámos os primeiros sinais de excesso de conexões, com o sistema a não responder em tempo útil, atingindo o limite de conexões permitido.
• Esta falha levou à dessincronização de, pelo menos, um servidor de bases de dados. Para garantir a integridade e segurança dos vossos dados, um downtime mais prolongado foi obrigatório para restabelecer a redundância total do cluster.
• Uma mensagem de erro inicial genérica ("500 | Erro Interno do Servidor") usada em situações menos graves e com uma frase mais informal, foi imediatamente substituída por uma comunicação mais clara e alinhada com a gravidade da situação.
• 17h20: A plataforma foi testada internamente com sucesso após um processo de sincronização de quase 2 horas.
• 19h12: O serviço foi reaberto ao público.
• 23h00: Por precaução, detetámos e retiramos uma máquina da base de dados do cluster devido a sinais de instabilidade.

24 de dezembro de 2025

• Na parte da manhã, para aliviar a pressão e devido a alguma lentidão, desligámos a conectividade dos plugins Wix e Shopify, que são geridos na nossa infraestrutura.
• Ao longo do dia, problemas nas ligações entre servidores voltaram a surgir, com a perda sequencial de máquinas de base de dados.
• 16h56: A falta de maioria no cluster levou ao corte preventivo do serviço, novamente para garantir a integridade dos dados.
• Iniciou-se um rebuild completo das máquinas de BD, um processo moroso que a nossa equipa dedicou toda a noite de consoada a recuperar, com o máximo empenho na rápida reposição do serviço.

25 de dezembro de 2025

• 08h20: A última máquina foi recuperada.
• 09h03: A plataforma foi reaberta ao público, com os serviços de ERP, POS e API ativos, mantendo os plugins Wix e Shopify bloqueados (resultado de alterações noturnas para mitigar problemas).
• 11h27: Fomos alvo de um ataque de DDoS, com milhares de pedidos em simultâneo, afetando o sistema. (não relacionado com o problema inicial)
• Para mitigar este problema, o tráfego internacional (maioritariamente da Ásia) foi cortado.
• 12h44: A plataforma voltou à normalidade, mantendo-se o bloqueio aos plugins Wix e Shopify e ao tráfego internacional. Continuámos a investigar a origem da latência ocasional entre máquinas, com o plano de reiniciar as mesmas e remover as que apresentassem latência persistente.

26 de dezembro de 2025

• 14h46: Após novas configurações e testes, e apesar de alguma latência residual, a estabilidade permitiu a reabertura ao tráfego internacional. No entanto, os spikes de latência nas máquinas persistiam.
• 17h04: A conectividade dos plugins bloqueados (Wix e Shopify) foi reaberta.
• 17h17: O sistema entrou numa nova espiral de falha de conectividade e foi bloqueado por segurança.
• 19h08: Não havendo qualquer corrupção de dados, o cluster foi totalmente levantado e a normalidade foi reposta. O serviço tem-se mantido estável desde então.

27 de dezembro de 2025

• 17h11: Após várias horas de análise e pequenos ajustes nos servidores de mySql e na rede interna, já com a plataforma a funcionar de forma ininterrupta e sem problemas, foram ligados todos os serviços e este incidente foi considerado totalmente sanado. 

O nosso compromisso para o futuro

É fundamental sublinhar que, em momento algum, o sistema Moloni perdeu ou expôs quaisquer dados. O nosso sistema bloqueia precisamente para proteger os vossos dados de qualquer corrupção, uma prioridade que nunca será comprometida.

Estamos desolados por ter falhado num momento tão importante para os vossos negócios. As nossas mais sinceras desculpas por não termos conseguido evitar e ultrapassar estes cenários mais rapidamente. Toda a equipa esteve empenhada em recuperar o serviço, demonstrando o nosso máximo esforço durante esta quadra natalícia.

Contudo, vemos estes problemas como uma oportunidade para nos tornarmos mais fortes e mais resilientes. 

As investigações continuam com toda a equipa Moloni, incluindo o nosso fornecedor de infraestrutura, focados em identificar a origem exata da latência de comunicação ocasional e implementar mais medidas para que no futuro não volte a acontecer.

Neste momento, tudo está resolvido e a plataforma está na sua velocidade normal, com todas as características que conhecem.

Aprendemos com este incidente e vamos melhorar e elevar ainda mais o padrão de qualidade do serviço pelo qual a Moloni é reconhecida há 14 anos.

Agradecemos imensamente a vossa compreensão e a confiança que depositaram em nós. A vossa parceria é o motor da nossa dedicação. Prometemos que não vamos descansar enquanto não tivermos a certeza de que estes problemas estão definitivamente resolvidos e que não se repetem no futuro. 

Estamos empenhados em reconquistar a vossa total confiança nos nossos serviços.

Com a segurança e a esperança de um futuro com a estabilidade que merecem.

Álvaro Saraiva,

CEO, Moloni.

Moloni

Semanalmente, criamos conteúdos que vão de encontro às suas necessidades. Seja qual for a sua atividade, disponibilizamos dicas e sugestões para impulsionar o seu negócio!