API fora do ar
Leocamarggo opened this issue · comments
Bom dia, pessoal! Primeiramente, parabéns pelo projeto.
Estive utilizando a API nos ultimos dias e notei que a mesma esta fora do ar.
Está retornando Error code 522 no Cloudflare.
Gostei bastante do projeto e queria saber se pretendem colocar no ar novamente.
Desde já, obrigado :)
O servidor caiu. Estou olhando o que foi e vendo o que fazer para voltar pro ar. Obrigada por avisar : )
O data center que a Minha Receita utiliza está realizando uma manutenção em caráter de urgência: https://contabo-status.com/
Não há nada que a gente possa fazer, nem por SSH o servidor está acessível. O tempo esperado para manutenção é de 45min. Vou acompanhar.
O data center que a Minha Receita utiliza está realizando uma manutenção em caráter de urgência: https://contabo-status.com/
Essa manutenção começou dia 12/02?
@cuducos é impressão minha ou a manutenção estava prevista pra começar dia 12 e tá rodando até hoje? Emendaram o carnaval no datacenter
Vale dizer que desde ontem a noite, por volta das 18 horas, a API já estava fora do ar.
Dureza, no dia de apresentação do projeto KK
Dureza, no dia de apresentação do projeto
Quem bom que é código (e dados) aberto. Assim você pode subir localmente, ou num servidor teu parta fazer a apresentação ; )
@Lucas-Angelo e @eitchtee: Sim, o cronograma parece furado. Estou aguardando contato do suporte deles.
Ok, o servidor voltou ao ar, mas aparentemente perdeam o banco de dados. Vou iniciar um novo processo do ETL, mas isso leva cerca de 2h.
Ainda estão em manutenção e talvez isso se perca novamente. Vou monitorar.
mas aparentemente perdeam o banco de dados
Rapaz, que viagem
@cuducos já pensou em transferir pro Oracle Cloud Free Tier? São 24gb de RAM e, se não me engano, 240gb de armazenamento de graça. A única pegadinha é que a CPU é ARM, então sua imagem do Docker, se você usar ela internamente, tem que suportar essa arquitetura.
Acho que seria uma boa pra reduzir seu custo mensal a 0, uso o serviço deles tem quase um ano e até hoje sem problemas (ou cobranças)
Rapaz, que viagem
Para facilitar a vida, uso Dokku. Como resultado, o banco de dados persiste dados em um volume do Docker. Provavlemente isso não é o padrão e se perdeu.
240gb de armazenamento de graça
Isso não suporta dois bancos de dados do Minha Receita em paralelo.
E uma vez por mês preciso disso para fazer a migração sem tirar o servidor do ar.
Então o custo mensal seria bem maior do que os 13USD que pago hoje.
Apenas atualizando com o progresso do ETL carregando os dados, já foi mais da metade:
2024/02/15 15:34:12 Dropping table public.cnpj…
2024/02/15 15:34:12 Creating table public.cnpj…
2024/02/15 15:34:13 Saving the updated at date to the database…
2024/02/15 15:34:13 Loading Simples files…
2024/02/15 15:34:13 Loading Empresas files…
2024/02/15 15:34:13 Loading Socios files…
Processing base CNPJ, partners and taxes 100% |███████████████████████| (117544995/117544995, 26390 it/s)
2024/02/15 16:50:24 Loading Estabelecimentos files…
Creating the JSON data for each CNPJ 43% |███████████ | (25755648/59128283, 12311 it/s) [1h5m52s:45m10s]
Reestabelecida. Ufa! Obrigada a todo mundo que reportou, deu força, apoiou e deu sugestões de melhoria! Espero que a apresentação dê certo/tenha dado certo, @Lucas-Angelo : )
Reestabelecida. Ufa! Obrigada a todo mundo que reportou, deu força, apoiou e deu sugestões de melhoria! Espero que a apresentação dê certo/tenha dado certo, @Lucas-Angelo : )
Deixamos para preencher manual, mas deu bom eu acho kkk
Acho que está ocorrendo novamente
Abri um chamado no suporte da Contabo. Nada de resposta ainda.
Assim como da outra vez o servidor voltou, mas o banco de dados não. Iniciei o processo de subir os dados novamente — leva algumas horas.
Se alguém tiver alguma sugestão de outro servidor, estou aberto. Descrevi aqui e aqui o básico dos requisitos e valores:
I am looking for a new server for Minha Receita — https://github.com/cuducos/minha-receita
I currently use Contabo, but two outages in roughly a month are too much.
I pay 13 USD/month for a VPS. The crucial is 400Gb storage. Currently, I have 6 vCPU, 16Gb RAN and 32Tb traffic.
Any recommendation?
Quem usar e puder dar boost/repost, eu agradeço : )
Opa @cuducos
Quanto você usa dessa configuração toda?
Esse ano, depois do resultado da pesquisa da Stackoverflow migrei da Digitalocean pra a top 1 da pesquisa: Hetzner - link de convite
Tem me atendido muito bem, mas esse preço aí eles não batem, mas acredito que ficaria algo em torno de 50 euros mensais (16 ram, 4vCPU, extra volume, + extra traffic), se você precisar de tudo isso.
Quanto você usa dessa configuração toda?
Como eu disse:
The crucial is 400Gb storage
Pq? Como documentado aqui, um banco de dados ocupa ~150Gb. Como (para evitar downtime) preciso eventualmenet de dois bancos de dados (o do mês anterior, e o do mês que estou importando), o armazenamento precisa ser um pouco além de 300Gb.
Vou olhar o Hetzner com calma no final de semana — obrigada por compartlhar, @Cauen. Deve ficar um pouco mais caro, mas dá para aguentar…
Então vai ficar uns € 35 e.e
Provavelmente em mais 1h deve estar reestabelecida:
$ minha-receita transform -b 32768 -m 16
2024/03/19 13:35:56 Saving the updated at date to the database…
2024/03/19 13:35:56 Loading Simples files…
2024/03/19 13:35:56 Loading Empresas files…
2024/03/19 13:35:56 Loading Socios files…
Processing base CNPJ, partners and taxes 100% |███████████████████| (118378801/118378801, 24887 it/s)
2024/03/19 14:55:36 Loading Estabelecimentos files…
Creating the JSON data for each CNPJ 14% |███ | (8454144/59495419, 20501 it/s) [16m56s:41m29s]Parece que ainda está com problema
Se a issue está aberta, é pq ela não foi resolvida ainda ; )
Atualização: escondendo pois a pessoa que postou a pergunta, excluiu a pergunta.
Ainda fora do ar quando vou buscar algum CNPJ .. Algum parecer ?
Ainda fora do ar quando vou buscar algum CNPJ
Sim, justamente por isso a issue está aberta ainda.
Algum parecer ?
Sim. Quando terminar ou tiver uma mudança eu comunico aqui.
O servidor está bastante instável. O servidor de DNS não consegue conexão, o banco de dados perde conexão também. Estou reiniciando o processo de subir os dados, mas não vou conseguir monitorar mais hoje.
Aparentemente restaurada! Obrigada todo mundo que reportou/deu ideais/acompanhou/ajudou 💜
Bom dia! Aparentemente a API caiu novamente.
A minha receita tbm está fora 🥲
Caiu novamente mesmo?
Caiu novamente mesmo?
Sim. Mais uma vez inacessível nem por SSH 💔
Até ter esse acesso, não há nada que possa afzer (migrar de servidor não consigo hoje; apenas no final de semana).
Aparentemente, retornou ao normal.
E o banco de dados se perdeu outra vez.
Pelo jeito está normal agora!
@carlosmixz não está.
Ainda não completou o carregamento de cerca de 8% dos CNPJs, e o banco de dados está sem índices (resposta mais demoradas):
2024/03/20 19:37:55 Loading Estabelecimentos files…
Creating the JSON data for each CNPJ 92% |████████████████████████████████████████████████████████████ | (55001088/59495419, 11622 it/s) [1h13m30s:6m26s]
Olá! Boa tarde! Ainda não consigo utilizar o API.
Olá! Boa tarde! Ainda não consigo utilizar o API.
Como esperado, dado que essa issue ainda está aberta ; )
Ok. Falei com o suporte — eles só responderam agora, depois de dois dias. Disseram que tiveram manutenção, mas que deve estar tudo 100% agora. Subi novamente o banco de dados. Veremos se agora fica — pelo menos até o final de semana quando, se eu tiver tempo, vou tentar mudar de servidor.
No momento o servidor não me dá nem acesso SSH, então não há o que fazer. Vou atualizando aqui.
Existem algumas manutenções planejadas para hoje em https://contabo-status.com/ — aguardemos.
Boa tarde @cuducos,
Eu posso te ajudar a colocar uma replica da aplicação na OCI, com o always free, sem custo, o que acha?
@Jpmmdf — sem custos é a tua ajuda, ou OCI? Pois os preços de rodar o Minha Receita no OCI passam muito os 20 USD/mês que o projeto arrecada. Os serviços always free não aguentam os requisitos.
A propósito, o servidor continua sem acesso SSH, vai ficar para amanhã a resolução.
Fala, pessoal!
O servidor voltou a responder, mas aparentemente o banco foi perdido novamente
Boa!
A chamada na API agora retorna o espelho de dados do projeto, não o resultado da chamada.
Isso faz com que o monitor indique que a API está operacional mas, quando utilizada, retorna um erro.
Caro Edu, boa tarde!
Amigo,
Tem previsão de quando a API voltará a funcionar?
Gratidão sempre.
Abraço,
Boa tarde pessoal, tranquilo? Acredito que o retorno da API ainda esteja errado, só reforçando o que o [hslira] disse acima ali.
Aproveitando pra agradecer pela API, ajuda bastante! Valeuuuuu
Gente, eu sei. Eu momento algum assumi que o problema estava resolvido. Se eu não falei que estava resolvido, e mantive a issue aberta, por favor, não gerem mais ruído.
Tem previsão de quando a API voltará a funcionar?
Não.
Caso tenha alguma sugestão de meta de valor para migrar o serviço para algum provedor que julgue mais adequado, fique a vontade para falar comigo!
A meta sempre foi pública.
API reestabelecida.