Autor Tópico: Encerramento das atividades do Fórum Clube Cético  (Lida 3771 vezes)

0 Membros e 1 Visitante estão vendo este tópico.

Offline Nostromo

  • Nível 12
  • *
  • Mensagens: 223
  • Sexo: Masculino
  • Honk Honk
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #175 Online: 15 de Janeiro de 2020, 15:31:11 »
Se tá tão ruim assim que ao menos criem um fórum num domínio grátis.

A intenção de manter vivo é o que importa.

Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #176 Online: 15 de Janeiro de 2020, 16:31:49 »
Fiz um teste com o programa piloto de Pedro.
Começou bem. Mas temos estrada pela frente.
Se ajustarmos as pontas soltas, será possível salvar muita coisa antes do dia 31.

Há um pequeno problema com a codificação do arquivo.
Ele é identificado como UTF-8, mas possui caracteres inválidos no seu interior.
Quando tento editar o arquivo, vem esse aviso:

The file, Pag1.html, has been detected as UTF-8 but includes invalid UTF-8 characters.
Invalid characters will display as: � (may vary depending on font)
Editing this file as UTF-8 may result in file corruption.


Acho que apenas informando o código no cabeçalho do arquivo resolve o problema.
Ou seja, há que se inserir o seguinte, logo depois da tag <head>:

<meta http-equiv="content-type" content="text/html; charset=UTF-8">




Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #177 Online: 15 de Janeiro de 2020, 16:41:34 »
Com relação à administração, não creio que seja um piano.
Talvez não passe de um violão. Um cavaquinho?

O grande piano que NadaSei carregou nem foi a administração, acho eu.
Mas foi justamente salvar o material para referência futura.
Na época, eu li o tópico e acompanhei a saga dele para salvar tudo com o wget.
Aquilo foi um piano de cauda longuíssima.
Mas hoje em dia, acho que ele não carrega peso.

No nosso caso, teria que haver somente um controle de usuário para evitar a entrada de vândalos.
Não estou empurrando trabalho para Geotecton, mas o que ele já faz aqui seria suficiente para manter a casa nova.
No instante em que identificar um spammer, dá um peteleco no cara e fecha a porta.
Acho que só isso.
Já que ele tem interesse na continuidade do espaço, seria o mínimo.
Nós nos ocupamos com o backup e ele adotaria as medidas de controle de invasores.

O serviço de hospedagem (que pode muito bem ser gratuito) talvez já tenha mecanismos de backup próprios e manutenção necessária.
Existem serviços gratuitos para fóruns como disse Nostromo.
A nossa prioridade aqui seria salvar o que será levado para lá.
E Pedro Reis já está dando uma boa contribuição.
Show de bola, Pedro.
Implemente o looping começando de um tópico com número baixo e vamos para uma versão 1.1 que consiga baixar muito mais do que 5 tópicos.
Outra coisa: teria que ser criada uma pasta local de recursos, onde seriam baixados os arquivos comuns de estilo e os ícones gerais, inclusive os de usuários.
Se o arquivo comum já existe, pula para o próximo, de forma a se evitar duplicidades.
E todos os arquivos HTML baixados apontariam para essa pasta local.
Assim, mesmo que o fórum saia do ar, teremos a estrutura de todas as páginas salvas e íntegras.

Se quiser um beta tester, eu me apresento agora.
 8-)

Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #178 Online: 15 de Janeiro de 2020, 16:49:37 »
Ah, eu me esqueci de lembrar a Pedro que as páginas que ele está baixando possuem apenas 25 comentários no máximo.
Mas o fórum permite páginas com até 50 comentários, como eu tenho configurado no meu perfil.
Dessa forma, poderemos reduzir para a metade o número total de páginas a serem baixadas.
E, nem sei se seria possível, mas se conseguir botar todos os comentários numa única página, ou aumentar o máximo para 200 ou 300 comentários, seria ainda melhor.
O que reduziria ainda mais o tráfego e aceleraria o download.

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #179 Online: 15 de Janeiro de 2020, 20:09:06 »
Ah, eu me esqueci de lembrar a Pedro que as páginas que ele está baixando possuem apenas 25 comentários no máximo.
Mas o fórum permite páginas com até 50 comentários, como eu tenho configurado no meu perfil.
Dessa forma, poderemos reduzir para a metade o número total de páginas a serem baixadas.
E, nem sei se seria possível, mas se conseguir botar todos os comentários numa única página, ou aumentar o máximo para 200 ou 300 comentários, seria ainda melhor.
O que reduziria ainda mais o tráfego e aceleraria o download.

Não posso fazer isso por duas razões.

A primeira é que não sei como. No momento não faço ideia de como fazer para o sistema gerar páginas com mais comentários.

Você falou em configuração... talvez ele leia um cookie deixado no computador do usuário.

O outro problema é que eu não sei como checar  o número de comentários em um tópico. O que seria útil para determinar quando as páginas terminam. Tentei algumas coisas, mas não deram certo.

(Se alguém souber, põe aí please)

É que esse programinha foi feito (em poucas horas) com base no que eu consegui descobrir fuçando algumas coisas no código das páginas. Mas não percebi um jeito de extrair esta informação (num. de posts), nem de causar um erro ao tentar ler mais mensagens além da última. Porque o sistema simplesmente reenvia a última página. Então a solução , por enquanto, está sendo detectar que a página foi reenviada como uma forma do programa saber que o tópico foi todo lido. O que é, admito, um tanto tosco.

Por isso se ajustarmos para páginas com 300, 400 ... comentários, degradaria ainda mais o desempenho. Por quê?

Imagine que um tópico tenha 275 posts. No momento o programa lê 300 pra baixar os 275. Isso porque os últimos 25 ele baixa duas vezes. (Baixa mas descarta o que obteve em duplicata)

Se ele baixasse uma página com 300, ele baixaria  550 para ter os 275. ( Porque leria os 275 duas vezes. )

« Última modificação: 15 de Janeiro de 2020, 20:11:09 por Pedro Reis »

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #180 Online: 15 de Janeiro de 2020, 20:18:26 »
Fiz um teste com o programa piloto de Pedro.
Começou bem. Mas temos estrada pela frente.
Se ajustarmos as pontas soltas, será possível salvar muita coisa antes do dia 31.

Há um pequeno problema com a codificação do arquivo.
Ele é identificado como UTF-8, mas possui caracteres inválidos no seu interior.
Quando tento editar o arquivo, vem esse aviso:

The file, Pag1.html, has been detected as UTF-8 but includes invalid UTF-8 characters.
Invalid characters will display as: � (may vary depending on font)
Editing this file as UTF-8 may result in file corruption.


Acho que apenas informando o código no cabeçalho do arquivo resolve o problema.
Ou seja, há que se inserir o seguinte, logo depois da tag <head>:

<meta http-equiv="content-type" content="text/html; charset=UTF-8">





Mas as páginas que ele baixa são as mesmas que são enviadas para o seu navegador. E o importante é que  parece que o navegador não está tendo problema com o site.

No momento não tô na minha máquina, mas tenho a impressão que essa tag que você sugere já é inserida pelo sistema do fórum nas páginas geradas.

Aliás, deve ser por isso que o programa está "chiando". A tag informa a codificação UTF-8, mas ele encontra codificação de caracteres não compatível com esse encoding.

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #181 Online: 15 de Janeiro de 2020, 20:36:15 »

Implemente o looping começando de um tópico com número baixo e vamos para uma versão 1.1 que consiga baixar muito mais do que 5 tópicos.
Outra coisa: teria que ser criada uma pasta local de recursos, onde seriam baixados os arquivos comuns de estilo e os ícones gerais, inclusive os de usuários.
Se o arquivo comum já existe, pula para o próximo, de forma a se evitar duplicidades.
E todos os arquivos HTML baixados apontariam para essa pasta local.
Assim, mesmo que o fórum saia do ar, teremos a estrutura de todas as páginas salvas e íntegras.

Se quiser um beta tester, eu me apresento agora.
 8-)


Na verdade basta alterar a constante de controle do loop para 0 que o programa baixa o fórum inteiro. Todos os tópicos.

Mas não faz sentido baixar com esse programa porque é só um teste. Tem muitas coisas que precisa melhorar e algumas para consertar.

Sobre a pasta local de recursos... a ideia é exatamente essa. É preciso identificar quais são estes arquivos e primeiro baixa-los para uma pasta. Mas note que os códigos das páginas precisam ser modificados para quando solicitarem estes recursos, buscarem na pasta local.

Isso exige dar uma fuçada mais a fundo no código das páginas e fazer alguns testes. O que demanda um certo tempo porque não saco muito disso.

Outra dúvida que tenho é se todos os arquivos de recursos são globais, ou se podem ser gerados arquivos específicos para um determinado tópico ou página.

A minha impressão é que dá para resolver com uma espécie de engenhariazinha reversa. Baixar estes arquivos e depois limpar o cache e abrir os arquivos desconectado da internet. Isso vai ajudar a entender algumas coisas no código desses arquivos.

De qualquer forma, se alguém implementar o método analise() da forma como foi sugerida, acho que já dá pra fazer um programa que cumpre o que se propõe.

Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #182 Online: 15 de Janeiro de 2020, 21:36:48 »
Ah, eu me esqueci de lembrar a Pedro que as páginas que ele está baixando possuem apenas 25 comentários no máximo.
Mas o fórum permite páginas com até 50 comentários, como eu tenho configurado no meu perfil.
Dessa forma, poderemos reduzir para a metade o número total de páginas a serem baixadas.
E, nem sei se seria possível, mas se conseguir botar todos os comentários numa única página, ou aumentar o máximo para 200 ou 300 comentários, seria ainda melhor.
O que reduziria ainda mais o tráfego e aceleraria o download.

Não posso fazer isso por duas razões.

A primeira é que não sei como. No momento não faço ideia de como fazer para o sistema gerar páginas com mais comentários.

[...]


Concordo.
Deixemos como está. Mexer só vai complicar o que já funciona e a energia não deve ir para firulas.

Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #183 Online: 15 de Janeiro de 2020, 21:37:24 »
Fiz um teste com o programa piloto de Pedro.
Começou bem. Mas temos estrada pela frente.
Se ajustarmos as pontas soltas, será possível salvar muita coisa antes do dia 31.

[...]


Mas as páginas que ele baixa são as mesmas que são enviadas para o seu navegador. E o importante é que  parece que o navegador não está tendo problema com o site.

No momento não tô na minha máquina, mas tenho a impressão que essa tag que você sugere já é inserida pelo sistema do fórum nas páginas geradas.

Aliás, deve ser por isso que o programa está "chiando". A tag informa a codificação UTF-8, mas ele encontra codificação de caracteres não compatível com esse encoding.

Quando eu salvo a página com o Firefox, o cabeçalho NÃO traz a tag de codificação, mas o arquivo é um legítimo UTF-8 com caracteres de 2 bytes para acentuação.
O seu programa está salvando caracteres UTF-8 misturados com caracteres inválidos para esse código e por isso está havendo problema.
Mas não creio que isso seja relevante agora. Vamos adiante, até porque eu vi que ao fazer a declaração do código no cabeçalho, o erro desaparece.
Mas podemos melhorar isso depois porque as pasta com acentuação são salvas em UTF-8 distorcido, como isso:

D:\Testes\CC\BackupCC\Encerramento das atividades do Fórum Clube Cético



Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #184 Online: 15 de Janeiro de 2020, 21:38:13 »

Implemente o looping começando de um tópico com número baixo e vamos para uma versão 1.1 que consiga baixar muito mais do que 5 tópicos.
Outra coisa: teria que ser criada uma pasta local de recursos, onde seriam baixados os arquivos comuns de estilo e os ícones gerais, inclusive os de usuários.
Se o arquivo comum já existe, pula para o próximo, de forma a se evitar duplicidades.
E todos os arquivos HTML baixados apontariam para essa pasta local.
Assim, mesmo que o fórum saia do ar, teremos a estrutura de todas as páginas salvas e íntegras.

Se quiser um beta tester, eu me apresento agora.
 8-)


Na verdade basta alterar a constante de controle do loop para 0 que o programa baixa o fórum inteiro. Todos os tópicos.

Mas não faz sentido baixar com esse programa porque é só um teste. Tem muitas coisas que precisa melhorar e algumas para consertar.

Sobre a pasta local de recursos... a ideia é exatamente essa. É preciso identificar quais são estes arquivos e primeiro baixa-los para uma pasta. Mas note que os códigos das páginas precisam ser modificados para quando solicitarem estes recursos, buscarem na pasta local.

Isso exige dar uma fuçada mais a fundo no código das páginas e fazer alguns testes. O que demanda um certo tempo porque não saco muito disso.

Outra dúvida que tenho é se todos os arquivos de recursos são globais, ou se podem ser gerados arquivos específicos para um determinado tópico ou página.

A minha impressão é que dá para resolver com uma espécie de engenhariazinha reversa. Baixar estes arquivos e depois limpar o cache e abrir os arquivos desconectado da internet. Isso vai ajudar a entender algumas coisas no código desses arquivos.

De qualquer forma, se alguém implementar o método analise() da forma como foi sugerida, acho que já dá pra fazer um programa que cumpre o que se propõe.

Pasta comum, vamos lá.
Quanto a isso, eu já tenho um programinha que varre os HTMLs e onde tem as tags href=, src=, url('...') ou url(&quot;...&quot;), que referenciam imagens e folhas de estilo, ele direciona tudo para a pasta comum.
As imagens estáticas das páginas são invariáveis. Basta que coletemos o conjunto delas.
Os ícones dos usuários aparecem de acordo com a participação em cada página e podem ser salvos também nas pastas comuns.
As folhas de estilo são poucas e as mesmas para todo o fórum. Depois de pegá-las não precisa mais salvar de novo.
Essa pasta comum não deve ser difícil de montar.
Talvez o seu programa possa já ir trocando onde tem href, src, etc e apontando o arquivo para um de mesmo nome nessa pasta comum. Aí nem vai precisar fazer a varredura depois de tudo, usando o meu programa.

Essa sua ideia de engenharia reversa é boa.
Salva algumas páginas representativas e vai vendo o que veio e o que é comum entre elas.

Vai uma desculpa a quem acompanha o tópico por estar meio insosso esse assunto meio técnico.
Se for o caso, Pedro, vamos para o PM tratar desse detalhamento de programação.
Ao mesmo tempo fica o convite a algum colega que queira entrar nessa ciranda que caiu na cabeça da gente de uma hora pra outra.
Deem sugestões.

Quanto à implementação da função Analise(), eu não teria como contribuir.
Não manjo Java.

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #185 Online: 16 de Janeiro de 2020, 08:11:09 »
Fiz um teste com o programa piloto de Pedro.
Começou bem. Mas temos estrada pela frente.
Se ajustarmos as pontas soltas, será possível salvar muita coisa antes do dia 31.

[...]


Mas as páginas que ele baixa são as mesmas que são enviadas para o seu navegador. E o importante é que  parece que o navegador não está tendo problema com o site.

No momento não tô na minha máquina, mas tenho a impressão que essa tag que você sugere já é inserida pelo sistema do fórum nas páginas geradas.

Aliás, deve ser por isso que o programa está "chiando". A tag informa a codificação UTF-8, mas ele encontra codificação de caracteres não compatível com esse encoding.

Quando eu salvo a página com o Firefox, o cabeçalho NÃO traz a tag de codificação, mas o arquivo é um legítimo UTF-8 com caracteres de 2 bytes para acentuação.
O seu programa está salvando caracteres UTF-8 misturados com caracteres inválidos para esse código e por isso está havendo problema.
Mas não creio que isso seja relevante agora. Vamos adiante, até porque eu vi que ao fazer a declaração do código no cabeçalho, o erro desaparece.
Mas podemos melhorar isso depois porque as pasta com acentuação são salvas em UTF-8 distorcido, como isso:

D:\Testes\CC\BackupCC\Encerramento das atividades do Fórum Clube Cético




Você poderia testar a versão disponível no link abaixo?

https://drive.google.com/open?id=13LNuV1k9uuE-hAb--sHSlICAugr532bo

Mas apague a pasta BackupCC antes de rodar, ok? Espero que resolva este problema.

Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #186 Online: 16 de Janeiro de 2020, 09:18:11 »

Você poderia testar a versão disponível no link abaixo?

https://drive.google.com/open?id=13LNuV1k9uuE-hAb--sHSlICAugr532bo

Mas apague a pasta BackupCC antes de rodar, ok? Espero que resolva este problema.

Resolvido problema UTF-8.

Adiante!

Dando uma olhada apressada numa página salva pelo programa, identifiquei arquivos comuns.
São eles:

Código: [Selecionar]
http://clubecetico.org/forum/Themes/Curve_CC_css3/css/index_green.css
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/Male.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ip.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/post/xx.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/moderador.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank03.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank06.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank06.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank12.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank12.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank15.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank17.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank19.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank21.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank21.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank21.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank39.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank39.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank39.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank39.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank50.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/ranks/rank50.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/topic/veryhot_post.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/upshrink.png
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/useroff.gif
http://clubecetico.org/forum/Themes/Curve_CC_css3/scripts/theme.js
http://clubecetico.org/forum/Themes/default/css/oharaEmbed.css
http://clubecetico.org/forum/Themes/default/scripts/captcha.js
http://clubecetico.org/forum/Themes/default/scripts/ohyoutube.min.js
http://clubecetico.org/forum/Themes/default/scripts/script.js
http://clubecetico.org/forum/Themes/default/scripts/topic.js
http://clubecetico.org/style/logo.png

Deve haver mais deles, mas já temos um começo.
Esses GIF "rank alguma coisa" devem ser baixados todos, do 01 ao 50.
Eu fiz uma busca com Expressão Regular para identificar tudo com http.
E vieram essas coisas entre outras semelhantes:

Código: [Selecionar]
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=help
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=login
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=printpage;topic=30689.0
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=printpage;topic=30689.0
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=profile;u=10517
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=profile;u=12023
http://clubecetico.org/forum/index.php?PHPSESSID=d7mmiahcv73ovder9p0h1kae97&amp;action=profile;u=2426

Não sei o que significam, mas não devem ser úteis ao nosso propósito.
O que já pode ser feito é tentar baixar tudo dos seguintes links:

http://clubecetico.org/forum/Themes/Curve_CC_css3/css/
http://clubecetico.org/forum/Themes/Curve_CC_css3/images/
http://clubecetico.org/forum/Themes/Curve_CC_css3/scripts/
http://clubecetico.org/forum/Themes/default/css/
http://clubecetico.org/forum/Themes/default/scripts/
http://clubecetico.org/style/

Clique neles e veja que conseguimos entrar no "Index" de alguns, mas outros retornam a página inicial do fórum.
Devem estar protegidos de visualização.

Fazendo isso, teremos a pasta comum a tudo.
Depois, é só apontar para essa pasta comum todas as referências a arquivos GIF, CSS e JS.
Aliás, nem creio que os JS sejam necessários.
Acho que poderíamos dispensar os javascripts envolvidos.

Vamos nos concentrar nos arquivos comuns e como fazer a referência a eles.
Acho que só falta isso, porque o mecanismo de varrer o fórum e resgatar os textos você já fez.

E vamos correr, porque o trabalho de obter tudo pode ser demorado.

Offline Gigaview

  • Nível Máximo
  • *
  • Mensagens: 15.604
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #187 Online: 16 de Janeiro de 2020, 11:42:37 »
Brandolini's Bullshit Asymmetry Principle: "The amount of effort necessary to refute bullshit is an order of magnitude bigger than to produce it".

Pavlov probably thought about feeding his dogs every time someone rang a bell.

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #188 Online: 16 de Janeiro de 2020, 13:28:03 »
Citação de: Gabarito
Quando eu salvo a página com o Firefox, o cabeçalho NÃO traz a tag de codificação, mas o arquivo é um legítimo UTF-8 com caracteres de 2 bytes para acentuação.
O seu programa está salvando caracteres UTF-8 misturados com caracteres inválidos para esse código e por isso está havendo problema.
Mas não creio que isso seja relevante agora. Vamos adiante, até porque eu vi que ao fazer a declaração do código no cabeçalho, o erro desaparece.
Mas podemos melhorar isso depois porque as pasta com acentuação são salvas em UTF-8 distorcido, como isso:

D:\Testes\CC\BackupCC\Encerramento das atividades do Fórum Clube Cético

Esse problema tinha passado desapercebido para mim porque não tinha rodado o jar. Fiz o teste pelo netbeans e foi ok.

É o resultado de ler com um encoding e gravar com outro.

Citação de: Gabarito
Pasta comum, vamos lá.
Quanto a isso, eu já tenho um programinha que varre os HTMLs e onde tem as tags href=, src=, url('...') ou url(&quot;...&quot;), que referenciam imagens e folhas de estilo, ele direciona tudo para a pasta comum.

Não podemos direcionar tudo para a pasta comum porque há links que devem ficar como estão. Senão caímos no mesmo problema do wget, que é salvar desnecessariamente muitos objetos localmente.

Mas isso não é grande problema: como esse programa vai ler todos os HTMLs de todas as páginas dos tópicos (e grava-las em arquivos locais), e como ele lê linha a linha, ao ler uma linha pode-se checar se a linha contém http://clubecetico.org e então troca-se essa string por, digamos, ./resources antes de gravar a string no arquivo local. ./resources seria a tal pasta de recursos localizada no diretorio onde o programa está rodando e reproduziria a mesma estrutura de subdiretórios encontrada em http://clubecetico.org. Ao fim do backup todas as páginas poderiam ser visualizadas sem acessar o domínio clubecetico.org.

Citação de: Gabarito
Dando uma olhada apressada numa página salva pelo programa, identifiquei arquivos comuns.
São eles:

Examinando uma cópia salva pelo navegador, percebi que ele não troca a maioria das referências http:\\clubecetico.org por referências à pasta local que ele cria. Não sei o porquê e demandaria muito tempo e trabalho descobrir quais alterar e quais não.

O que podemos fazer é baixar todos os arquivos para esta pasta de recursos (todos que estiverem em http:\\clubecetico.org) e trocar todas as referencias nos arquivos. Se não funcionar, paciência... foi a nossa tentativa válida.

Citação de: Gabarito
Clique neles e veja que conseguimos entrar no "Index" de alguns, mas outros retornam a página inicial do fórum. Devem estar protegidos de visualização.

Será que o webmaster não poderia dar um alô e disponibilizar os arquivos pra gente?

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #189 Online: 16 de Janeiro de 2020, 13:30:19 »
Avaliem:

Forum Downloader
https://www.softpedia.com/get/Internet/Download-Managers/Forum-Downloader.shtml


Tem esse também, mais genérico.
https://websitedownloader.io/

e esse:
http://www.httrack.com/

Quando falo em poder "restaurar" o fórum em outra plataforma me refiro a continuar tendo acesso ao atual conteúdo. O fórum propriamente não poderá ser restaurado porque não teremos acesso ao banco de dados do sistema que implementa o CC e nem o próprio sistema. Outra questão evidente é que todas as contas de usuário serão perdidas.

Mas é trivial criar um novo fórum em algum serviço gratuito e quem quiser participar se inscreve.

Portanto, se fizermos este backup dos tópicos, e com essa estrutura (uma pasta contendo pastas que são o backup HTML de cada tópico, estas pastas com o próprio nome do tópico) já temos aí 80% de um site pronto para acesso ao atual acervo.

E talvez até dê pra hospedar este site em alguma plataforma gratuita também.

Offline Johnny Cash

  • Nível 40
  • *
  • Mensagens: 4.935
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #190 Online: 17 de Janeiro de 2020, 13:06:09 »
Os caras votaram pra fechar e apagar o conteúdo, mesmo tendo recurso pra manter o fórum por muito maos tempo? Nem pra passar o fórum pra outras pessoas?

Que tipo de obacurantismo é esse?

Tô morando na China (literalmente) e sumido daqui mas... inacreditável!

Offline Sergiomgbr

  • Nível Máximo
  • *
  • Mensagens: 11.712
  • Sexo: Masculino
  • uê?!
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #191 Online: 17 de Janeiro de 2020, 13:22:38 »
Na real, deviam fazer a eutanásia e deixar o bichim morrer com alguma dignidade. Por que as forças do lado obscuro  já estão se insinuando.
.
« Última modificação: 17 de Janeiro de 2020, 13:25:59 por Sergiomgbr »
Até onde eu sei eu não sei.

Offline Sdelareza

  • Nível 15
  • *
  • Mensagens: 392
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #192 Online: 17 de Janeiro de 2020, 14:02:47 »
Pergunta: o provedor que está hospedando o CC não poderia criar ele mesmo um backup e diisponibiliza-lo?

Offline Sergiomgbr

  • Nível Máximo
  • *
  • Mensagens: 11.712
  • Sexo: Masculino
  • uê?!
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #193 Online: 17 de Janeiro de 2020, 14:22:28 »
Pergunta: o provedor que está hospedando o CC não poderia criar ele mesmo um backup e diisponibiliza-lo?
Mas algo do tipo vai servir pra quê? Se o proprio fórum, com toda a estrutura que tem já se exauriu, alguém vai de fato interagir e fazer melhor uso dos caquinhos dele? Será que depois de uma semana alguém
 vai mesmo lembrar do que por acaso for recuperado, ou será que tudo vai ficar em algum pendrive com chances remotas de ser acessado?
« Última modificação: 17 de Janeiro de 2020, 23:41:27 por Sergiomgbr »
Até onde eu sei eu não sei.

Offline Buckaroo Banzai

  • Nível Máximo
  • *
  • Mensagens: 38.735
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #194 Online: 17 de Janeiro de 2020, 23:16:32 »
A atual administração já se negou definitivamente a fornecer o banco de dados, vocês estão mesmo dependentes dos backups na base de cópia da página?

Nesse segundo caso, vocês já avaliaram a diferença em espaço das páginas formatadas para WAP2 daquelas para navegação normal?

(Se é que está tudo disponibilizado em WAP2)

Online JJ

  • Nível Máximo
  • *
  • Mensagens: 15.746
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #195 Online: 18 de Janeiro de 2020, 10:57:10 »
Pergunta: o provedor que está hospedando o CC não poderia criar ele mesmo um backup e diisponibiliza-lo?
Mas algo do tipo vai servir pra quê? Se o proprio fórum, com toda a estrutura que tem já se exauriu, alguém vai de fato interagir e fazer melhor uso dos caquinhos dele? Será que depois de uma semana alguém
 vai mesmo lembrar do que por acaso for recuperado, ou será que tudo vai ficar em algum pendrive com chances remotas de ser acessado?


Dados digitais não são um tipo de mineral de uma  fonte mineral  que  se explora e exaure.  Dados digitais são  sinais elétricos (ou eletromagnéticos) facilmente reproduzíveis e facilmente armazenados. E eles talvez possam não ter mais utilidade para você, mas tem e teriam utilidade  para outras pessoas.




Online JJ

  • Nível Máximo
  • *
  • Mensagens: 15.746
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #196 Online: 18 de Janeiro de 2020, 10:58:45 »
Na real, deviam fazer a eutanásia e deixar o bichim morrer com alguma dignidade. Por que as forças do lado obscuro  já estão se insinuando.
.


Isso aqui não é um ser vivo para se fazer eutanásia. Isso aqui é um conjunto de dados que poderia  ainda ter utilidade para muitas pessoas.

Online JJ

  • Nível Máximo
  • *
  • Mensagens: 15.746
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #197 Online: 18 de Janeiro de 2020, 11:01:53 »
Pergunta: o provedor que está hospedando o CC não poderia criar ele mesmo um backup e diisponibiliza-lo?


Certamente pode. 

Offline Pedro Reis

  • Nível 39
  • *
  • Mensagens: 4.084
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #198 Online: 18 de Janeiro de 2020, 15:10:06 »
Pergunta: o provedor que está hospedando o CC não poderia criar ele mesmo um backup e diisponibiliza-lo?


Certamente pode. 

JJ, entra lá no chat do Clube Cético

É só botar no seu navegador clubecetico.org/chat

Quem respondeu minha MP, por favor, vá lá também.

Offline Gabarito

  • Nível Máximo
  • *
  • Mensagens: 5.594
  • Sexo: Masculino
Re:Encerramento das atividades do Fórum Clube Cético
« Resposta #199 Online: 21 de Janeiro de 2020, 14:47:25 »
Atualmente, para troca de ideias e manutenção do contato após o fechamento do Fórum do Clube Cético, estamos usando mensagens privadas e o chat do fórum que ainda está funcional.

Depois do dia 31, caso não haja uma mudança de planos por parte do Conselho Mantenedor do CC, possivelmente todas as URLs e os links daqui ficarão inacessíveis.

Como há uma certa quantidade de usuários que gostaria de manter o acesso ao fórum e suas discussões, bem como o contato com outros membros, estamos pensando numa forma de criar e manter um ambiente para nossa comunicação durante esse período provisório.
Isso enquanto não tivermos criado um novo espaço para a continuidade do clube.
Não o atual clube, visto que seus proprietários, se posso falar assim, não pretendem dar continuidade às atividades e devem ser plenamente respeitados na sua decisão.

Um novo espaço criado teria mais como objetivo manter ligadas as pessoas que já se conhecem em novas salas de debates e assuntos.
E com acesso aos antigos debates já travados no futuro finado Fórum do Clube Cético, até para tê-los como referência e consulta, pois estará tudo trancado para novos comentários.

Como eu já disse, após o dia 31 nós não teremos mais acesso às mensagens privadas e nem ao chat do fórum.
Mas já se encontra no ar uma sala de bate-papo que acabei de criar.
Basta escolher um nickname (de preferência o já usado aqui), resolver um captcha e entrar na conversa sobre sugestões para o novo espaço ainda a ser criado para hospedar o futuro clube.

Eu não tenho experiência com essa sala de bate-papo, mas espero que ela não desapareça se eu, que a criei, sair de lá. :).

Se acontecer, eu crio outra e aviso aqui.

 

Do NOT follow this link or you will be banned from the site!