Pascal 74 a écrit : ↑19 sept. 2023, 11:16
Il a changé d'adresse IP. Peut-être que le serveur dont parle Dominique dispose de plusieurs adresses IP fixes.
Ho oui, ils en ont des paquets d'adresse IP dont il se servent pour répartir la charge (ou planquer leurs méfaits !)
Pascal 74 a écrit : ↑19 sept. 2023, 11:16
L'application d'outils bloquant les abus de requêtes, dont parle Sly dans son dernier message (si refuges.info peut en disposer) semble être une piste intéressante même s'il elle ne va pas tout résoudre.
Oui c'est possible, c'est assez facile et ça ne coûte par un rond... ça me démange !
Mais je n'arrive pas à être sûr que c'est lui le fautif, ça a beau être un programme, j'aime pas les dommages collatéraux
Surtout qu'en même temps que lui, et le jour des problèmes (le 17/09) le robot de Amazon est passé pour sucer 50'000 pages du forum (oui, il n'y a même pas ce nombre de sujet !) dont voici la doc : https://developer.amazon.com/fr/support/amazonbot
Tout ça pour que l'on puisse lui demander "Alexa, trouve moins un refuge qu'il est bien prêt de chez moi", enfin, c'est comme ça
sly a écrit : ↑18 sept. 2023, 14:09
...Par contre, on en récupère quelque uns dont les développeurs n'ont pas trop de scrupules à les faires récupérer des dizaines de pages par secondes sans égard aux petites configurations serveur (comme sur refuges.info) qu'ils saturent. Pour eux, j'ai moins de scrupules et je n'hésiterais pas à les bloquer.
sly a écrit : ↑19 sept. 2023, 12:14
...le jour des problèmes (le 17/09) le robot de Amazon est passé pour sucer 50'000 pages du forum (oui, il n'y a même pas ce nombre de sujet !) ...
...Tout ça pour que l'on puisse lui demander "Alexa, trouve moins un refuge qu'il est bien prêt de chez moi", enfin, c'est comme ça
La pratique du robot d'Amazon est pourtant loin d'être respectueuse des petites configurations serveur, si j'en juge.
C'est bien le dilemme : éviter d'être saturé de requêtes et ne pas empêcher le référencement.
Les robots vont devenir de plus en plus gourmands, ne serai-ce que pour alimenter les robots conversationnels des GAFAM, mais pas seulement.
C'est un peu la course à l'armement : on voudrait limiter la puissance des serveurs qu'une armée de robots s'évertue à saturer.
Il faudra sûrement à terme augmenter la puissance du serveur de Refuges.info
Je n'ai rien fais, mais rassurez vous, il est toujours là !
Le forum ne le détecte/indique plus (il s'est lassé !) mais le robot continue à visiter tout site :
Dernière visite il y a... 17 secondes :
47.128.42.225 [21/Sep/2023:09:29:29 +0200] "GET /forum/viewtopic.php?t=7189 "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
Mais je qualifierais ses visites de "peu agressives" et le problème du 17/09 ne s'est pas reproduit, le serveur de refuges.info tournant convenablement depuis avec beaucoup de marge en ressources.
A mon avis, la meilleure réponse, c'est de l'ignorer. Si le serveur devient un jour saturé par des robots, ce qui n'est pas le cas, je saurais trouver mon bazooka
Claude Mauguier a écrit : ↑02 oct. 2023, 09:24
P.S. Bytespider traîne toujours en bas de page...
Je confirme, il continue, tous les jours à venir chercher entre 20000 et 30000 pages.
Il semble s'être pris d'affection pour notre icône de loupe : https://www.refuges.info/images/loupe.png
Qu'il vient chercher environ 10000 fois par jour. Elle est joli il faut le dire, mais je ne suis pas certain qu'elle change aussi souvent au point qu'il faille vérifier chaque seconde qu'elle est toujours là... quel gaspillage.
Sûrement un bug quelque part sur la chaîne, mais ça ne semble pas être de notre coté.
Pour le reste il parcours le forum et le site "gentillement", je doute finalement qu'il fût la cause de notre problème.
Claude Mauguier a écrit : ↑11 oct. 2023, 18:09
...P.S. Coucou ! Bytespider est encore là... si seulement on pouvait lui apprendre à modérer...
C'est vrai que pour un truc qui est sensé aspirer une page en une fraction de seconde... Peut-être fait-il le tour de l'hébergeur de fond en comble en prenant ses quartiers ici
Ou il s'est pris les octets dans une boucle récursive et ne peut plus échapper aux mailles du filet.
En tout cas, je ne sais pas comment se comportent les autres bots, mais, son "omniprésence" est plutôt surprenante
Pascal 74 a écrit : ↑12 oct. 2023, 17:11
C'est vrai que pour un truc qui est sensé aspirer une page en une fraction de seconde... Peut-être fait-il le tour de l'hébergeur de fond en comble en prenant ses quartiers ici
Ou il s'est pris les octets dans une boucle récursive et ne peut plus échapper aux mailles du filet.
En tout cas, je ne sais pas comment se comportent les autres bots, mais, son "omniprésence" est plutôt surprenante
Un conseil : ne regardez jamais un log de trafic, vous feriez des cauchemars
On nous bassine sur les mails avec des pièces attachées mais ce n'est pas eux qui font fondre la banquise à coup de datacenters
Et je ne parle pas des cryptomonaies, si modernes pour pas mal de politiques
Oubliez Bytespider qui n'est finalement qu'un petit bot pas bien fait mais bien identifié et qui ne se cache même pas.
Dominique a écrit : ↑12 oct. 2023, 21:06
...Oubliez Bytespider...
Mais ? on ne peut pas ! On s'est habitué, à force
Bytespider IP : 47.128.46.237 » Whois
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) Page d’index 13 oct. 2023 00:09
Pascal 74 a écrit : ↑13 oct. 2023, 00:08
Mais ? on ne peut pas ! On s'est habitué, à force
Bytespider IP : 47.128.46.237 » Whois
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com) Page d’index 13 oct. 2023 00:09
Je m'étonnais aussi que seul ce Bytespider ne soit listé, laissant penser qu'il était presque le seul à venir nous voir, alors rassurez vous, je pense avoir réglé le problème. N'en faites surtout pas une jaunisse, mais j'ai ré-importé la liste de 55 robots visiteurs là où il n'y en avait que... 2 ! (ça dit quelque chose à quelqu'un le fait que seul Bytespider et Duckduckgo bot étaient présents ?)
Le résultat est immédiat, tout de suite, même à 2h du matin, je me sens moins seul.
Ce changement pourrait/devrait participer à réduire le trafic et peut-être les rares saturation que nous avons subit.
"