[corrigé] l'API d'export des commentaires n'était plus fonctionnelle

Problèmes, bugs et difficultés rencontrés sur le site.
Avatar du membre
Pascal 74
Messages : 872
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

[corrigé] l'API d'export des commentaires n'était plus fonctionnelle

Message par Pascal 74 »

Pascal 74 a écrit : 07 juin 2024, 14:51 Ayant encore vu passer aujourd'hui quelques créations de Rémi agrémentées de commentaires et photos, je me suis livré a une estimation statistique : avec plus de 80 fiches et plus de 300 commentaires créés en deux jours, Rémy "modère" déjà plus de 1% du site qui existe depuis 20 ans !
Ce matin, je me suis livré à comptage statistique (à la main, erreur à la marge possible) : Depuis le 4 juin, Rémi a contribué sur le site 584 fois, soit 1,54 % des contributions totales sur le site, dont 174 créations de points, soit 2,33 % du total et 410 commentaires, soit 1,35 % du total !
Pour les photos, je ne sais pas faire autrement que d'ouvrir les commentaires un par un, donc, je ne l'ai pas fait (trop chronophage). À ce propos (je m'adresse à Sly), existe-t-il un moyen simple (genre URL) d'accéder à la base de photos du site ? la page d'accueil du site, qui affiche les dernières photos ajoutées sans le commentaire éventuellement associé me dit que c'est possible.
Pour une montagne libre.
Avatar du membre
sly
Messages : 5041
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: Cadences infernales

Message par sly »

Pascal 74 a écrit : 11 juin 2024, 10:09 À ce propos (je m'adresse à Sly), existe-t-il un moyen simple (genre URL) d'accéder à la base de photos du site ?
Simple au sens "Reproductible sans mon intervention et en moins de 1 minute" : Pas qui me vient à l'esprit, mais comme je découvre parfois que tu connais mieux le site que moi ;-)

Avec une doc, quelques explications, un mot de passe d'accès et un peu de réflexion, en 20mn je pourrais te faire ça.

Après, il existe une API d'exportation des commentaires, donc la doc est ici :
https://www.refuges.info/api/doc/#/api/contributions

C'est léo qui avait codé ça, et j'ignore si c'est toujours fonctionel et utilisé.
Avatar du membre
Dominique
Messages : 3705
Enregistré le : 08 avr. 2006, 21:58

Re: Cadences infernales

Message par Dominique »

Pascal 74 a écrit : 12 juin 2024, 19:10 Le chiffre à la fin de l'URL "Photos" du site ressemble à l'incrémentation d'un compteur chronologique mais son absence dans l'URL n'a pas d'incidence.
Il s'agit du nombre d'octets du fichier.
C'est un moyen de blooser les caches à différents niveaux qui sans ça, en cas de changement de fichier, continueraient à servir un vieux fichier pendant 8 heures avec la même url
Je suis d'accord que dans le cas standard ça n'a pas d'utilité mais ça m'a em.... en développement alors j'ai généralisé
Avatar du membre
Pascal 74
Messages : 872
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: Cadences infernales

Message par Pascal 74 »

Dominique a écrit : 12 juin 2024, 20:11
Pascal 74 a écrit : 12 juin 2024, 19:10 Le chiffre à la fin de l'URL "Photos" du site ressemble à l'incrémentation d'un compteur chronologique mais son absence dans l'URL n'a pas d'incidence.
Il s'agit du nombre d'octets du fichier.
C'est un moyen de blooser les caches à différents niveaux qui sans ça, en cas de changement de fichier, continueraient à servir un vieux fichier pendant 8 heures avec la même url
Je suis d'accord que dans le cas standard ça n'a pas d'utilité mais ça m'a em.... en développement alors j'ai généralisé
Tu es sûr ? Parce-ce dans l'exemple que j'ai choisi, cela voudrait dire que la photo fait 1,7Go ! Pour un film de 90mn en haute résolution je veux bien mais pour une photo, cela est un peu Too Much (ou alors les trois derniers chiffres ne sont pas significatifs). Au delà, ce n'est pas important et je peux continuer à vivre sans ça ;)
Pour une montagne libre.
Avatar du membre
Dominique
Messages : 3705
Enregistré le : 08 avr. 2006, 21:58

l'API d'export des commentaires n'était plus fonctionnelle

Message par Dominique »

Pascal 74 a écrit : 12 juin 2024, 21:16
Dominique a écrit : 12 juin 2024, 20:11 Il s'agit du nombre d'octets du fichier...
Tu es sûr ? Parce-ce dans l'exemple que j'ai choisi, cela voudrait dire que la photo fait 1,7Go ! Pour un film de 90mn en haute résolution je veux bien mais pour une photo, cela est un peu Too Much (ou alors les trois derniers chiffres ne sont pas significatifs). Au delà, ce n'est pas important et je peux continuer à vivre sans ça ;)
Oups rien, ne t'échappe ! C'est la date de création du fichier au format Unix (nombre de secondes depuis le 1er janvier 1970)
Autrement dit, un paramètre qui change uniquement si on change le fichier. Moyen assez brutal mais très efficace et peu consommateur de ressources pour recharger sans équivoque un fichier qui a changé sans perdre le bénéfice des caches quant il n'a pas changé.
Ce paramètre n'a pas d'incidence sur la photo demandée, c'est juste pour indiquer au réseau qu'on n'a plus le même fichier.
(on peut aussi utiliser la longueur, une clé cryptographique du contenu, ...)


sly a écrit : 11 juin 2024, 10:23
Pascal 74 a écrit : 11 juin 2024, 10:09 À ce propos (je m'adresse à Sly), existe-t-il un moyen simple (genre URL) d'accéder à la base de photos du site ?
Simple au sens "Reproductible sans mon intervention et en moins de 1 minute" : Pas qui me vient à l'esprit...
Quid d'un "Options +Indexes" bien placé ?
Bon, ça donnera une page de 80 km de long mais on a le nom des url
Avatar du membre
sly
Messages : 5041
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

Re: Cadences infernales

Message par sly »

Dominique a écrit : 12 juin 2024, 21:37 Quid d'un "Options +Indexes" bien placé ?
Bon, ça donnera une page de 80 km de long mais on a le nom des url
J'y est pensé, mais je doutais que ça puisse servir à pascal d'avoir une liste immense de photo non significative de ce style :

Code : Tout sélectionner

10278-originale.jpeg
10278-reduite.jpeg
10787-originale.jpeg
10787-reduite.jpeg
10788-originale.jpeg
10788-reduite.jpeg
11078-originale.jpeg
11078-reduite.jpeg
11378-originale.jpeg
11378-reduite.jpeg
11478-originale.jpeg
11478-reduite.jpeg
11578-originale.jpeg
11578-reduite.jpeg
11678-originale.jpeg
11678-reduite.jpeg
11778-originale.jpeg
11778-reduite.jpeg
11786-originale.jpeg
11786-reduite.jpeg
11787-originale.jpeg
Car de ce que j'ai deviné de l'envie de Pascal, c'était de faire des statistiques sur le nombre de photos ajoutées par un Rémi, et cette liste sans fin de photo ne lui servira à rien.
Ce qu'il faut, c'est un accès à la base de donnée et une mini formation sur SQL, et ça, ça dépasse la minute.
Mais sinon, une fois qu'on parle couramment le SQL, on demande ce qu'on veut ou presque :

Code : Tout sélectionner

SELECT count(*) as nombre_de_photos
FROM "commentaires" 
where 
id_createur_commentaire=5291 
and photo_existe = 1

nombre_de_photos
1685
(Sans compter que je ne souhaite pas non plus faciliter aux robots le pompage massif des photo du sites pour devoir gérer de nouvelles saturation d'un nième robot mal fichu qui pompe tout.)
Avatar du membre
Pascal 74
Messages : 872
Enregistré le : 17 juin 2007, 16:37
Localisation : Annecy

Re: Cadences infernales

Message par Pascal 74 »

Laisse tomber Sly. Si j'ai du temps à l'avenir, je pourrai toujours me mettre au SQL qui ne m'est pas complètement inconnu (j'ai déjà manipulé des instructions simples pour faire des opérations sur des bases de données Access, par exemple). Et puis, Le comptage des photos de Rémi relève plutôt du cas unique, statistiquement parlant. Dans les autres cas, il sera plus rapide (pour moi en tout cas) de compter manuellement ; sauf si on avait de nouveau un contributeur prolifique comme Rémi mais je me dis que la probabilité doit être très faible (on se rassure comme on peut).

Je me charge de contacter 'francois".
Pour une montagne libre.
Avatar du membre
sly
Messages : 5041
Enregistré le : 29 févr. 2004, 17:59
Localisation : Chambéry - Savoie

[corrigé] l'API d'export des commentaires n'était plus fonctionnelle

Message par sly »

Pascal 74 a écrit : 12 juin 2024, 19:10 Pour répondre au post de Sly ci-dessus, L'API de Léo n'a plus l'air de fonctionner (en tout cas, pas dans mon navigateur).
Bon, ça faisait un peu désordre un truc qui ne marche plus, j'ai trouvé d'où ça venait et je l'ai corrigé.
Mais à vu de nez, ça ne marchait plus depuis au moins 2 ans, c'est dire si c'était utilisé vu que personne ne l'a signalé !

Ceci étant réparé, ça ne fait pas vraiment ce que tu voudrais, mais à lire le code, je constate que pour assez peu d'effort je devrais pouvoir activer une forme de contournement......... (1h ont passée, c'était plus compliqué que prévu).......

Mais bon, voilà, ça exporte à nouveau. Alors il n'y a pas énormément de filtres disponible (juste les numéro de massif) mais on peut maintenant exporter en masse vers un tableur, et de là, moyennant les filtres de son tableur, faire plein de stats :

Voilà l'url qui exporte les 5000 derniers commentaires du site :
https://www.refuges.info/api/contributi ... ombre=5000