Export en CSV impossible avec modules Dolistore

Bonjour,
mon problème est le suivant: on a un Dolibarr v9 avec des attributs supplémentaires pour les tiers et les contacts afin de réaliser des filtrages sur des critères personnalisés. On a acheté deux modules sur le Dolistore pour pouvoir exporter directement à partir de la liste des contacts / tiers le résultat d’une recherche basée sur les attributs supplémentaires. Les modules achetés permettent d’exporter en une liste CSV le résultat du filtrage. le souci est que, soit ça plante, soit la liste est incomplète. Le résultats attendus donnent à peu près dix mille entrées dans la liste. Je ne pense pas que ce soit le volume qui pose problème. Mais on a le même problème avec les deux modules. Dolibarr tourne sous un serveur Windows sous Wamp.
Je pense recréer la même instance Dolibarr sur un autre PC pour voir s’il y a des changements mais, auriez-vous des pistes pour essayer de régler ce problème?
Merci d’avance pour vos retours.

Bonjour,

De quels modules parlez vous ?
Avez-vous contacter les dévellopeurs ?

Slt

1 « J'aime »

Bonjour,
les modules sont Liste en CSV de ATM et Liste Exportation / Importation.
Nous avons la même difficulté avec les deux modules, ce qui me fait penser à un problème venant de Dolibarr plutôt que des modules. Nous avions contacté le premier développeur avant de réaliser l’achat en expliquant que nous travaillons avec des attributs supplémentaires pour les filtrages. Il nous a proposé de l’acheter et s’il ne convenait pas, de demander un remboursement. Ensuite nous avions contacté ATM, le module a été acheté mais le problème se reproduit, donc je doute que cela vienne des modules.
Je n’ai pas encore terminé le test sur un Dolibarr similaire avec la même BDD sur un autre PC avec Wamp. Je verrai comment ça se passe et je ferai un retour.

[quote=« Scratchbarr, post:1, topic:29703 ». Le résultats attendus donnent à peu près dix mille entrées dans la liste. Je ne pense pas que ce soit le volume qui pose problème.
[/quote]

ca peut faire bcp qd meme …et declencher un timeout
essayer de diminuer qd meme si possible ds les tests :tongue:

Oui, en effet, si c’est ça le soucis, comment empêcher le timeout?

J’ai trouvé un sujet un peu similaire ici: www.dolibarr.fr/forum/t/resolu-ventilation-client-comptabilite-expert/21685/1
Un problème d’index sur les tables?

Ou d’encodage des tables? 90% des tables sont en utf8_general_ci (dont la tables llx_socpeople_extrafields pour les attributs supplémentaires) et quelques unes en latin1_swedish_ci, dont la table du module Liste Exports / Imports. Je joins deux captures d’écran. Des idées?
Merci

extrafields.png

listexportimport.png

Bonjour,

Peut-être ceci à tester : www.dolibarr.fr/forum/t/illegal-mix-of-collations-utf8-unicode-ci-implici/26923/3
Sous toute réserve. Bien lire l’ensemble de la discussion.

Frédéric

1 « J'aime »

Bonjour
C’est au niveau du serveur PHP que ça se passe. Avez vous la main sur le PHP.ini ?
10000 lignes en mode web ça fait beaucoup. Une extraction depuis phpmyadin ?
@+

@amipc07 merci, je vais voir ça.
@philazerty, oui, j’ai accès au fichier en question. Je vais tester tout ça et vous fais mes retours.
Merci à vous deux

A titre d’infos j’ai eu des fichiers avec plus de 500.000 lignes à générer pour certains de mes clients et on passe par un script en tache planifié, il dépose le ficher dans un dossier ftp ce qui est aussi plus sécure… (voir on peu l’envoyer par ftp mais cela oblige à avoir un mdp en claire dans le script…

Merci à tous pour vos retours.
Je vais quand même faire une précision, je n’ai peut être pas été claire lors de mon premier post. Dans la liste de personnes, on va par exemple sélectionner celles qui sont en CDI (ou pas), l’opération se fait assez rapidement, par contre là où ça bloque c’est lorsqu’on clique sur le bouton pour exporter la liste en CSV que ça mouline, ça plante, ou ça fait un export incomplet, par exemple sur 10000 résultats obtenus il va créer un fichier avec 6000 résultats.

La requête SQL se passe bien. Dans phpmyadmin j’ai lancé une requête SQL sur un attribut construit avec un bouton radio, où 1=OUI et 2=NON. Voici les captures d’écran.
Puis, lorsque je clique sur le bouton du module pour obtenir une liste en CSV j’obtiens le message « Page ne répondant pas » (capture d’écran aussi)

requete_SQL1.png

requete_SQL2.png

message.png

Bonjour,

Normal que phpmyamdin ça se passe bien puisque il demande que les 25 premiers résultats et pas les 6000
C’est surement un probléme de taille, vous avez quoi comme valeur pour :
memory_limit
max_execution_time
dans votre php.ini ?

Question subsidiaire cela fait la même chose sous Firefox ?

Bonjour Ksar,
merci pour votre réponse.
Voici les valeurs dans php.ini

memory_limit = 4000M (Dolibarr tourne sur un serveur Windows avec 32Go de RAM)
max_execution_time = 120

Et en augmentant le max_execution_time à 360 par exemple ?

Toujours pareil.
J’ai modifié la valeur et relancé les services mais ça bloque toujours…

Après quelques tests je reviens poster mes conclusions.
Ce Dolibarr tourne donc sur un serveur Wamp. L’ancienne version de Dolibarr tournait sur un serveur IIS. J’ai installé une copie conforme de Dolibarr v9 sur le IIS pour voir. Les modules fonctionnent mais pour des extractions de quelques centaines de lignes, dès qu’on passe par exemple à 4000 lignes, le navigateur demande de quitter la page ou d’attendre, et si on attend encore, la liste finit par arriver. Il y a donc bien un problème de timeout comme vous me l’aviez dit.
Pour l’ancienne version Dolibarr (v6), les exports fonctionnaient (pour peu de lignes ou beaucoup) mais les modifications avaient été apportées au niveau du code source de Dolibarr.
Je continue mes recherches

Regardez la valeur de max_input_vars dans le php.inl
J’ai eu des traitements incomplets chez des clients à gros volumes et c’était ça. Les valeurs passent en paramètre post pour certaines opérations. Peut-être la même chose avec listcsv.
@+

1 « J'aime »