Importation de grande quantité de données dans la BD

Je souhaite importer près de 50 000 produits dans ma BD Dolibarr et 35 000 tiers. Je n’y parviens pas en utilisant les outils d’importation. Je souhaite importer directement dans la BD en utilisant phpmyadmin.
Quel pourrait être la bonne méthodologie?
Pourrais avoir un fichier qui montre la structure des données dans les tables concernées?

J’ai exporté une table à partir de phpmyadmin et je vois par exemple NULL dans certaine cellule, devrais-je garder ce NULL dans mon fichier à importer ou simplement laisser vide? Merci pour toute aide.

Bien cordialement

Bonjour,
quand vous dites « Je n’y parviens pas en utilisant les outils d’importation » pouvez-vous détailler ?

À lire le titre on pourrait croire que c’est à cause de la quantité, si c’est ça la solution la plus simple qui ne nécessite pas de bricolages: faire X fichiers d’imports … par exemple essayez d’importer 10.000 tiers pour voir, si ça ne passe pas alors 5000.
Éric

Bonjour :slight_smile:

Concernant les imports, je pense que la meilleure solution est de créer un script sql qui construit votre base de données à partir des informations et documents dont vous disposez…
pour exemple :

Bonne continuation

Bonjour, avec-vous regardé du côté du delai d’execution maximum dans le php.ini?

Je regarde çà de suite. c’est un très bon point. Merci

Bonjour, essayez également en CSV plutot que Excel.

1 « J'aime »

Très instructif, Merci pour l’idée

Bonjour il faut regarder dans phomyadmin la structure des tables, les clés étrangères commencent par fk_ du coup ce n’est pas trop compliqué :slight_smile:
J’ai importé une table pour les tickets, d’abord la table principale llx_ticket pour moi (il faut attribuer une clé unique pour les clés primaires), puis une fois importée la table secondaire (dans mon cas llx_ticket_extrafield)

Bonjour,
A la recherche d’infos concernant les perfs de Dolibarr avec des très gros fichiers produits (+de 500 000 en ce qui nous concerne) je viens de tomber sur ce post et je peux vous dire que j’importe régulièrement des fichiers produits en format CSV par 40 000 Lignes, je crois que mon maxi a été de 46000 lignes (je ne pouvais pas dépasser 3000 ou 4000 en format Excel) (timeout à 2mn et ça plantait)

Par contre mon souci, je cherche à améliorer globalement la vitesse de réponse de Dolibarr pour l’affichage de la liste des produits non filtrés (environ 8 secondes pour affichage de la première page de 25 produits à chaque appel de la liste pour 443 000 produits environ alors que c’est instantané quand j’interroge directement la base avec Adminer ou phpmyadmin). Également très long en saisi ligne produit dans une propale ou facture avant apparition de la liste, idéalement j’aimerai avoir le choix entre saisie par référence exacte quand je la connais ou recherche dans le libéllé quand je ne la connais pas). Si une bonne âme a un tuyau à me donner, je suis preneur.
Et merci à tout ceux qui prenne « un peu » de leur temps pour nous aider :wink:

Il faudrait avoir les requêtes exactes faites sur la base de données.
phpMyadmin ne fait pas de jointures en listant simplement les tables et n’appelle donc pas d’autres tables qui elles, seraient mal indexées ou autre.
Le log dolibarr.log peut servir à voir les requêtes en mode debug.
Il faudrait aussi voir le contexte d’hébergement.
Difficile en tout cas de savoir sans avoir un double de la base et le temps pour analyser le problème.

Bonjour,

avez-vous un temps de réponse identique si vous affichez la liste des produits sans filtrer sur produit/service ?

l’url est
product/list.php

au lieu de
product/list.php?type=0 pour les produits
ou
product/list.php?type=1 pour les services

De quel outil puis-je me servir pour bien convertir mes fichier excel en csv. Dolibarr ne reconnait pas ma conversion jusque-là

EXCEL tout simplement

Open Office ou Libre Office gèrent bien les csv

1 « J'aime »

Pas de conversion. Il suffit de faire enregistrer sous et de choisir le format csv. Excel ou libreoffice calc.