Microsoft 365 BIG DATA - Calculs avancés - Éviter les plantages ?

[Atiroocky]

Bonjour à tous,

Dans le cadre de certains projets, j’ai besoin de réaliser les calculs à partir de tableaux "normaux" mais qui aboutissent sur des tableaux assez imposants, par exemple 50 colonnes x 300 000 lignes, avec une taille de fichier pouvant avoisiner les 200Mo.
Les fonctions que j’utilise sont par exemple :

• SI
• FILTRE
• EXCLURE
• RECHERCHEX
• PRODUITMAT
• DROITREG
• …

Ces formules sont imbriquées les unes dans les autres et deviennent assez longues.
Les calculs fonctionnent, mais lorsque je lance tout d’un coup, c’est très très long (malgré un PC surpuissant) et ça abouti souvent à un plantage.

J’utilise une version 32bit à cause de certaines macros (vitales) dont les .dll ne sont pas compatibles en 64bit. Déjà fait la malheureuse expérience…

Les deux seules solutions que j’applique pour contourner ce problème de plantage :

• Limiter le nombre de chiffres après la virgule (pas plus de 3). Ça me permet de diviser par 2 la taille du fichier
• Lancer les calculs par groupe de 2 ou 3 colonnes. Copier et coller les résultats (mode texte) dans un autre classeur.

C’est long, c’est rébarbatif, ça me rend fou de gaspiller autant de temps et d’énergie pour ça.
En passante à une version 64bit, j’éviterai peut-être les plantages, mais ça ne jouera pas sur les temps de calculs qui peuvent dépasser 10mn par feuille.

J’ai déjà gagné pas mal de temps en utilisant PowerBI au lieu des TCD d’Excel pour l’analyse des données. C’est formidable.
J’ai déjà comparé la vitesse d’exécution d’une requête de type "arrondi" ou remplacer "." par "," sur des millions de cellules entre PowerQuery et Excel. C’est flagrant.

Je me demande s’il n’est pas possible d’utiliser PowerQuery pour réaliser ces mêmes calculs à partir des formules que j’utilise ?
Ou y-a-t-il d’autres moyens ? (autres logiciels ?)

Je suis preneur de toute suggestion. Merci à tous.

 

[merinos]

Bonjour @Atiroocky ,

300.000 lignes et des transformations de données... Si tu n'emploie pas powerquery, cela va planter.


PowerQuery et PowerPivot... c'est chou vert et vert chou avec PowerBI... Juste l'interface qui change.

Mon conseil:

Tu places tes données dans des fichiers a part.
Avec Query, tu les charges en mémoire en faisont toutes les tansformations que tu veux. (pas de création de tables visibles)
Avec pivot, tu crées tes mesures... puis des pivots montrent ce que tu veux.

Tu peux facilement monter a quelques millions de lignes comme cela.

a+
Merinos

PS: tu peux même créer une fonction qui transforme des fichiers sources... ce qui permet de charger tous les fichiers d'un répertoire. Je suis monté à 22 millions de lignes comme cela.