Comment gérer un (très) gros volume de données?

[nicopat]

Bonjour,

Je travaille sur un fichier qui fait 85 MO.
Je souhaiterais intégrer un très gros volume de données (tables de références) : plusieurs dizaines, voire centaines de millions de lignes, sur 6 colonnes environ. Je pense stocker les données soit sur plusieurs feuillets, soit par tranches de 6 colonnes dans le même feuillet.
Je n'ai pas de filtre à réaliser sur ces doonées : elle servent just à être appelées comme valeur de référence par certains algos de mon fichier.
Le plan est d'appeler ces données avec BDLIRE().
J'ai testé sur 600.000 lignes : le poids de mon fichier augmente de 6MO.
Après un produit en croix, j'estime le poids de monfichier après import des données à 1GO+85MO !!!

Je bosse avec excel 2007 avec cette machine : Intel Core i5-4440 CPU @ 3.1GHz, 16MO RAM, Windows 10, 64 bits OS, x64 processor

Quelqu'un a-t-il déjà travaillé avec de si gros fichiers excel?
Cela vous semble-t-il jouable de bosser avec de tels fichiers?
Sachant que je devrais avoir 6 versions de ce fichier ouvertes en permanence sur mon ordi, et fonctionnement séparément en temps réel.
Stocker ces données dans une BDD acess vous semble-t-il + rapide à l'utilisation? Si tel est le cas, y a-t-il un tutoriel pour réaliser une requête qui va chercher une donnée correspondant à un ID ?

Merci,

 

[eriiic]

Bonjour,

avec 2007 je crains que tu n'aies guère le choix.
Tu ne peux pas utiliser power pivot dessus et avec un tel volume ça risque d'être très lent (au mieux) et instable.
Access est sans doute le plus raisonnable mais je ne saurais te guider
eric

 

[Spinzi]

Bonjour,

effectivement, excel n'est pas l'outil optimal : c'est un tableur, un outil de synthèse, pas un outil de base de données.
PowerPivot n'est pas assez puissant pour gérer un nombre de données si important (avec 1 millions de lignes ça rame déjà).

Je pense que ce rôle revient à Access.

Spinzi

 

[eriiic]

Ca serait sympa d'indiquer par des liens croisés les différents forums où tu as posté.
Ca éviterai de redire ce qui l'a déjà été, et accessoirement de ne pas chercher pour rien si la solution est présente ailleurs...
eric

 

[dg62]

Bonjour,

pour se connecter à Access :
'connexion à la base
Sub connectDB()
Set espace = DBEngine.Workspaces(0)
Set Mabase = espace.OpenDatabase("chemin et nom de votre base")
Set MesEnregist = Mabase.OpenRecordset("Ma table", dbOpenDynaset)
End Sub
et ensuite faire une requête SQL
MaRecherche = "SELECT champ from Ma table Where [ID]=...

c'est à peu près ce que j'avais utilisé pour lier une table access à Excel
@+

 

[nicopat]

OK, merci à tous, je vais probablement avoir recours à access alors

 

[Modeste geedee]

Bonsour®

Bonjour,

Je travaille sur un fichier qui fait 85 MO.
Je souhaiterais intégrer un très gros volume de données (tables de références) : plusieurs dizaines, voire centaines de millions de lignes, sur 6 colonnes environ. Je pense stocker les données soit sur plusieurs feuillets, soit par tranches de 6 colonnes dans le même feuillet.
Je n'ai pas de filtre à réaliser sur ces doonées : elle servent just à être appelées comme valeur de référence par certains algos de mon fichier.
Sachant que je devrais avoir 6 versions de ce fichier ouvertes en permanence sur mon ordi, et fonctionnement séparément en temps réel.

- Comment sont générées ces données actuellement ?
- sous quelle forme sont-elles rassemblées (fichier propriétaire ou bien déjà sous forme de Bdd)

- Pourquoi vouloir les intégrer dans Excel (la duplication n'est pas une solution pérenne.... MàJ)
- envisager l'utilisation de MSQuery