optimiser like '%KEY%' dans une très grosse table

+3 votes
132 vues
question 4 Janvier dans Sql Phpmyadmin par paco (436 points)  
A mon tour de poser une question.

J'ai une table qui contient 165 millions d'enregistrements ( des séquences génétiques ) de tailles variables. J'ai besoin de rechercher des patterns de quelques dizaines de "caractères" sans que ça prenne 7 min à chaque fois.

On me dit que c'est impossible mais un compétiteur de mon client trouve ses résultats en 10 secondes. Comment fait il ?
commentée 4 Janvier par ladmin (2,102 points)  
il y a des solutions n'utilisant pas Mysql pour tout. Quelles sont les limites de tailles de l'élément à retrouver  ( min, max et exemples de valeurs ) et celles des chaines de référence. C'est codé en base 4 ou avec des lettres ?
commentée 5 Janvier par anvers (242 points)  
il faut du codage de bas niveau en C , perl ou php. Ce n'est pas l'affaire de quelques minutes mais je peux m'en charger.
commentée 5 Janvier par ladmin (2,102 points)  
pour bien faire, ce serait intéressant d'ajouter un storage engine avec un gros cache disque. Avec des update différés , c'est plus facile ; c'est surement la seule solution économique ET réaliste ... Ceci dit, je ne vois qu'un petit cas où ça peut être utile voir https://fr.wikipedia.org/wiki/Alignement_de_s%C3%A9quences .  Je suppose qu'il s'agit de limiter la sélection à analyser plus finement avec les algos en référence. Dans l'attente des détails ...
commentée 5 Janvier par anvers (242 points)  
C'est comme cela que je l'ai compris. J'ai juste besoin de savoir la longueur en octets de toutes les chaines, leur nombre et la taille minimale des patterns pour calculer la base optimale.
commentée 6 Janvier par ladmin (2,102 points)  
je n'ai pas eu une minute pour répondre. Anvers , vous pouvez exposer la procédure en laissant Paco effectuer les calculs de faisabilité
commentée 6 Janvier par debo (228 points)  
Bonne question qui m'intéresse aussi

Se connecter ou S'inscrire pour répondre à cette question.

Feel free to ask and answer in english

Bienvenue sur les FAQ de 123.fr, posez vos questions ou répondez à celles des autres usagers.

...