optimiser like '%KEY%' dans une très grosse table

+3 votes
4,971 vues
question 4 Janvier 17 dans Sql Phpmyadmin par paco (436 points)  
A mon tour de poser une question.

J'ai une table qui contient 165 millions d'enregistrements ( des séquences génétiques ) de tailles variables. J'ai besoin de rechercher des patterns de quelques dizaines de "caractères" sans que ça prenne 7 min à chaque fois.

On me dit que c'est impossible mais un compétiteur de mon client trouve ses résultats en 10 secondes. Comment fait il ?
commentée 4 Janvier 17 par ladmin (2,277 points)  
il y a des solutions n'utilisant pas Mysql pour tout. Quelles sont les limites de tailles de l'élément à retrouver  ( min, max et exemples de valeurs ) et celles des chaines de référence. C'est codé en base 4 ou avec des lettres ?
commentée 5 Janvier 17 par anvers (269 points)  
il faut du codage de bas niveau en C , perl ou php. Ce n'est pas l'affaire de quelques minutes mais je peux m'en charger.
commentée 5 Janvier 17 par ladmin (2,277 points)  
pour bien faire, ce serait intéressant d'ajouter un storage engine avec un gros cache disque. Avec des update différés , c'est plus facile ; c'est surement la seule solution économique ET réaliste ... Ceci dit, je ne vois qu'un petit cas où ça peut être utile voir https://fr.wikipedia.org/wiki/Alignement_de_s%C3%A9quences .  Je suppose qu'il s'agit de limiter la sélection à analyser plus finement avec les algos en référence. Dans l'attente des détails ...
commentée 5 Janvier 17 par anvers (269 points)  
C'est comme cela que je l'ai compris. J'ai juste besoin de savoir la longueur en octets de toutes les chaines, leur nombre et la taille minimale des patterns pour calculer la base optimale.
commentée 6 Janvier 17 par ladmin (2,277 points)  
je n'ai pas eu une minute pour répondre. Anvers , vous pouvez exposer la procédure en laissant Paco effectuer les calculs de faisabilité
commentée 6 Janvier 17 par debo (228 points)  
Bonne question qui m'intéresse aussi

Se connecter ou S'inscrire pour répondre à cette question.

Feel free to ask and answer in english

Bienvenue sur les FAQ de 123.fr, posez vos questions ou répondez à celles des autres usagers.

...