optimiser like '%KEY%' dans une très grosse table

Question

A mon tour de poser une question.

J'ai une table qui contient 165 millions d'enregistrements ( des séquences génétiques ) de tailles variables. J'ai besoin de rechercher des patterns de quelques dizaines de "caractères" sans que ça prenne 7 min à chaque fois.

On me dit que c'est impossible mais un compétiteur de mon client trouve ses résultats en 10 secondes. Comment fait il ?

Comments

il y a des solutions n'utilisant pas Mysql pour tout. Quelles sont les limites de tailles de l'élément à retrouver  ( min, max et exemples de valeurs ) et celles des chaines de référence. C'est codé en base 4 ou avec des lettres ?

---

il faut du codage de bas niveau en C , perl ou php. Ce n'est pas l'affaire de quelques minutes mais je peux m'en charger.

---

pour bien faire, ce serait intéressant d'ajouter un storage engine avec un gros cache disque. Avec des update différés , c'est plus facile ; c'est surement la seule solution économique ET réaliste ... Ceci dit, je ne vois qu'un petit cas où ça peut être utile voir https://fr.wikipedia.org/wiki/Alignement_de_s%C3%A9quences .  Je suppose qu'il s'agit de limiter la sélection à analyser plus finement avec les algos en référence. Dans l'attente des détails ...

---

C'est comme cela que je l'ai compris. J'ai juste besoin de savoir la longueur en octets de toutes les chaines, leur nombre et la taille minimale des patterns pour calculer la base optimale.

---

je n'ai pas eu une minute pour répondre. Anvers , vous pouvez exposer la procédure en laissant Paco effectuer les calculs de faisabilité

---

Bonne question qui m'intéresse aussi