RipGrep – Auf die schnelle Art

Das Problem: 44GB Daten von geleakten Accounts sollen möglichst schnell durchsucht werden. Zur Verfügung steht eine Workstation mit 128GB RAM und dual Xeon CPU. Ein Ubuntu 16.04 läuft in einer VM mit 12 zugewiesenen Cores, die Account Daten sind in einer RAM-Disk abgelegt.

Mit Grep sind 4min 15s fällig um die Daten einmal komplett zu durchsuchen, da nur ein Core verwendet wird.

RipGrep läuft im Gegensatz zu Grep auf allen Cores, und durchkämmt die RAM Disk in nur 5 Sekunden! Dank SSH Zugang auch vom Handy aus.

Versuche die Daten in eine MariaDB zu importieren waren nicht sehr erfolgreich: Der Import aus den Text Dateien führte zu vielen Fehlern, und die Such-Performance überzeugte nicht.