Parfois, il arrive qu’un de vos clients vous demande de ne crawler son site que pendant la nuit, et quand celui-ci possède des millions de pages, cela s’avère un peu compliqué.
L’excellent crawler (Screaming Frog) n’intègre pour le moment (v 7.1) pas de module de programmation, ni de reprise du crawl après un arrêt, il faut donc ruser pour y parvenir.
Pour arriver à mettre en pause le crawl, j’ai donc utilisé AutoHotkey . Pour commencer, ouvrez votre notepad préféré, et enregistrer le script suivant dans un fichier .ahk
IfWinExist, Screaming Frog
{
WinActivate , Screaming
Send {Space}
}
Il vous faut maintenant débuter le crawl sur votre machine, puis cliquer sur Stop. Faites bien attention, à ne pas recliquer ailleurs sur la fenêtre. Il faut que le focus reste sur le bouton Stop !
Normalement, vous devez voir un petit encart autour du texte sur le bouton.
Planifiez 2 tâches lançant le fichier .ahk à 1 heure et une autre à 6 heure par ex.
La première enverra la touche espace à la fenêtre Screaming Frog, c’est à dire « Resume », et la 2e lui enverra « Stop ».
J’ai essayé d’isoler le bouton en fonction du texte, mais je n’ai pas trouvé de solution facile à mettre en oeuvre.
Si vous avez la solution, histoire de sécuriser davantage le process, faites m’en part dans les commentaires.
Bon crawl à vous…
Une dernière astuce:
Parfois Screaming Frog plante sur des gros sites, il faut donc couper le crawl, sauvegarder, puis reprendre. Ainsi on est sur d’avoir le meilleur crawl possible. Pour automatiser cela, il vous faut lancer le fichier AU3_Spy.exe. Celui ci vous indiquera la position de votre souris (C’est l’info Relative qui est importante). Voici le code sur mon PC:
IfWinExist, Screaming Frog
{
WinActivate , Screaming
MouseClick, left, 687,70
sleep, 2000 ;(wait 2 seconds)
MouseClick, left, 17, 37
Send {Down}
Send {Down}
Send {Down}
Send {Enter}
Send {nom_fichier}
Send {Enter}
Send {Enter}
sleep, 2000 ;(wait 2 seconds)
MouseClick, left, 687,70
}
Ici, 687,20 indique la position du bouton Stop/Resume. et 17,37 celle du menu File.
