Lorsque vous cherchez à scraper des sites, de multiples solutions s’offrent à vous. Vous avez les scrapers de base en mode logiciels tels que Screaming Frog (le meilleur d’après moi, et un SAV de ouf), ou encore Xenu LinkSleuth, Httrack… Mais si votre projet est de construire votre scrapeur personnel, (car vous devez ajouter des règles hyper spécifiques) alors le choix se portera sur d’autres critères. Voila un petit résumé des solutions que j’ai testé.
Mes programmes
Divers programmes que j’ai développés.
Scraper avec de la pagination
Il y a peu je devais scraper des données provenant de pages dont l’url était du type www.toto.com/page/1. En cherchant sur les plugins de scrap, je suis tombé sur 2 très intéressant: Data Scraper Scraper Le 1er est plutôt bien pensé, mais nécessite de créer un compte et est limité à 500 pages de scraps. Le … Lire la suite
Surveiller un flux RSS et recevoir une alerte mail
Cela fait un moment que je cherchais une solution pour surveiller l’apparition de certains mots-clés dans des flux RSS, mais que le résultat me soit envoyé par email. Il existe aujourd’hui beaucoup de solutions pour gérer ses flux, mais aucune (open source) à ma connaissance ne permet cela.
Migrer les followers d’un compte Twitter vers un autre
Pas facile d’abandonner son compte avec tous ses followers, pour en prendre un nouveau, mais parfois, ca doit se faire quand même. Alors pour cela, automatisons des rappels/spams pour ceux qui n’ont pas suivi la transition. Pour commencer, il vous faudra la libraie Twitter PHP dispo sur https://github.com/abraham/twitteroauth Ensuite, rendez-vous sur dev.twitter.com et créér une application pour … Lire la suite
Kchehck ou comment faire confiance aux plateformes de crowdfunding
Récemment, je vous indiquais pourquoi de nombreux projets de financement participatif n’étaient que des arnarques. Mais aujourd’hui, je vous propose une solution pour parvenir à dénicher les scams des vrais projets. L’idée est de partir d’un site internet https://www.kchehck.com . Ce site (si ca fonctionne) va concentrer tous les retours des internautes à propos des différentes campagnes. … Lire la suite
Hack de wordpress, comment retrouver les failles
Ca fait un moment que je bosse dans le domaine du web, mais ces 12 derniers mois en ce qui me concerne auront été les pires en matière de piratage. Autant, j’ai toujours aimé le coté innovant, et un peu provoquant des pirates de sites, autant là, j’en ai plein le C### ! Synology, Joomla, … Lire la suite
Tasker: l’outil indispensable d’Android !
Tasker est un outil d’automatisation des tâches. Il vous permet de déterminer un enchainement d’actions lorsqu’un évenement se déclenche. Voici quelques examples: – désactiver la 3G (data) et activer le vibreur au bureau entre 8h – 12h, puis 14h – 18h, – activer la 3G toutes les 15 minutes pour économiser sa batterie, – lancer … Lire la suite
Tirer partie de l’open graph avec vos données
L’intêret de l’open graph de Facebook c’est de pouvoir préciser les actions des internautes à travers des balises sémantiques. Vous pouvez donc remplacer le toto aime cette page, par toto cuisine de la dinde, ou toto lit le dernier tintin. Bref, pour certains sites, ca peut devenir interessant et augmenter votre visibilité. Comme avec Facebook, … Lire la suite
Extension chrome Le bon coin pour savoir si vous avez déjà cliqué sur l’annonce
Je ne sais pas vous, mais pour moi la politique du bon coin de republier automatiquement les annonces passées en mettant la date du jour à aujourd’hui m’énerve au plus au point. Je serais même prêt à payer pour ne pas recliquer 50 fois sur la même annonce. Je suis actuellement plusieurs annonces immobilières, et … Lire la suite
Export csv OpenSiteExplorer – export excel décalage de colonnes
Pour ceux qui utilisent OpenSiteExplorer pour lister les backlinks sur vos sites, vous avez surement rencontré des problèmes sur les exports. Impossible de récupérer ceux-ci sous Excel sans avoir des décalages de colonnes. Bref pour faire court, voila un petit script VBA à placer dans une macro Excel qui devrait vous soulager. Le fichier doit … Lire la suite