Scraper site

Cet article est une ébauche concernant Internet.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Un scraper site (traduction littérale, site rebut) est un site Web qui ne contient aucune information utile pour un internaute, son contenu étant copié automatiquement depuis d'autres sites dans le but principal de générer des revenus publicitaires,.

Certains scraper sites copient le contenu d'un ou de plusieurs autres sites en utilisant une technique appelée web scraping. Ces sites n'ont pas de valeur parce qu'ils contiennent des informations déjà disponibles sur d'autres sites. De plus, comme les scraper sites ne sont pas mis à jour lorsque les sites sources sont mis à jour, ils deviennent rapidement désuets.

D'autres scraper sites contiennent des mots choisis aléatoirement dans un dictionnaire auxquels sont ajoutés des mots fréquemment recherchés (comme sexe et nudité) et des publicités. Comme les publicités sont les seuls éléments compréhensibles de ces sites, les visiteurs ont parfois le réflexe de cliquer sur ces publicités, ce qui est l'objectif premier du propriétaire du site.

Le but du scraper site est d'attirer des internautes pour générer des revenus avec les publicités affichées sur le site. Les scraper sites attirent les internautes en trompant les moteurs de recherche qui affichent des liens vers ces sites dans les résultats de recherche. Comme les scraper sites tentent de tromper les moteurs de recherche, ils sont considérés comme du référencement abusif (spamdexing) et les algorithmes des moteurs de recherche comme le PageRank de Google tentent d'identifier ces sites pour les éliminer des résultats de recherche, notamment via la mise à jour Panda déployée à partir de ,, complétée par la mise à jour Penguin qui cible plus spécifiquement les liens artificiels.

Types de scraper sites

Les scraper sites prennent plusieurs formes, :

Techniques utilisées

Le scraping repose généralement sur des robots qui envoient une succession de requêtes HTTP GET vers le serveur d'un site et stockent les réponses. Les robots les plus avancés utilisent du JavaScript et des outils d'automatisation de navigateur (par exemple des navigateurs headless) afin d'imiter un utilisateur humain et d'accéder à des contenus protégés derrière des formulaires.

Les techniques courantes incluent l'analyse syntaxique de pages HTML (parsing), l'extraction de données depuis des flux RSS, l'utilisation d'API publiques, ou encore le détournement de logiciels de scraping comme Scrapy, Octoparse ou Apify.

Légalité

Les scraper sites qui copient des informations à partir d'un site dont le contenu n'est pas libre violent la propriété intellectuelle de ces sites.

Même les scraper sites qui copient des contenus libres violent souvent les conditions des licences de ces sites. Par exemple, la licence de documentation libre GNU spécifie que les republieurs doivent informer leurs lecteurs des conditions de la licence d'utilisation des informations et doivent créditer les créateurs des informations. Les scraper sites remplissent rarement ces conditions.

Plusieurs décisions de justice américaines ont par ailleurs reconnu la responsabilité d'opérateurs de scraper sites au titre du Computer Fraud and Abuse Act ou de la doctrine de trespass to chattels. Dans eBay v. Bidder's Edge (2000), le tribunal a ordonné à Bidder's Edge de cesser d'accéder et d'indexer les enchères publiées sur le site d'eBay. Dans Craigslist v. 3Taps (2012), Craigslist a obtenu gain de cause après l'envoi d'une mise en demeure et le blocage des adresses IP de la société 3Taps qui copiait ses petites annonces.

Impact sur le référencement

Le scraping de contenu peut nuire au référencement naturel du site source. Les moteurs de recherche peuvent peiner à identifier la version originale d'un contenu dupliqué, et il arrive que la version copiée se positionne au-dessus de la version originale dans les pages de résultats.

Pour lutter contre ce phénomène, Google a déployé en la mise à jour Panda (initialement nommée Farmer Update), qui dégrade le classement des sites présentant du contenu mince, dupliqué ou copié,. La version Panda 2.2, déployée en , ciblait spécifiquement les scraper sites qui détournaient le positionnement des sites originaux. Depuis 2016, Panda est intégré au cœur de l'algorithme de Google et n'est plus mis à jour de manière distincte.

Méthodes de détection et de protection

Plusieurs méthodes existent pour détecter qu'un contenu a été copié par un scraper site, :

Côté prévention, les administrateurs de sites peuvent recourir à différentes mesures, : limitation du débit des requêtes (rate limiting) par adresse IP, mise en place de CAPTCHA pour les visiteurs suspects, blocage des robots via le fichier robots.txt, modification régulière du balisage HTML pour casser les analyseurs automatiques, ou utilisation de services anti-bots comme Cloudflare ou DataDome. En cas de copie illicite avérée, les ayants droit peuvent envoyer une notification de retrait au titre du DMCA afin d'obtenir le déréférencement du contenu.

Voir aussi

Articles connexes

Notes et références

  1. 1 2 3 4 5 6 7 (en) « What is content scraping? », sur Cloudflare (consulté le )
  2. 1 2 3 (en) « Web scraping: definition, consequences, protection », sur Myra Security (consulté le )
  3. 1 2 (en) Danny Sullivan, « Google Forecloses On Content Farms With "Panda" Algorithm Update », sur Search Engine Land, (consulté le )
  4. 1 2 3 (en) « What Is Google Panda? A Complete Guide », sur Semrush (consulté le )
  5. ↑ (en) « What is Google Panda? », sur Rank Math (consulté le )
  6. 1 2 (en) « What is data scraping? », sur Cloudflare (consulté le )
  7. 1 2 (en) « How Scraped Content May Be Wrecking Your SEO Efforts », sur Rock Content (consulté le )
  8. ↑ (en) « Chapter 7: Google Panda and Other Algorithm Updates », sur eMarketing Institute (consulté le )
  9. 1 2