ウェブスクレイピング

ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。ウェブスクレイピングはユーザーが手動で行なうこともできるが、一般的にはボットやクローラ(英: Web crawler)を利用した自動化プロセスを指す。

ウェブスクレイピングは多くの検索エンジンによって採用されている、ボットを利用してウェブ上の情報にインデックス付けを行うウェブインデクシングと密接な関係がある。ウェブスクレイピングではウェブ上の非構造化データの変換、一般的にはHTMLフォーマットからデータベースやスプレッドシートに格納・分析可能な構造化データへの変換に、より焦点が当てられている。また、コンピュータソフトウェアを利用して人間のブラウジングをシミュレートするウェブオートメーションとも関係が深い。ウェブスクレイピングの用途は、オンラインでの価格比較、気象データ監視、ウェブサイトの変更検出、研究、ウェブマッシュアップやウェブデータの統合等である。

手法

ウェブスクレイピングはWWWから自動的に情報を収集する処理に他ならない。この分野はいまだテキスト処理や意味論的理解、人工知能、ヒューマンコンピュータインタラクションの面でブレークスルーを必要としている野心的な手法であるセマンティックウェブと目指すところが近い。対して、ウェブスクレイピングでは既存技術に基づいた、その場しのぎであろうとも現実的な解決案を良しとする。したがって、ウェブスクレイピング技術は次のような異なる自動化技術の集合体である。

法的問題

ウェブスクレイピングはいくつかのウェブサイトの規約に反する可能性がある。 例えば、短文投稿サイトのツイッターではサービス利用規約によって明示的に禁止されており、APIの利用が必須となる。

米国時間2025年11月10日に、Wikipediaを運営する非営利団体ウィキメディア財団は、AIを扱う企業へAIモデルのトレーニングを目的としたWikipedia等のデータ収集（スクレイピング）をする際に無断で行うのを止めて、ウィキメディア財団の提供する有料APIを利用し、Wikipedia等を出典としたことを示すクレジット表示と財政的支援を求める声明を発表した。

日本法においては、著作権法第30条の4（著作物に表現された思想又は感情の享受を目的としない利用）および第47条の5の規定により、情報解析や機械学習に向けたウェブスクレイピングによるデータ収集は原則として著作権侵害とはならない。しかし、著作権法上は適法であっても、対象となるウェブサイトの利用規約においてスクレイピングやクローラによるデータ収集が明示的に禁止されている場合、規約に同意した上での収集行為は民事上の契約違反（債務不履行）を構成し、差止請求や損害賠償請求の対象となるリスクがある。また、短時間に大量のリクエストを送信して対象サーバーに過度な負荷を与えシステムをダウンさせた場合には偽計業務妨害罪（刑法第233条）や電子計算機損壊等業務妨害罪（刑法第234条の2）に問われる可能性があるほか、収集データに個人情報が含まれる場合には個人情報保護法（同法第27条に基づく第三者提供時の本人同意義務など）の規制を受ける。

ボットを禁止するための技術的手段

ウェブサイトの管理者にはボットを停止または処理を遅らせるいくつかの手段が存在する。

たとえば、HTMLを書く際にヘッダ内（<head></head>）に

<meta name="robots" content="noindex,nofollow">

と記載することで、当該ページを bot により（検索エンジンなどに）登録（index）したり、当該ページからリンクをたどっていかないように（nofollow）指定できる。

→「robots.txt」も参照

脚注

関連項目