Instant Data Scraper
Chromeの拡張機能『Instant Data Scraper』を使います。
インストール
Instant Data Scraper - Chrome Web Store
Instant Data Scraper extracts data from web pages and exports it as Excel or CSV files
chromewebstore.google.com
ピン止め
使い方
基本操作
[例1] Googleの検索結果
先頭の方は様々な形式で表示されているので一部取得できてないのは仕方が無いですね。
同形式の連続になってからは漏れなく良い感じでデータが取れています。
CSVでダウンロードするには、このボタンを押します。
他に、XLSX形式でダウンロードしたり、クリップボードにコピーしたりできます。
ダウンロード前に不要な列を削除することも可能です。
同ページに複数の表がある場合
[例2] 警視庁 – 反則行為の種別及び反則金一覧表
反則行為の種別及び反則金一覧表 警視庁
www.keishicho.metro.tokyo.lg.jp
このページには複数の表があります。
このボタンを押すと、取得対象が切り替わります。
目的の表が選択されるまで複数回ボタンを押します。
次ページも一緒に取得したい場合
検索結果が複数ページに分かれている場合も、自動的にページ遷移してまとめて取得することが可能です。
[例3] メルカリ – 検索結果
長靴の中古/未使用品
長靴の人気アイテム「メルカリ」でお得に通販、誰でも安心して簡単に売り買いが楽しめるフリマサービスです。新品/未使用品も多数、支払いはクレジットカード・キャリア決済・コンビニ・銀行ATMが利用可能で、品物が届いてから出品者に入金される独自シス...
jp.mercari.com
規定値ではページ全体が選択されているので、[Try anther table]で対象を切り替えます。
[次へ]を自動的に押して、全ページを一括取得する設定をします。
一旦「Instant Data Scraper」のダイアログが消えますので、[次へ ＞]ボタンを押して、
これが[Next]ボタンですよ、ということをInstant Data Scraperに教えます。
ツールバーの「Instant Data Scraper」を押してダイアログを表示させます。
全ページを取得できました。
※最大1,000データまでのようです。
無限スクロール
[次ページへ]などのページングではなく、スクロールすると自動的に「次ページ」分を読み込んでくれるサイトも最近増えています。
そのようなサイトでは、こちらにチェックを入れて[Start crawling]を押します。
