PythonでWebデータを収集する方法（スクレイピング）

① 複雑な計算が容易にできる

② 統計分析と他の処理の連携が容易

スクレイピングとは

スクレイピングとクローリングの違い

Pythonのインストール

Pythonの事前準備「requests」,「beautifulsoup4」ライブラリの取得

pip install requests
pip install beautifulsoup4

py -m pip install ***

set HTTPS_PROXY=http://proxy.example.com:8080
pip install ****

set HTTPS_PROXY=http://user:pass@proxy.example.com:8080
pip install ****

サンプルコード

import requests
from bs4 import BeautifulSoup

url = "https://qiita.com/tags?page="
pageLength = 10
rank = 0
for page in range(pageLength):
    req = requests.get(url+str(page))                    #・・・①
    soup = BeautifulSoup(req.content, "html.parser")     #・・・②
    tagsData = soup.findAll('div',class_='TagList__item')#・・・③
    for tagData in tagsData:
        rank +=1
        count = tagData.get('data-count')                #・・・④
        tagText = tagData.text                           #・・・⑤
        print(rank,'位：',tagText,'  ',count,'件')

①Webページにアクセスする

Responseオブジェクト
├url: url属性
├ステータスコード: status_code属性
├エンコーディング: encoding属性
├レスポンスヘッダ: headers属性
├テキスト: text属性
└バイナリデータ: content属性

requestsの使い方の詳細は以下URL

②BS４で取得したWebデータを指定した形式で（今回はhtml）取得する

BeautifulSoup(解析対象のHTML/XML, 利用するパーサー)

③指定したタグでページ内のデータを抽出する

取り出した要素.findAll(絞り込みたいタグ名[,追加条件])

今回はタグに一致する要素を全て抽出するため「findAll」を使っていますが、
他にも以下が使用できます。

.find(タグ名[,追加条件])

.find_all(タグ名[,追加条件])

.select(“CSSセレクタ”)

また、抽出した要素から再度抽出することが可能です。

originalSoup = BeautifulSoup(req.content, "html.parser")
soup1 = originalSoup.find("a")
soup2 = soup1.findAll("div")

④抽出したデータのタグの値を取得する

tagData.get(タグ名)

tagData.get("href")

⑤抽出したデータのタグ以外、textデータを取得する

テキストを抽出したい要素.text