unpocoプログラミング

ゲームライフを快適にするためにプログラミングを勉強します。間違ってたら教えてください。

【Python】クローリングとスクレイピング

クローリング、スクレイピングをしてみる。

youtube

まずは動画を見た。

www.youtube.com

www.youtube.com

www.youtube.com

おさえておきたいライブラリ

scrapy

クローラフレームワーク

Beautiful Soup

パースツリーの探索。
パーサーと組み合わせて使う。

lxml

HTMLパーサー。
これを使うと早いとBeautiful Soupのページにも書いてある。

Selenium

ブラウザの自動操作に使う。
Javascriptを使用して動的に生成されるページのクロール、スクレイピングに使う。

requests-html

HTMLのパースと探索。
Javascriptを動かすことが可能。

retry

クロール、スクレイピングと直接関係は無い。
リトライ用デコレータ。ネットワークまわりの例外が発生した際のリトライに使う。

retrying

調べていたらretryに似たこういうのもあった。
 
 
おわり