Pythonクローリング＆スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド-

この本について

スクレイピングを始めると、思ったより「地味な壁」にぶつかりませんか。ブラウザでは見えるのにlxmlだと取れない要素とか、エンコーディングが合わず文字化けするとか、CSVの改行コードが揃わないとか…。コード以前のところで立ち止まることが多くて、自分だけ遠回りしている気になるやつです。 この本は、まさにその“遠回りポイント”を一つずつ地面に降ろしてくれる感じでした。例えば、ブラウザとライブラリでtbodyの扱いが違う理由まで踏み込んでくれるので、「なんで取れないんだ…」の時間が減ります。エンコーディングも「推定の仕組み」や「どう組み合わせるべきか」まで書いてあって、闇雲に試すよりも判断しやすくなりました。また、スクレイピングとクローリングを分ける考え方や、再実行を前提にしたデータ設計、更新差分だけ取る発想など、“運用の現実”に寄り添った内容が多いのもありがたいところです。 自分もそうでしたが、「一度成功したスクリプトを、あとで触れなくなる」タイプの人には特に刺さると思います。試しに1ページだけで動かす、リトライの設計をどうするか、Itemで型を決める、といった積み重ねが、結果的にトラブルの少ない仕組みにつながるんだなと実感しました。 ツールの使い方だけでなく“現場でどう運用するか”まで考えたい人には、かなり頼れる一冊です。