ホーム > python | python | プログラミング | 技術系 > Scrapyでクロール中の現在のURLを取得する方法

Scrapyでクロール中の現在のURLを取得する方法

PythonのWebスクレイピングフレームワーク「Scrapy」で、クロール中の現在のURLを取得する方法についての解説です。

Scrapyで特定のurlをクロール中、クロール中のページのurlを取得したい場合があり、方法について調べてみました。

以下の記述で取得ができました。

response.request.url

Spiderのstart_urlの記述で複数のページを設定した際、現在クロール中のページによって処理を分岐させたかったため役立ちました。

コメント:0

コメントフォーム
入力した情報を記憶する

トラックバック:0

この記事のトラックバック URL
https://www.itblog.jp/wp-trackback.php?p=9638
トラックバックの送信元リスト
Scrapyでクロール中の現在のURLを取得する方法 - ITblog より

ホーム > python | python | プログラミング | 技術系 > Scrapyでクロール中の現在のURLを取得する方法

フィード
リンク集

ページの上部に戻る