クローラーとは
クローラー
別名: crawler / ボット / スパイダー
Webページを自動巡回して情報を収集するプログラム。検索エンジンのインデックス作成が代表用途。過剰なクロールはサーバー負荷になるため、robots.txtで制御する。
✓ 監修済み
スライドで学ぶ
3日間の無料トライアル付き・クレジットカード不要・いつでも解約OK
図解
図を読み込み中…