Spider System（サイト構成収集）
対象サイト内の <a href="..."> を辿って HTML ページのみ収集します（画像・CSS 等は除外）。
同一ドメイン内リンクのみを対象にし、ページタイトル・URL・総ページ数を出力します。
クライアント情報：IP 2600:1f28:365:80b0:7cb9:fb:26c1:e368 / UA CCBot/2.0 (https://commoncrawl.org/faq/)
注意：サイト側の利用規約・robots.txt を尊重し、許可範囲内で使用してください。
注意：サイト側の利用規約・robots.txt を尊重し、許可範囲内で使用してください。