Spider System（サイト構成収集）
対象サイト内の <a href="..."> を辿って HTML ページのみ収集します（画像・CSS 等は除外）。
同一ドメイン内リンクのみを対象にし、ページタイトル・URL・総ページ数を出力します。
クライアント情報：IP 18.97.14.86 / UA CCBot/2.0 (https://commoncrawl.org/faq/)
注意：サイト側の利用規約・robots.txt を尊重し、許可範囲内で使用してください。
注意：サイト側の利用規約・robots.txt を尊重し、許可範囲内で使用してください。