Spider System(サイト構成収集)
対象サイト内の <a href="..."> を辿って HTML ページのみ収集します(画像・CSS 等は除外)。
同一ドメイン内リンクのみを対象にし、ページタイトル・URL・総ページ数を出力します。
クライアント情報:IP 216.73.216.105 / UA Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
注意:サイト側の利用規約・robots.txt を尊重し、許可範囲内で使用してください。
注意:サイト側の利用規約・robots.txt を尊重し、許可範囲内で使用してください。