KendamaDBBot について
KendamaDB は、けん玉を扱うショップとメーカーのサイトを巡回して、商品の一覧と価格を集めています。このページは、その巡回をしているプログラムの説明です。
名乗り
ログにはこの形で残ります。
KendamaDBBot/0.1 (+https://kendamadb.com/about-bot)連絡先の部分は、メールアドレスになっていることがあります。どちらも同じ運営者です。
何をしているか
- 商品ページ、または公開されている商品一覧(Shopify の products.json など)を読みます
- 取るのは事実だけです。商品名・型番・価格・在庫・送料・画像URL・商品ページのURL
- 商品説明文は保存も転載もしません。 レビューや評価も集めていません
- 集めた情報は、同じけん玉ごとに並べて価格を比較できる形で公開します
- 各商品ページからは、その商品を扱っているショップへリンクします。買い物や決済は一切しません。カートにも触りません
どう巡回するか
- 巡回の前に必ず
robots.txtを読み、従います。読めなかったときは巡回しません Crawl-delayが書いてあればそれに合わせます。書いていなければ1リクエストにつき最低1秒あけます(1回で250件取れる公開APIだけ0.5秒)- 1回の巡回で見るページ数に上限を設けています。サイト全体を一度に舐めることはしません
- 同じサイトを巡回する間隔は、既定で6時間です
- ログインが要るページ、カート、注文、管理画面には行きません
止め方
robots.txt にこう書いてください。次の巡回から従います。
User-agent: KendamaDBBot
Disallow: /一部だけ止めることもできます。掲載そのものを取り下げたい場合は、下の連絡先までご連絡ください。robots.txt での拒否と、掲載の取り下げは別の手続きです。
本物かどうかの確かめ方
IPアドレスからの確認手段は提供できません。 このクローラは Cloudflare Workers 上で動いていて、送信元IPは Cloudflare の共有レンジです。逆引きDNSでも、公開IPレンジの照合でも、他のクローラのように 「本物である」ことを示せません。
つまり、この名乗りは誰にでも真似できます。心当たりのないアクセスが集中している場合は、 名乗りを信じずに遮断してください。そのうえで下記までご連絡いただければ、 こちらの記録と突き合わせます。
連絡先
掲載の取り下げ、巡回の停止、間隔の相談、内容の誤りの指摘——どれもこちらへどうぞ。
受信専用です。掲載の取り下げは、対象のURLかショップ名を書いていただければ、確認のうえ止めます。理由の説明は要りません。