サーチコンソールのrobots.txt テスターについて

Question

サーチコンソールのrobots.txt テスターでサイトへのクロールを拒否したのですが、クロールを再開したいと思います。

https://gyazo.com/4e92be2398e4f66b140d2b710f382219

再開する場合はどのようにすればいいのでしょうか？

Answer

ECマスターズの山岡です。User-Agent: *Allow: /こちらの記述ですべてのクローラにたいしてすべてのコンテンツ（URL）へのアクセスを許可する設定になります。お調べしたところ、CuteStat　はあまり評判がよいとは言えないため、User-Agent: CuteStatDisallow: /現在の記述のまま、CuteStatからのクローラーは拒否でよいかと思います。

Answer

ありがとうございます！つまり下記のように記述すればいいということでしょうか？https://gyazo.com/fc75dd143d1b2179434951d1ddabb6edこれって１行あける、とかそういったルールってありましたっけ？

Answer

ECマスターズの山岡です。>つまり下記のように記述すればいいということでしょうか？>https://gyazo.com/fc75dd143d1b2179434951d1ddabb6edはい、この記述で問題はありません>これって１行あける、とかそういったルールってありましたっけ？必ず1行あけるルールはないですが、のちほど見やすくする意味で、1行はあけておくことをおすすめします。

サーチコンソールのrobots.txt テスターについて

カテゴリーから探す