User-agent: *
# Aucun robot ne doit indexer ces pages :
Disallow: blacklist.php
Disallow: conslog3.gif
#
Sitemap: http://www.errorpage.fr/sitemap.xml
#
#----------------------------------------------------------------------------------------
# ROBOTS INTERDITS
#----------------------------------------------------------------------------------------
#
# Barkrowler (Babbar) ne peut pas indexer le site.
User-agent: barkrowler
Allow:
Disallow: /
#
# CriteoBot ne peut pas indexer le site.
User-agent: CriteoBot/0.1
Disallow: /
#
# Gptbot ne peut pas indexer le site.
User-agent: MJ12bot
Disallow: /
#
# MJ12bot ne peut pas indexer le site.
User-agent: GPTBot
Disallow: /
#
# Qwant ne peut pas indexer le site.
User-agent: Qwantify
Allow:
Disallow: /
#
# Sogou ne peut pas indexer le site.
User-agent: Sogou web spider
Disallow: /
#----------------------------------------------------------------------------------------
# ROBOTS AUTORISES
#----------------------------------------------------------------------------------------
#
# AhrefsBot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
User-agent: AhrefsBot
Allow: /
Disallow:
#
# Applebot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
User-agent: AppleBot
Allow: /
Disallow:
#
# bingbot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
User-agent: bingbot
Allow: /
Disallow:
#
# DuckDuckBot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
User-agent: DuckDuckBot
Allow: /
Disallow:
#
# Googlebot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
User-agent: Googlebot
Allow: /
Disallow:
#
# Msnbot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
User-agent: msnbot
Allow: /
Disallow:
#