Est ce que vous vous souvenez de l’époque bénie où un simple robots.txt à la racine de votre site web suffisait à tenir les robots d’indexation à distance ? Eh bien, cette époque est révolue car aujourd’hui, les crawlers des entreprises d’IA se comportent comme des parasites numériques venant (…)