[FR] fichier robots.txt référencement

Support
1

Question assez simple mais n’étant pas sûr (et pouvant servir à d’autres) je la pose ici.

Où placer le fichier robots.txt ne souhaitant pas que mon YunoHost soit référencé par les moteurs de recherche : Wikipédia : Protocole d’exclusion des robots

Il y a déjà une discussion (en) qui en parle How to stop bots in robots.txt and nginx mais elle remonte à 2015 et le repertoire /var/www/yunohost/apps/ n’existe plus (ancienne version de YunoHost visiblement).

Bref, je préfère demander avant de mettre ça n’importe où.

2

Pas d’idées ? Rien ? Personne ?

3

Salut,

Normalement, le robots.txt se met dans le lieu où sont les fichiers de l’app. Ensuite dans la conf nginx de l’app, tu dois rajouter entre les deux crochets :

location /robots.txt {
	alias /var/www/app/robots.txt;
	expires 30d;
}

app est à remplacer par le nom de l’app.

Sinon, il existe un substitut, c’est le header nginx, X-Robot-Tag que tu rajoutes dans ta conf nginx dans le crochet principal.

add_header  X-Robots-Tag "index, noarchive, nosnippet";

Attention : index, noarchive, nosnippet sont des “arguments”/directives que tu peux supprimer ou remplacer par d’autres en fonction de tes besoins. Une liste est présente ici : https://developers.google.com/search/reference/robots_meta_tag#instructions-dindexation-et-daffichage-valides (ce n’est pas dans mon habitude de conseiller des pages google, mais elle permet de comprendre tout cela rapidement et est organisée.)

N’hésite pas à reposer la question si tu n’as pas compris ou à demander si tu as un problème,

frju365

2 Likes
4

Super, merci @frju365 pour ta réponse détaillée. Je regarde ça ce week-end.