Ensuite, lors de l'utilisation de frames, pensez à mettre vos frameset (la page de cadre) dans un répertoire /framset/ qui sera visité par les moteurs et mettez les frames (pages qui composent la frameset) dans un autre répertoire /frames/ par exemple.

Le fichier robots.txt sera alors :
# robots.txt pour le site http://www.chezmoi.fr
User-agent: *
Disallow: /frames/

Seules seront visitées les pages de frameset, la page d'accueil et les éventuelles pages satellites.

Attention !!

En règle générale et d'après expériences, presque tous les moteurs de recherche comprennent ce fichier.
Lors de la soumission d'une page sur un moteur celui-ci va automatiquement vérifier la présence d'un fichier "robots" d'interdiction.

Cette technique n'est pas obligatoire, vous pouvez aussi utiliser la balise méta suivante :

<metaname="robots" content="noindex, follow"> n'indexe pas la page, suit les liens
<metaname="robots" content="noindex, nofollow"> n'indexe pas la page, ne suit pas les liens
<metaname="robots" content="index, follow"> indexe la page, suit les liens
<metaname="robots" content="index, nofollow"> indexe la page, ne suit pas les liens.

Ici il faut le faire sur toutes les pages... attention aux gros sites.

Suite : Le choix des mots clés