# robots.txt # User-agent: * # für alle Robots des Datensatzes gilt # Disallow: # leerlassen heißt: darf alle Verzeichnisse einlesen # Disallow: / # alle Seiten und Unterverzeichnisse einzulesen ist verboten # zwischen Datensätzen eine Leerzeile lassen User-agent: * Disallow: