User-agent: * Disallow: /Xnicht/ # ganzer Ordner nicht fuer Oeffentlichkeit bestimmt Disallow: /Xnicht/pdfs # ganzer Ordner nicht fuer Oeffentlichkeit bestimmt Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /Bilder/ # Bilder nicht downloaden Disallow: /Bildergalerie/ # Bilder nicht downloaden Disallow: /Galerie/ # Bilder nicht downloaden Disallow: /Mitgl-Bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /cgi-data/ # CGI Ausgaben nicht indexieren Disallow: /tierfreunde.html # Die tierfreunde.html soll nicht oeffentlich sein User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: /cgi-bin/