# robots.txt fuer http://www.dunkelduden.de/ # robots.txt fuer http://www.dunkeldudenn.de/ User-agent: * # Wildchar * schließt alle Crawler aus. # Mit den einzelnen Disallow-Einträgen bestimmt man Dateien und Verzeichnisse, die nicht indexiert werden sollen. # 'Disallow: /' verbietet die komplette Site # 'Disallow: ' erlaubt die ganze Site Disallow: /images/ Disallow: /dd5/