# szepo.com — a publikus oldal. Ez a könyvtár a document root, tehát ez a fájl # szolgálja a https://szepo.com/robots.txt-t. # # A közösségi domain alatt ugyanezek a fájlok elérhetők /frontpage/ alatt is; # azt a példányt a webroot robots.txt-je és a noindex fejléc zárja ki # (frontpage/includes/config.php: FRONTPAGE_ALLOW_INDEXING csak a kanonikus # hoston igaz), hogy a két cím ne versenyezzen ugyanazokért a cikkekért. User-agent: * Allow: / # Keresőtalálat-lapok: végtelen sok URL-t adnának, tartalmat nem. Disallow: /kereso.php # A kereső gépelés közbeni javaslatai: JSON, nem oldal. Disallow: /search_suggest.php # Diagnosztika, nincs kilinkelve. Disallow: /status.php Sitemap: https://szepo.com/sitemap.xml