Hoe kinne jo in bywurke as nije Robots.txt-bestân yntsjinje?

robots txt

Us buro behannelet advys foar organyske sykopdrachten foar ferskate SaaS-leveransiers yn 'e sektor. In kliïnt wêrmei't wy koartlyn begon te wurkjen hie in frijwat standert praktyk dien, har applikaasje pleatst op in subdomein en har brosjuersite ferpleatst nei it kearndomein. Dit is in standertpraktyk, om't it jo produksjeteam en jo marketingteam mooglik makket updates te meitsjen as nedich sûnder ôfhinklikens fan 'e oare.

As earste stap yn it analysearjen fan har sûnens foar organyske sykopdrachten registrearden wy sawol de brosjuere as tapassingsdomeinen yn Webmasters. Dat is doe't wy in direkte probleem identifisearren. Alle applikaasjesiden waarden blokkeare om troch de sykmasjines te wurde yndeksearre. Wy navigearren nei har robots.txt-yngong yn Webmasters en identifisearren it probleem direkt.

By it tarieden op 'e migraasje woe har ûntwikkelteam net dat it subdomein fan' e applikaasje yndeksearre waard troch sykjen, sadat se de tagong ta sykmasjines net tastiene. It bestân robots.txt is in bestân fûn yn 'e root fan jo side - yourdomain.com/robots.txt - dat lit de sykmasjine witte oft se de side al dan net moatte crawlje. Jo kinne regels skriuwe om yndeksearring op 'e heule side as spesifike paden ta te stean of net te tastean. Jo kinne ek in rigel tafoegje om jo sitemapbestân op te jaan.

De Robots.txt bestân hie de folgjende yngong dy't foarkaam dat de side waard crawld en yndeksearre yn ranglist fan sykresultaten:

Meidogger-agent: * Net tastean: /

It soe sa moatte skreaun wêze:

Meidogger-agent: * Tastean: /

Dizze lêste jouwt tastimming oan elke sykmasjine dy't de side crawlet, dat se tagong kinne krije ta elke map of bestân binnen de side.

Geweldich ... dus no't de robots.txt bestân is perfekt, mar hoe wit Google en wannear sille se de side opnij kontrolearje? No, jo kinne absolút freegje dat Google jo robots.txt kontroleart, mar it is net te yntuïtyf.

Gean nei de Google Search Console Search Console oan 'e Crawl> robots.txt Tester, Jo sille de ynhâld sjen fan it meast trochsneupe robots.txt-bestân binnen de Tester. As jo ​​jo robots.txt-bestân opnij wolle yntsjinje, klikje dan op Submit en in popup sil mei in pear opsjes komme.

stjoer robots.txt opnij yn

De definitive opsje is Freegje Google om te aktualisearjen, Klikje op de blauwe Submit knop neist dy opsje en navigearje dan werom nei de Crawl> robots.txt Tester menuopsje om de side opnij te laden. Jo soene no it bywurke robots.txt-bestân tegearre mei in datostempel sjen moatte dat sjen lit dat it opnij is trochkrûpt.

As jo ​​gjin bywurke ferzje sjogge, kinne jo klikke op yntsjinje en selektearje Besjoch upload ferzje om nei jo wirklike robots.txt-bestân te navigearjen. In soad systemen sille dit bestân lytsûnthâldje. Eins genereart IIS dit bestân dynamysk basearre op regels ynfierd fia har brûkersynterface. Jo moatte wierskynlik de regels bywurkje en de cache ferfarskje om in nije robots.txt-bestân te publisearjen.

robots-txt-tester

Wat tinksto?

Dizze side brûkt Akismet om spam te ferleegjen. Learje hoe't jo kommentaargegevens ferwurke wurde.