Semalt: Slik blokkerer jeg Darodar Robots.txt

Robots.txt-fil er en typisk tekstfil som inneholder instruksjoner om hvordan webcrawlere eller bots skal gjennomsøke et nettsted. Bruken av dem er tydelig i søkemotorbotene som er vanlige i mange optimaliserte nettsteder. Som en del av Robots Exclusion Protocol (REP) utgjør robots.txt-filen et vesentlig aspekt ved indeksering av innhold på nettstedet, samt at en server kan autentisere brukerforespørsler deretter.

Julia Vashneva, Semalt Senior Customer Success Manager, forklarer at kobling er et aspekt av Search Engine Optimization (SEO), som innebærer å få trafikk fra andre domener i din nisje. For "følg" -koblingene for å overføre koblingsjuice, er det viktig å inkludere en robots.txt-fil på webområdet ditt for å fungere som en instruktør for hvordan serveren samhandler med nettstedet ditt. Fra dette arkivet er instruksjonene til stede ved å tillate eller ikke tillate hvordan noen spesifikke brukeragenter oppfører seg.

Det grunnleggende formatet for en robots.txt-fil

En robots.txt-fil inneholder to viktige linjer:

Bruker-agent: [bruker-agent-navn]

Tillat: [URL-streng skal ikke gjennomgå]

En komplett robots.txt-fil skal inneholde disse to linjene. Noen av dem kan imidlertid inneholde flere linjer med brukeragenter og direktiver. Disse kommandoene kan inneholde aspekter som tillater, forhindrer eller forsøker gjennomgang. Det er vanligvis en linjeskift som skiller hvert instruksjonssett. Hver av tillatelsene eller ikke tillat instruksjonene er atskilt med dette linjeskiftet, spesielt for robots.txt med flere linjer.

eksempler

For eksempel kan en robots.txt-fil inneholde koder som:

Bruker-agent: darodar

Disallow: / plugin

Avvis: / API

Ikke tillatt: / _kommentarer

I dette tilfellet er dette en blokkert robots.txt-fil som begrenser Darodar webcrawler fra å få tilgang til nettstedet ditt. I syntaksen ovenfor blokkerer koden aspekter av nettstedet, for eksempel plugins, API og kommentarfeltet. Ut fra denne kunnskapen er det mulig å oppnå mange fordeler ved å utføre en robots tekstfil effektivt. Robots.txt-filer kan være i stand til å utføre mange funksjoner. For eksempel kan de være klare til å:

1. La alt webcrawlers innhold gå inn på en webside. For eksempel;

Bruker agent: *

forby:

I dette tilfellet kan alle brukerinnholdene få tilgang til av alle webcrawler som blir bedt om å komme til et nettsted.

2. Blokker et bestemt webinnhold fra en bestemt mappe. For eksempel;

Bruker-agent: Googlebot

Avvis: / eksempel-undermappe /

Denne syntaks som inneholder brukeragentnavn Googlebot tilhører Google. Det begrenser boten fra å få tilgang til hvilken som helst webside i strengen www.ourexample.com/example-subfolder/.

3. Blokker en bestemt webcrawler fra en bestemt webside. For eksempel;

Bruker-agent: Bingbot

Disallow: /example-subfolder/blocked-page.html

Brukeragenten Bing bot tilhører Bing webcrawlere. Denne typen robots.txt-fil begrenser Bing-webcrawleren fra å få tilgang til en bestemt side med strengen www.ourexample.com/example-subfolder/blocked-page.

Viktig informasjon

  • Ikke alle brukere bruker robts.txt-filen. Noen brukere kan bestemme seg for å ignorere det. De fleste av slike webcrawlere inkluderer trojanere og skadelig programvare.
  • For at en Robots.txt-fil skal være synlig, bør den være tilgjengelig i nettstedskatalogen på toppnivå.
  • Tegnene "robots.txt" er store og små bokstaver. Som et resultat, bør du ikke endre dem på noen måte, inkludert aktivering av noen aspekter.
  • "/Robots.txt" er offentlig. Alle kan være i stand til å finne denne informasjonen når du legger den til innholdet i en hvilken som helst URL. Du bør ikke indeksere viktige detaljer eller sider som du vil at de skal være private.

mass gmail