Kā izdzēst vietni vai tās fragmentus no Google indeksa

Saskaņā ar Google pieņemto indeksācijas koncepciju, izsniedzot rezultātus, ņem vērā informācijas pilnīgumu, objektivitāti un atbilstību meklēšanas vaicājumam. Ja vietne ar nelegālu saturu iekļūst indeksā vai resurss ir paredzēts surogātpastu, tad šādas vietnes lapas netiks atzīmētas meklētājprogrammas vispārējā datubāzē. Mums ir svarīgi uzzināt, kā no vietnes no vietnes noņemt meklēšanas rezultātus.

Google nulles indeksēšanas iespējas

Kad rāpuļprogramma - programma informācijas apkopošanai par jauniem resursiem - skenēs vietnes lapu pa lapām, tad, ja tā atbilstu Google politikai attiecībā uz parsēšanu, tā tiks indeksēta. Bet mēs arī aprakstīsim, kā izdzēst savu vietni vai atsevišķus fragmentus meklētājprogrammām, izmantojot robots.txt - rādītāju un tajā pašā laikā meklēšanas termināli.

Lai izņemtu visu resursu no izdošanas, servera saknes mapē, kurā atrodas šī vietne, izveidota noteikta teksta zona - iepriekš minētais robots.txt. Šo zonu apstrādā meklētājprogrammas un darbojas saskaņā ar instrukcijām lasīt.

Paturiet prātā, ka Google meklētājprogramma indeksēs lapu, pat ja lietotājam nav atļauts skatīt to. Kad pārlūkprogramma izdod atbildi 401 vai 403, "Piekļuve nav derīga", tas attiecas tikai uz apmeklētājiem, nevis uz šī meklēšanas servera savākšanas programmām .

Lai saprastu, kā vietni izdzēst no meklēšanas indeksēšanas, teksta rādītājā jāievada šādas rindiņas:

Lietotāja aģents: Googlebot

Disallow: /

Tas norāda meklēšanas robotam, ka ir aizliegts indeksēt visu vietnes saturu. Tālāk ir norādīts, kā izdzēst Google vietni, lai vietne neaptver resursu noteiktu vietņu sarakstā.

Skenēšanas opcijas dažādiem protokoliem

Ja jums ir jāieraksta atsevišķi saziņas standarti, kuriem vēlaties piemērot īpašus Google indeksēšanas noteikumus, piemēram, http / https hiperteksta protokolu atsevišķi, tas būtu jāraksta arī robots.txt veidā (piemērs).

(Http: http://yourserver.com/robots.txt) - jūsu vietnes domēna nosaukums (jebkura)

Lietotāja aģents: * - jebkurai meklētājprogrammai

Atļaut: / - atļaut pilnīgu indeksēšanu

Kā https protokolu pilnīgi noņemt vietni no izdošanas

(Https://yourserver.com/robots.txt):

Lietotāja aģents: *

Disallow: / pilnīgs indeksēšanas aizliegums

Neatliekama resursu URL noņemšana no Google Google meklēšanas

Ja jūs nevēlaties gaidīt atkārtotu indeksāciju, un vietne ir jāslēpj, cik drīz vien iespējams, es iesaku izmantot pakalpojumu http://services.google.com/urlconsole/controller. Pre-robots.txt jau ir jāiekļauj vietnes servera saknes direktorijā. Norādījumi ir jāraksta tajā.

Ja rādītājs kāda iemesla dēļ nav pieejams rediģēšanai saknes direktorijā, pietiek ar to, lai izveidotu to mapē ar objektiem, kuriem vēlaties slēpties no meklētājprogrammām. Kad tas būs izdarīts un sazinies ar automātiskās dzēšanas pakalpojumu hiperteksta adresēm, Google nekontrolē mapes, kas ir norādītas robots.txt failā.

Nenovērības periods ir noteikts 3 mēnešiem. Pēc šī perioda Google direktorijā atkal apstrādās no emitenta izņemtā direktorija.

Kā daļēji izdzēst vietni skenēšanai

Kad meklēšanas bot nolasa saturu robots.txt, tad, pamatojoties uz tā saturu, tiek pieņemti noteikti lēmumi. Piemēram, no displeja jāizslēdz viss direktorijs ar nosaukumu anatom. Lai to izdarītu, pietiek ar šādiem norādījumiem:

Lietotāja aģents: Googlebot

Aizliegt: / anatom

Vai, piemēram, jūs nevēlaties indeksēt visus attēlus, piemēram, .gif. Lai to izdarītu, pievienojiet šādu sarakstu:

Lietotāja aģents: Googlebot

Disallow: /*.gif$

Šis ir vēl viens piemērs. Izdzēsīsim informāciju par dinamiski ģenerētajām lapām no analizatora, pēc tam pievienojiet rādītājam šādu ierakstu:

Lietotāja aģents: Googlebot

Disallow: / *?

Tātad, apmēram, un ir paredzēti noteikumi meklētājprogrammām. Vēl viena lieta ir tāda, ka tas visai ērtāk izmanto META tagu. Un tīmekļa pārziņi bieži izmanto tikai tādu standartu, kas regulē meklētājprogrammu darbību. Bet par to mēs parunāsim nākamajos rakstos.