Radar

Ook besloten forums waar je moet inloggen worden soms door Google bezocht. De webmaster van de dieetwebsite waar ik vaak kom, heeft er daarom op mijn verzoek een waarschuwing geplaatst:

"Let op: pas op met persoonlijke informatie als telefoonnummers, (e-mail)adressen etc. want de berichten op dit forum zijn ook te vinden via Google."

Dan heeft de webmaster zelf niet in de gaten dat hij zoek-verkeer van Google beter moet weren en dat er blijkbaar een achterdeur is waarlangs de artikelen op zijn website te lezen zijn. (als het een volledig besloten forum is, dus als men niets mag lezen als men geen forumlid is)

Bit

Google heeft bijna altijd dezelfde rechten als een normale gast op een forum. Diverse forumsystemen (waaronder het vaak gebruikte phpBB, wat dit forum ook gebruikt) hebben ook de mogelijkheid om uitgebreid in te stellen op welk niveau (gast, geregistreerd, speciaal, moderator of beheerder) ze toegang hebben. Door leesbeperking op geregistreerd te zetten is Google & co. een halt toe te roepen, ze komen niet verder dan het inlogscherm.

Voor webmasters is het ook mogelijk om bots een beetje te sturen (dit wordt wat technischer) door middel van een zogenaamd robots.txt bestand. Hiermee kan je bijvoorbeeld instellen wat er niet in het adres van de pagina mag komen. Ik neem weer phpBB als voorbeeld. Een pagina met berichten is viewtopic.php. Blokkeer je met robots.txt alle adressen op je site waarin die term voorkomt, dan zullen goede bots (zoals Google en Yahoo) die pagina's indexeren. Slechte bots (bots die alle opdrachten negeren en gewoon alle links volgen zonder ergens op te letten) helpen echter nog niet. Meer info op www.robotstxt.org , een lijst van "goede" bots is er ook: http://www.robotstxt.org/wc/active/html/index.html

Maar zoals regelmatig wordt gezegd: als het op het internet staat, wordt het ooit gevonden.

Deze webmaster heeft of een lek in zijn forum software, of hij heeft bewust google toegang gegeven op een pagina die niet toegangkelijk is voor ongeregistreerde mensen.

Je kan bijvoorbeeld ongeregistreerde mensen geen toegang geven tot die pagina maar google wel. Dit is tegen de regels van Google, want de spider moet hetzelfde te zien krijgen als een gewone gebruiker. Dus het kan best gebeuren dat deze website uit de google index gaat als ze er achter komen.

Het kan ook een lek zijn die de google spider onbewust gebruikt.

Je kan bijvoorbeeld ongeregistreerde mensen geen toegang geven tot die pagina maar google wel. Dit is tegen de regels van Google, want de spider moet hetzelfde te zien krijgen als een gewone gebruiker.

Nee. De regel is: de bezoeker mag niet misleid worden. Er zijn (waren) diverse krantensites die een artikel door Google lieten spideren, maar de bezoeker een "u moet gratis registreren" pagina voorschotelen.

Tenzij dit recent aangepast is, is dit nog zo.

Komt op hetzelfde neer maar de regel is eigenlijk: je mag google geen andere pagina's laten zien dan gebruikers.

Komt op hetzelfde neer maar de regel is eigenlijk: je mag google geen andere pagina's laten zien dan gebruikers.

Nee, dat is de regel niet, zoals ik al schreef. De regel is dat de bezoeker niet misleid mag worden. Je kan de googlebot en een andere pagina laten zien, en je bezoek niet misleiden.

Maak een website voor gebruikers, niet voor zoekmachines. Zet uw gebruikers niet op het verkeerde been en scheep zoekmachines niet op met andere inhoud dan de inhoud die u aan uw bezoekers voorschotelt: dit wordt ook wel "cloaking" genoemd.

Even een quote van Google zelf .

Trouwens: BMW.de (officiele BMW site) is laatst door google uit zijn index gehaald omdat ze een apparte pagina hadden die zoekmachines te zien kregen.

Op dit besloten forum krijgen de gebruikers hetzelfde te zien als Google. Er is geen sprake van misleiding of "cloaking" lijkt me.

Het gaat dan ook niet over dit forum. En dit forum is ook niet besloten.

Ik bedoelde het besloten forum waarmee ik deze discussie begon

Een gewone gebruiker krijgt wel wat anders te zien, want als het forum besloten is moet ik eerst inloggen. Google krijgt de pagina's te zien zonder in te loggen. Dus Google krijgt andere pagina's dan de gebruiker.

Ook ik had na de behandeling van dit onderwerp bezwaar. Echter, bij het "controleren" van google" kom ik zowaar een artikel tegen in PW van ca 10 jaren oud. Verrassend omdat Google er toen m.i; nog niet was.
Ik vind ook één verwijzing naar een reactie van mij bij VARA's Kassa, vraag en antwoord. Dat laatste waardeer ik inderdaad minder maar nu in de wetenschap dat: ik heb niets te verbergen.