Robots d'indexation ~ Web Spiders MsnBot Yahoo! Slurp Ask Jeeves GoogleBot

[Adm 3000fr]

Mods SPIDERS ' CRAWLER pour SMF - Les visites des Robots dans les Forums 3000fr.com

Au bas de chaque page des news forums 3000fr, vous pouvez voir la date de visite des robots ....
Au bas de la page d'accueil, vous pouvez voir dans: Membres en ligne, les SPIDERS Qui visitent

Déjà vu:

Yahoo! Slurp - Ask Jeeves - GoogleBot - MsnBot - Mediapartners-Google - Speedy Spider - ia_archiver

Définition d'un robot
Un robot, un spider ou un crawler sont des termes qui désignent la même chose. Il s'agit d'un programme informatique créé par les moteurs de recherche. Ces programmes tournent en boucle sur les nombreux serveurs des moteurs.

A quoi sert un robot ?
Un robot parcourt inéluctablement le web. De page en page, de site internet en site internet, le robot télécharge le contenu des sites web. En fait, il n'enregistre que le contenu texte, c'est-à-dire le code source HTML généré par les serveurs. Stocker les multiples ressources multimédia (image, vidéo, son...) serait inutile et fort couteux.

En plus de rapatrier le contenu sur les serveurs du moteur pour lequel il travaille, le robot qui peut se déplacer de liens en liens (d'où l'appellation spider à l'instar de l'araignée qui marche sur sa toile) découvre des nouvelles URLs et donc de nouvelles pages à crawler puis à analyser.

Lorsqu'un document a été crawlé et qu'il ressort dans les pages de résultats, on parle alors d'indexation.

Chaque robot possède un "user agent" propre. Le User Agent est une information envoyée au serveur lorsque l'on consulte une page web.

Robots propriétaires:

Googlebot de Google
Scooter de AltaVista
OptimalSearch_Bot de Optimal Search
MSNBot de MSN
Slurp de Yahoo!
KB Crawl de KB CRAWL SAS
OmniExplorer_Bot de OmniExplorer
TwengaBot de Twenga
123-EmploiBot de 123-emploi.com
ExaBot de Exalead
MooveOnBot de mooveon.net
gloObotBot de gloObot.com
VerticrawlBot de Verticrawl

....Source Wikipedia Robot indexation....

A suivre ... Commentaires ... Autres Robots qui passent dans 3000fr.com

 

[Adm 3000fr]

Quelques ROBOTS: 

Robot
192.com
4anything
80legs
A-Online
ABCdatos
AOL
ASAHA
ASPseek
AVSearch
AbachoBot
Abby
Aberja Checkoma
Abot
About
AboutUsBot
Accelobot
Accoona
Acoi
Acoon Robot
Acoon-Robot
Acorn
Activtourist
AdsBot-Google
Aesop
Agada
AgentName
Aibot
Aicrawler
Aipbot
Alacra
Aladin.de
Aleksika Danmark
Alexa
AlkalineBOT
Allesklar.de
Allrati
Almaden
Altavista
Amfibibot
Amidalla
Annomille
AnsearchBot
AnswerBus
Answerchase
Antibot
Any Search Info
Anzwers Australia
Apexoo Spider
ApocalXExplorerBot
Aport
Appie
Arabulbot
ArabyBot
Arachnoidea
ArchitextSpider
Archive.org_bot
Arexera
Arianna
Arikus_Spider
Asahina
Ask 24x Info
Ask Jeeves/Teoma
Asked
Askpeter_bot
Asterias
Asterias Crawler
Astrafind!
Atlocal
Attentio
Augurnet Swiss
Axada
Axandra
Axmo
Ay-Up
BE Internet Search Engine
Ba.be
BaBoom Web Portal
BabalooSpider
Backlink-Check
Baiduspider
Balihoo
BanBot
BeamMachine
Beauty (Cosmoty)
BebopBot
BecomeBot
BecomeJPBot
BeijingCrawler
BigClique
Biglotron
Bigsearch
BilBasen
BilgiBetaBot
BilgiBot
BinGet
Bingbot
Bisnisseek
Bitacle Robot
Bitlybot
Blaiz Enterprises
Blaiz-Bee
Blitzsuche
BlogRefsBot
BlogScope
BlogSearch
BlogWatcher
Blogbot
Blogdex
Blogdimension BlogBot
Bloglines
Bloglines-Images
BlogzIce
BnF bot
Boitho
Bot
BotSeer
Botmobi
Brandwatch
BravoBrian bSTOP
BrightCrawler
Bruinbot
Btbot
BuildCMS crawler
BuiltWith
BullsEye/Intelliseek
BurstFindCrawler
Buscaplus
Butterfly
CCBot
CEA
CMP
CUPS
Camcrawler
CamontSpider
CanadianContent Search
Carleson
Catall Spider
Catall-Spider
CazoodleBot
Ccubee
Changedetection
Charlotte
Chen Li
Christcentral
CipinetBot
Cityreview Robot
CjLogbot
Claymont Search
CloakDetect
Clushbot
Cnet robot
CoBITSProbe
Cobion
Combine
Cometrics-bot
Cometsystems
Comperio
Compete.com
Computerorgs
Comrite
ConveraCrawler
Converas RetrievalWare
CoolBot
Copyright sheriff
Cortina
CougarSearch
Cowbot
CrawlerBoy
Crawling jpeg
Crawllybot
Croccrawler
CsCrawler
Csci_b659/0.13
Cuasar
CurryGuide
CyberAlerts
Cydral
CydralSpider
DAUM RSS Robot
DAUM Web Robot
DNS-Digger
DailyOrbit
DataFountains
DataSpear Spider Bot
DataparkSearch
DaviesBot
Daypop
DbDig
De.com
DeepIndexer
Deepak-USC/ISI
Deepindex
Denmex Websearch
DepSpid
Dev-spider2
DiaGem Japan
Die Kraehe
Diggit
Direct Hit
Disco-crawl
Ditto
DoCoMo
Dodgebot
DotBot
Doubanbot
Download-Tipp
Drecombot
DtSearchSpider
DuckDuckBot
Dumbot
E-SocietyRobot
E-StyleISP
EApolloBot
EMPAS_ROBOT
ESISmartSpider
Earthcom
EasyDL
Echo.com
Echo.fr
Egothor
Egotobot
Elfbot
Elsop
EmeraldShield.com Web Spider
Enfish Tracker
Enoola
Enterprise Search
Entireweb
Envolkspider
EroCrawler
Eruvo-bot
EuripBot
Euro-spider
Evaal
EvaalSE
Eventax
Everest-Vulcan
Evrinid-RT
Exabot
Exabot-Images
ExactSEEK
ExactSeek_Spider
Excalibur
Execrawl
FAST-WebCrawler
FDSE
FaXobot
Factbot
FairShare
Fast Search
Fastbot
FauBot
Favo.eu crawler
Feed24
FeedChecker
Feedfetcher-Google
Feedfinder
Feedster Crawler
Felix
Filangy
FindLinks
Findexa Crawler
FineBot
Firefly
FirstGov
Firstsbot
Flapbot
Flatlandbot
FlickBot
Fluffy the spider
FnooleBot
Folkd.com Spider
ForAll.pl-Crawler
Francis
FreshNotes crawler
Freshmeat
FuchsBot
FurlBot
FuseBulb
FyberSpider
GAIS Robot
GEXTEST-00393
GPU p2p crawler
GSiteCrawler
Gaaz
Gaisbot
GalaxyBot
Gamekitbot
GammaSpider
GenieKnows
GeonaBot
Georgia Institute of Technology
Geourl
GigaBaz Brainbot
Gigabot
Girafabot
GlobalQueue
GnodSpider
GoForIt
Goblin
Gonzo1
Gonzo2
Goo (Japan)
Google Keyword Tool
Google-Adsense
Google-Image
Google-Sitemaps
Google-WAP
GoogleBot
Googlebot-Mobile
Greaterera
GrigorBot
Gromit
Grub-client
Gsa-crawler
Gulliver
GulperBot
Gungho-crawler
GurujiBot
Harvest-NG
Hatena Antenna
HatenaScreenshot
Hbtronix.spider
HeinrichderMiragoRobot
Helix
HenriLeRobotMirago
HenryTheMiragoRobot
Heritrix
Heritrix L3S
Heritrix/1.4.0
Hermits Search
Hiiglespider
Hitwise Spider
Holmes
HolmesBot
HomePageSearch
Homerbot
Honda-Search
Hoowwwer
Htdig
Htdig/3.1.6
I1searchbot
ICC-Crawler
ICCrawler
ICRA_Label_spider
IDBot
IIITBOT
INGRID
IP2MapBot
IPiumBot
IRLbot
IScraperBot
IWAgent
Iaskspider2
Ichiro
IconSurf
Icsbot
Ideare
IlTrovatore
Ilial/Nutch
Ilse
ImageWalker
IncyWincy
IncyWincy (Look)
IndexTheWeb
Indonesia Interactive
Indy Library
InelaBot
Inet Library
InfoFly
InfoLab robot
InfoSec Search Bot
Infoseek
Inria
Insitor Search robot
Insitornaut
Internet Ninja
Internetseer
Iprospect
IpselonBot
Iseekbot
Ishida Lab
It-bot
Jabot
Jambot
Jayde Crawler
Jeanie
Jetbot
Jobs.de-Robot
Jomjaibot
Jongaimpi
Jyxobot
K2 Spider
KAIST AITrc Crawler
KFSW-Bot
KIT_Fireball
KS Crawler
KSbot
KakleBot
KaloogaBot
Kasparek
Keegeebot
Kenjin Spider
Kevin
KicktooBot
Kinja-imagebot
Kinjabot
KnowItAll
Knowledge.com
Krugle
Kulokobot
Kulturarw
Kumm
Kyluka crawl
LECodeChecker
LNSpiderguy
LapozzBot
Larbin_2.6.3
Lawinfo-crawler
Lemur Consulting
Lexibot
Liafa
LibWeb
LibertyW
LijitSpider
Linguee Bot
LinkWalker
Linknzbot
Links2Go
Links4US-Crawler
LinksManager.com_bot
Llaut
Lmspider
LocalBot
Lockstep Spider
Look.com
LookdirBot
Lovel
Ltaa_web_crawler
Luchs.at URL checker
Lycos_Spider
MJ12bot
MQBOT
MSN Bot
MSNBOT_Mobile
MSRBOT
MSRBot
MaSagool
Mail.Ru
Mainseek_Bot
Mammoth
MantraAgent
Mariner
Martini
Marvin
Masterseek
Maxbot
Maxomobot
MediaCrawler
MediaSearch
Mediater Rechercher
MegaSheep
Megaglobe Crawler
Melbot WebSpider
Mercator
Merl.com
MetaGer_PreChecker
Metacarta
Metadata Labs
Metaeuro Web Crawler
Metager-Linkchecker
MetagerBot
Metaquerier
Metaspinner
Metatagsdir
Microsoft Small Business Indexer
Microsoft URL Control
Miggibot
Mirar
Missigua Locator 1.9
Misterbot
Miva
MnoGoSearch
Mo College 1.9
Moget
Mogimogi
MojeekBot
Monogol
Moreoverbot
Morris
Mowserbot
MozDex
Mozdex
MultiText
Multicrawler
MuscatFerret
MusicWalker
Mxbot
My-bytebot
MyFamilyBot
Mylinea
NASA Search 1.0
NCSA
NG-SearchBot
NII
NLCrawler
NMG Spider
NTT Directory
NWSpider
Nabot
Najdi
Nameprotect
Nationaldirectory
NatzanBot
NaverBot
NavissoBot
Nebulla
Nelian Pty Ltd - Spider
NetNose
NetResearchServer
NetSprint -- 2.0
NetWhatCrawler
NetinfoBot
Netluchs
Netprospector
Netscape
NextGenSearchBot
NextopiaBot
NimbleCrawler
NjuiceBot
Noago Spider
NokodoBot
Norbert
Noxtrumbot
Noyona
Nsyght
NuSearch Spider
Nutch
NutchCVS/0.8-dev
NutchEC2Test
OOZBOT
Obidos-bot
Object Sciences Corp.
Objects Search
Ocelli
Octora
Octora Beta Bot
OmniExplorer
OnetSzukaj
OpenISearch
OpenPortal4U
OpenTaggerBot
OpenTextSiteCrawler
OpenWebSpider
Openfind
OpidooBot
Oracle
OrangeBot-Mobile
OrangeSpider
Orbiter
Overture-WebCrawler
OzMonitor
Ozelot
PJspider
PWeBot
Page-store
PageBitesHyperBot
Page_verifier
Pagebull
Pages Jaunes
PalmeraBot
Pandora
ParaSite
PatchOneSpider
Patwebbot
Peerbot
Petitsage
PicoSearch
PictureOfInternet
Piffany
Pilot Hitlist
Pingdom
PipeLiner
Pita
PlantyNet_WebRobot
PluckFeedCrawler
Pmoz
Podtech
Pogodak
Polybot
Pompos
PopJapanSearch
Popdexter
PrivacyFinder/1.1
ProWebguide
Probe!
Psbot
Psycheclone
Pubblisito
Pumpkin
Purebot
Python-urllib
QPCreep
QihooBot
Quantcastbot
Qube
QuepasaCreep
QueryN Metasearch
Qweerybot
R6_CommentReader
R6_FeedFetcher
RAMPyBot
RSS One Engine
Rambot
RankMeter
Rational SiteCheck
Reaper
RedBot
RedCarpet/1.2
RedCell
RedKernel
RoboPal
Rotondo
RufusBot
RutterBot
S2Bot
SAIT
SBIder
SandCrawler
Savvybot
ScanWeb
Schibstedsokbot
ScholarUniverse
Scirus-crawler
ScollSpider
ScorpionBot
ScoutAnt
ScoutJet
Scrubby
Sdcresearchlabs-testbot
Search-Engine-Studio
Search-Info
Search.ch
Search17Bot
Search4free
SearchByUsa
SearchEngineWorlds
SearchExpress Spider
SearchMonkey
SearchScout
SearchSight
SearchSpider
SearchdayBot
Searchdnabot
Searchguild
Searchit-Now Robot
Searchmee! Spider
Seekbot
Seeker.lookseek
Semager
Sensis.com.au Web Crawler
SeznamBot
SharewarePlaza
SheenBot
Sherlock
Shim-Crawler
ShopWiki
Shoula
SietsCrawler
Siigle Orumcex
Silk/1.0
Sirketcebot
Site Server 3.0 Robot
SiteBar
SiteBaseBot
SiteSpider
SiteTruth
SitiDiBot
Skampy
Skizzle
SkreemRBot
Slider
Slurp (Yahoo)
Slurp China (Yahoo)
Slurp Inktomi
Slurp Inktomi (Yahoo)
Slurpy Verifier
SmiffyDCMetaSpider
SnapPreview
Snapbot
Snoopy
SnykeBot
SoftHypermarket
Sogou web spider
Sohu-search
Somewhere
Sosospider
Spam Bot
Spbot
Speedfind
Speedy Spider
Sphere Scout
Sphsearch
SpiderMonkey
Spinn3r
SplatSearch
Spock Crawler
Sproose
StackRambler
Steeler
Strategic Board Bot
Suchbaer
Suchpad
SummizeBot
SuperSnooper
SurveyBot
Susie
Swooglebot
SycaBoT
SycaBoT-Audio
SycaBoT-Image
SycaBoT-Programme
SycaBoT-Video
Sycrawl
Sygol
SygolBot
SynooBot
Synthesio Crawler
Syntryx
Szukacz
TAGword
TCDBOT
Tags2dir
TailRank Robot
Talkro
TargetSeek
Tasapspider
Technoratibot
Tecomi Bot
Teemer
TelenetDigger
Teoma
Teradex Mapper
TeragramCrawler
TeragramWebcrawler
TerrawizBot
TheSuBot
Theme Spider
Theophrastus
Thumbshots-de-bot
Thunderstones Webinator
TimboBot
TinEye
TivraSpider
Tkensaku
ToileBot
Topodia
Toutatis
Traazibot
Trampelpfad
TrendTech
Truveo
Turnitin
TurnitinBot
Turnpike Emporium
TutorGigBot
TweetmemeBot
TwengaBot
Twiceler
TygoBot
TÜzilla
UKWizz
UN OCHA
UOLCrawler
URL-Spider
URL_Spider_Pro
USyd-NLP-Spider
Ultraseek
UnChaosBot
Uni-koblenz
Unido-bot
Updated
Updated crawler
Uptimebot
Urlchecker1.0
Urlfan-bot
VBSEO
VIProbot
VMBot
VWBOT
Vacobot
Vagabondo
Vagabondo-WAP
Vakes
Verizon
Vermut
Versus
Versus Crawler
VeryGoodSearch
Verzamelgids
Vespa Crawler (Yahoo)
Visbot
Vlad
VoilaBot
Vonna.com b o t
Vortex/2.2
Voyager
Vspider
W3C-Validator
W3C-checklink
W3SiteSearch Crawler
W8net
WEP Search
WIRE
WISEbot
WWW.fi crawler
WWWeasel Robot
Wadaino.jp-crawler
WasaBot
Wavefire
Waypath
WeRelateBot
WeatherBot
WebAlta Crawler
WebBOT
WebCorp
WebFindBot
WebGobbler
WebRankSpider
WebSearch
WebSearchBench
WebStat
WebVac
WebarooBot
Webbandit
Webbot
Webclipping
Webcrawl
Webduniabot
Webglimpse
Weblog Attitude Diffusion
Webmeasurement-bot
Webmeasurement-crawler
WebsiteWorth
Webspinne
Websquash
Webster
Webverzeichnis
Whoiam
Wikiwix-bot
Willow
WinME
WinkBot
WiseGuys
Worio
Worio bot
Worio heritrix bot
WorldWideWeb-X/3.1
Wotbox
Wume_crawler
Wwlib/Linux
Wwwster
XP5
Xdefine
Xirq
Xyleme SA France
Y!J
Yacy
Yacybot
Yahoo Japan robot
Yahoo Search Japan robot
Yahoo Search Marketing crawler
Yahoo! Mindset
Yahoo-Blogs
Yahoo-MMAudVid
Yahoo-MMCrawler
Yahoo-Test/4.0
Yahoo-VerticalCrawler
YahooFeedSeeker
YahooSeeker
YahooSeeker/M1A1-R2D2
Yandex
Yarienavoir
Yellopet
YesupBot
Yeti
Yggdrasil
YodaoBot
YooW!
Yoogli
Yoono
Yoono web-crawler
YottaCars
YottaShopping
Z-Add Link Checker
Zao Crawler
ZeBot
Zealbot
Zearchit
Zedzo.digest
Zerxbot
Zetbot
Zeus
ZipppBot
Zippy
ZoomSpider
Zspider
ZyBorg (LookSmart)
ZyBorg (Wisenut)
aiHitBot
eCairn-Grabber