Etikettarkiv: domaintool

Crawler 2.0

Som många vet så har jag två tjänster som visar information om domäner, nämligen DomainDB.com samt DomainTool.se. Jag var i behov av att uppdatera den informationen som fanns så det var dags att starta den crawler som jag skapat för några år sedan.

Crawlern (eller webcrawler, spider som det också heter) var tämligen ouppdaterad så jag tog tillfället i akt och använder nu enbart Redis. Tidigare så använde jag MySQL + Sphinx:

  • db0 – Kö för domäner som skall besökas
  • db1 – Koppling mellan namnserver och IP-nummer
  • db2 – Koppling mellan www.domän och IP-nummer
  • db3 – Sidtitlar

Db0 rensas och fylls på ungefär varannan dag med runt 25 miljoner nya domäner som besöks så efter cirka en vecka så har jag besökt 100 miljoner domäner. För server-kapacitet så använder jag Amazon EC2 och deras spot instances som är lite billigare och utnyttjar oanvända EC2-instanser.

matt cutts, bloggy, miniatlas, domaintool

Teds sidor är äntligen tillbaka i Googles sökresultat. Självaste chefen för webbspam på Google vid namn Matt Cutts fixade biffen, grymt! Matt Cutts bloggar här: mattcutts.com/blog

**

Diverse uppdateringar på Bloggy, såsom mindre avatarer i flödet och större avatarer på ”profilsidan” samt möjlighet att förstora avatarbilderna (endast på nya). Och Bloggy stödjer nu webhooks

**

Niklas aka @webpal har skapat en grym webbsajt i WordPress som hittas på urlen miniatlas.se. Jag gillar WordPress mer och mer för var dag som går.

**

Har uppdaterat DomainTool med lite allt möjligt, bl.a AS-information om IP-nummer och baklängesuppslagningar.

Ted bestraffad, Lindqvist får jurister, DomainTool uppdaterad

Google bestraffar Ted Valentins kartsajter. Kan det bero på att Google är en algoritm och Ted länkar mellan för många sajter som ligger på samma IP-nummer? Jag har tidigare skrivit om min hatkärlek till Google.

Update: Google ångrar sig rapporterar DI.

**

Nikke Lindqvist får juridisk post. Men inte till sig själv, utan till en av hans uppdragsgivare.

**

Jag har uppdaterat DomainTool.se med en kommentarsfunktion ala Google Friend Connect. Samt så har även DomainGoat och cz.DomainGoat.com fått ett mindre ansiktslyft.

**

Glöm för guds skull inte att kolla in Pelle Stens underbara intervjuer med härliga entreprenörer i serien ”Vi bygger internet” http://www.vimeo.com/4978036 samt SvD utvecklingsblogg