Ein echter Insider, diese Robots.txt von last.fm:
Die Datei “Robots.txt” ist eigentlich dafür da, um Suchmaschinen zu sagen, welche Daten sie indexieren sollen (und welche nicht).
Wer den Witz nicht versteht, kann sich hier weiterbilden:
http://en.wikipedia.org/wiki/Three_Laws_of_Robotics
Hier der Link zur robots.txt