Das Internet-Archiv als Zeitraffer

Von dem Google Zeitraffer Video war ich doch etwas angetan und habe mir gedacht, dass man sicherlich ein Teil davon automatisieren kann. Rausgekommen ist mein kleines “WebHistoryTimeline” Projekt, welches als Datenquelle das “Internet Archive” nutzt.

Dabei hole ich mir über RegEx alle Links heraus und rufe diese Links über die WebBrowser Klasse auf und speichere die gerenderte Seite im Dateisystem.

Die Projektstruktur:

Model beschreibt einfach unsere “Objektstruktur”. Der Service macht hier nur ein kleine Überprüfung ob die eingegeben URLs mit “http://” beginnen – quasi etwas Validierung. Im Data passiert das eigentlich interessante:

(ich bin kein RegEx Profi, sondern eher ein blutiger Anfänger und wollte schnell zu Ergebnissen kommen) :

        public Website GetWebsite(string url)
        {
            string archiveUrl = "http://web.archive.org/web/*/" + url;
            HttpWebRequest rq = (HttpWebRequest)WebRequest.Create(archiveUrl);
            HttpWebResponse response = (HttpWebResponse)rq.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream());
            string html = reader.ReadToEnd();

            Website resultWebsite = new Website();
            resultWebsite.Url = url;

            MatchCollection matchs = Regex.Matches(html, @"<a.href=.http://web.archive.org/web/\d.*?</a>");
            foreach (Match match in matchs)
            {
                ArchiveWebsite archive = new ArchiveWebsite();
                archive.ArchiveUrl = Regex.Match(match.Value, @"http://web.archive.org/web/\d*").Value + "/" + url;
                archive.Date = DateTime.Parse(Regex.Match(match.Value, @"\w\w\w\s\d\d,\s\d\d\d\d").Value);
                resultWebsite.ArchiveWebsites.Add(archive);
            }

            return resultWebsite;
        }

Die “WinApp” und die “ConsoleApp” sind zwei Demoanwendungen, wobei die Konsolenapplikation die Bilder auf die Festplatte speichert:

Das ganze ist nicht besonders toll und Multithreading fehlt auch – allerdings hat man hinterher folgendes Ergebnis (bei der Microsoft Seite)

Insgesamt sind es bei der Microsoftseite über 1300.

Da das vielleicht ein nettes Spielzeug für den einen oder anderen ist, werde ich den Sourcecode auf Codeplex veröffentlichen. Leider kann ich das gerade dort nicht einchecken, sodass ich erstmal nur die “Download-Variante” anbiete:

[ Download Source Code ]

Viel Spaß

About the author

Written by Robert Mühsig

Robert Mühsig (@robert0muehsig) ist Webentwickler und beschäftigt sich mit Web-Frameworks (vor allem dem ASP.NET MVC Framework) und scheut sich auch nicht vor Javascript. Ansonsten bloggt er über all jene Probleme, die ihm über den Weg laufen. Seit 2008 ist er Microsoft MVP für ASP.NET und er arbeitet bei der T-Systems Multimedia Solutions GmbH in Dresden. Treffen kann man ihn online via Twitter (@robert0muehsig) oder dieser Seite oder bei der .NET User Group Dresden.

2 Responses

1. 

   Danny

   11. October 2008

   Hallo Robert,
   Eine tolle "Spielerei" die du da ins Netz gestellt hast Musste gleich mal ein paar Bild-Archive von einigen meiner Seiten anlegen und schon erstaunlich wie die früher ausgesehen haben und wie sich das ganze verändert hat. Natürlich war mir archive.org bekannt, aber so machts natürlich mehr Spass

   Reply
2. 

   Robert Mühsig

   12. October 2008

   Der Source Code ist nun auch über Codeplex zu beziehen: http://www.codeplex.com/webhistorytimeline

   Reply