Wir basteln uns einen Webcrawler – Teil 3

Wenn Ihr die beiden vorhergehenden Anleitungen (Teil1, Teil2) durchgearbeitet und auch ein wenig getestet habt, sollte man meine Schritte bis zum finalen Crawler eigentlich verstehen.
Als Projekt habe ich mir einen Bildergrabber für den wöchentlich erscheinenden Hornoxe Picdump ausgesucht.

Meine Schritte bis zum finalen Crawler habe ich über github gelöst, Ihr findet die History meiner Programmierarbeit hier -> Horni Picdump grabber.
Ich habe den Quellcode und die Änderungen fleißig kommentiert, zumindest in den einzelen Versionen.

Ihr fangt ganz unten an und arbeitet euch dann nach oben.
Alles was grün angezeigt wird, wurde neu hinzugefügt.
Alles was rot angezeigt wird, wurde zur Vorgängerversion entfernt.
Möchte man den aktuellen Sachstand sehen, klick auf view rechts oben.

Die finale Version, Kommentarbefreit, findet Ihr hier. Horni Picdump grabber – final.

Feedback ob Ihr mit den 3 Anleitungen so klarkommt würde mich freuen.

2 Gedanken zu „Wir basteln uns einen Webcrawler – Teil 3

  1. malzbier

    Hallo hoo,
    erstmal großes Dankeschön an Dich, dafür dass Du dir die Mühe gemacht hast dieses 3-teilige Tutorial zu erarbeiten.
    Die Aufteilung finde ich insgesamt sinnvoll, so kann man das Ganze auch über einen gewissen Zeitraum „strecken“, z.B. wenn man sich noch in PHP einarbeiten möchte.
    Auch ich habe mir vorgenommen mich damit näher auseinanderzusetzen, wenn ich Urlaub habe. Bisher habe ich Teil 2 und 3 also noch nicht nachgemacht.
    Sowieso war ich eigentlich mehr an der Theorie interessiert, ohne dass ich selbst jetzt direkt einen Anwendungszweck hätte.
    Teil 1 ist super, viel ausführlicher, als ich es mir gewünscht hätte. Habe das in Mint 17 nachgebaut. Ohne Probleme. Auch unter Windows habe ich vor Jahren schon mit XAMPP gearbeitet, mit Deinen Screenshots kommt man schnell zum Ziel.
    Bei deiner Umfrage habe ich mich wohl etwas unterschätzt. Das Schattenbaum PHP Tutorial habe ich auch vor Jahren schonmal durchgearbeitet, ich kenne also noch die grundlegende Syntax von PHP. Überhaupt finde ich, dass es ausreicht generelle Programmierkenntnisse zu haben. Wenn man das grundlegende Verständnis hat, dann muss man sich nur noch mit der Syntax der benötigten Sprache beschäftigen, was nicht so viel Zeit kostet. Ich z.B. habe damals viel in C++ programmiert. Heute code ich selten bis gar nicht mehr. Trotzdem kann ich, falls nötig, Scripte für Automatisierungszwecke erstellen, egal in welcher Sprache.
    In Teil 2 finde ich es gut, dass du explizit PHP Befehle auflistest, die später gebraucht werden. Bei Server Request & Response war jetzt auch nicht so viel Neues für mich dabei. Aber Du hast es gut, kurz und bündig zusammengefasst dargestellt. Das hat mir direkt geholfen, mich wieder an dieses Thema zu erinnern. Sehr hilfreich finde ich auch die Codeschnipsel von dir zum Thema POST und GET. Da hat man direkt einen Ansatz worauf man sich beim PHP Studium fokussieren sollte.
    Teil 3 werde ich mir wie gesagt bei Gelegenheit dann ansehen, habe aber bisher keine Zweifel daran dass man die einzelnen Schritte nachvollziehen kann, wenn man die PHP Basics hat, die du am Anfang genannt hat.
    Alles in allem gut geschriebenes HowTo, auf das man gut aufbauen kann.

    Antworten
  2. hoohead Beitragsautor

    Hallo malzbier,

    Danke für Dein Feedback, freut mich dass es Dir bisher taugt.
    Falls Du beim erstellen Deines ersten webcrawlers auf Hürden stößt, melde Dich einfach.

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

*