Deutsch
Deutsch
Mit dem explosiven Wachstum des Informationsvolumens des Internets ist die schnelle und genaue Erfassung von Zieldaten aus einer großen Anzahl von Webseiten zum Schwerpunkt der Entwickler. Als weit verbreitete Backend -Entwicklungssprache kann PHP den Prozess der Webseitendatenerfassung vereinfachen und die Effizienz mit dem PHPSPider -Crawler -Framework verbessern.
Dieser Artikel führt Sie durch die Installation von PHPSPider, schreibt Crawler -Skripte und verwendet Beispiele, um zu zeigen, wie wichtige Informationen auf Webseiten lokalisiert und extrahiert werden.
PHPSPIDER ist ein Open -Source -Crawler -Framework, das auf PHP basiert und sehr einfach zu installieren ist. Führen Sie einfach den Befehl über Komponist aus:
<span class="fun">Der Komponist benötigt PHP-Spider/PhpSpider</span>
Erstellen Sie nach Abschluss der Installation eine Datei namens spider.php , führen Sie die automatische Ladedatei ein und instanziieren Sie das Crawler -Objekt:
<?php
require 'vendor/autoload.php';
<p>use phpspider\core\phpspider;</p>
<p>// Erstellen Sie ein Crawler -Objekt<br>
$spider = new phpspider();</p>
<p>// Setzen Sie den Start des CrawlersURL<br>
$spider->add_start_url('<a rel="noopener" target="_new" class="" href="http://www.example.com">http://www.example.com</a>');</p>
<p>// Definieren Sie eine Rückruffunktion, die den Seiteninhalt extrahiert<br>
$spider->on_extract_page = function ($page, $data) {<br>
// Schreiben Sie die Extraktionslogik hier，Regelmäßigkeit verwenden、XPathoderCSSSelector extrahiert Daten<br>
return $data;<br>
};</p>
<p>// Starten Sie Crawler<br>
$spider->start();<br>
Verwenden Sie in der Rückruffunktion den CSS -Selektor, um den Titel und den Körper schnell auf der Webseite zu finden, zum Beispiel:
$spider->on_extract_page = function ($page, $data) {
$title = $page['raw']['headers']['title'][0];
$content = $page['raw']['content'];
$data['title'] = $title;
$data['content'] = strip_tags($content);
return $data;
};
Hier werden die grundlegenden Datenkriechanforderungen erreicht, indem der ursprüngliche Inhalt der Webseite zugegriffen und den Titel und den Text extrahiert wird.
Die extrahierten Daten können in einer Datei oder einer Datenbank gespeichert werden. Beispiel Speichern Sie Daten in einer Textdatei:
$spider->on_extract_page = function ($page, $data) {
$title = $page['raw']['headers']['title'][0];
$content = $page['raw']['content'];
$data['content'] = strip_tags($content);
// Daten an die Datei anhängen
file_put_contents('extracted_data.txt', var_export($data, true), FILE_APPEND);
return $data;
};
Führen Sie ihn nach Abschluss des Code -Schreibens in der Befehlszeile aus:
<span class="fun">PHP spider.php</span>
Das Programm kriecht automatisch den Webseiteninhalt aus der angegebenen Start -URL und extrahiert und speichert Informationen gemäß den festgelegten Regeln.
Mit PHP und PHPSPider können Entwickler schnell leistungsstarke Webcrawler erstellen, um massive Webseitendaten automatisch zu kriechen. Durch einfache Codekonfiguration können Zielinformationen genau positioniert und extrahiert werden, wodurch die Effizienz der Datenerfassung erheblich verbessert wird. PHPSPIDER unterstützt außerdem fortschrittlichere Funktionen, die für eine maßgeschneiderte Entwicklung in verschiedenen Szenarien geeignet sind.
