PHPP နှင့် PPSPERIDER TUpPSPIDER TUTREACEARAIAL - လွယ်ကူစွာတွားတတ်သောတိရစ္ဆာန်စနစ်ကိုအလွယ်တကူတည်ဆောက်နိုင်သည်

နိဒါန်း

တွား 0 န်ထမ်းများသည်အင်တာနက်မှဒေတာများကိုအလိုအလျောက်ဖမ်းယူနိုင်ပြီးအချက်အလက်ကောက်ယူခြင်းနှင့်ခွဲခြမ်းစိတ်ဖြာခြင်းများတွင်ကျယ်ပြန့်စွာအသုံးပြုသောအစီအစဉ်များဖြစ်သည်။ လူကြိုက်များသောဆာဗာဘေးထွက် Scripting language တစ်ခုအနေဖြင့် PHP သည် Phpspider မူဘောင်နှင့်တည်ငြိမ်။ ထိရောက်သောတွားသမားစနစ်ကိုလျင်မြန်စွာတည်ဆောက်နိုင်သည်။ ဤဆောင်းပါးသည် PHP နှင့် PPSPERPADER ကို အသုံးပြု. သင်၏ကိုယ်ပိုင်တွားကွင်းစီမံကိန်းကိုတည်ဆောက်ရန်သင့်အားလမ်းခရီးဖြင့်ခြေလှမ်းလျှောက်ပါလိမ့်မည်။

installation နှင့် configuration ကို

pppspider ကို install လုပ်ပါ

ဆာဗာသည် PHP ကိုတပ်ဆင်ထားကြောင်းသေချာပါစေ, ထို့နောက် PPSPSPERER ကို composer မှတဆင့်ထည့်သွင်းပါ။

 composer require duskowl/php-spider

တပ်ဆင်မှုပြီးဆုံးပြီးနောက်အော်တိုတင်ထားသောဖိုင်ကိုစီမံကိန်းသို့မိတ်ဆက်ပါ။

 require 'vendor/autoload.php';

phpspider ကို configure

စီမံကိန်း root directory (config.php ကဲ့သို့သော config.php ကဲ့သို့သော config.php) အသစ်တစ်ခုကိုဖန်တီးပါ။ ဥပမာ configuration ကိုအောက်ပါအတိုင်းဖြစ်သည် -

 return [
    'start_urls' => [
        'https://example.com',
    ],
    'concurrency' => 5,
    'interval' => 1000,
];

အထက်ပါ Configuration သည် https://exampe.com သို့အစပြုရန် URL ကိုသတ်မှတ်သည်။ အမြင့်ဆုံးသောတစ်ပြိုင်နက်တည်းနံပါတ်ကို 5 အထိသတ်မှတ်ထားသည်။

crawler ကုဒ်ရေးသားခြင်း

Crawler အဓိကပရိုဂရမ်ဖိုင် (ဥပမာ spider.php ကဲ့သို့) ဖန်တီးပါ။ နမူနာကုဒ်သည်အောက်ပါအတိုင်းဖြစ်သည် -

 use Spider\Spider;
use Spider\Downloader\DownloaderInterface;
use Spider\UrlFilter\UrlFilterInterface;
use Spider\Parser\ParserInterface;

$spider = new Spider();

$spider->setDownloader(new DownloaderInterface() {
    public function download($url) {
        // Download Logic အကောင်အထည်ဖော်ပါ
    }
});

$spider->setUrlFilter(new UrlFilterInterface() {
    public function filter($url) {
        // ပြီးမေြာက်စေURLLogic filtering
    }
});

$spider->setParser(new ParserInterface() {
    public function parse($html) {
        // ပြီးမေြာက်စေHTMLခွဲခြမ်းစိတ်ဖြာယုတ္တိဗေဒ
    }
});

$spider->crawl();

Code သည် Phpspider မှပေးသော interface ကို အသုံးပြု. Crawler အပြုအမူအားစိတ်ကြိုက်ပြုလုပ်ခြင်းကိုစိတ်ကြိုက်ပြုပြင်ခြင်းကိုစိတ်ကြိုက်ပြုပြင်ခြင်းကိုလွယ်ကူချောမွေ့စေရန်အတွက် download,

ပြေးပြေးပြေး

crawler ကိုစတင်ရန် command line မှအောက်ပါ command ကို run ပါ။

 php spider.php

Crawler သည် configuration နှင့်အညီတွားမြင်ကွင်းကို စတင်. ရလဒ်ကိုသတ်မှတ်ထားသောနေရာသို့သိမ်းဆည်းလိမ့်မည်။

အကျဉ်းချုပ်

ဤဆောင်းပါး၏ရှင်းလင်းချက်အားဖြင့်သင်သည်အခြေခံတွား 0 င်သောစနစ်တစ်ခုတည်ဆောက်ရန် PHPP နှင့် PPSPERIDER မူဘောင်များကိုမည်သို့အသုံးပြုရမည်ကိုသင်ကျွမ်းကျင်စွာပြုလုပ်ခဲ့သည်။ ကျိုးကြောင်းဆီလျော်သော configure parameters တွေကိုနှင့်အကောင်အထည်ဖော်ခြင်းများအကောင်အထည်ဖော်ခြင်းများကိုအကောင်အထည်ဖော်ခြင်းနည်းလမ်းများမတူကွဲပြားသောဒေတာများရှိလိုအပ်ချက်များကိုဖြည့်ဆည်းရန်နည်းလမ်းများ။ ဤအကြောင်းအရာများသည်သင့်အားထိရောက်စွာနှင့်အလိုအလျောက်စုဆောင်းခြင်းကိုချောချောမွေ့မွေ့ရရှိရန်ကူညီနိုင်သည်ဟုမျှော်လင့်ပါသည်။