PHP Crawler anti-crawler မဟာဗျူဟာနှင့်ပြုပြင်ခြင်းနည်းလမ်း - အကာအကွယ်ပေးရေးယန္တရားကိုထိရောက်စွာကျော်လွှားနည်း

1 ။ နိဒါန်း

အင်တာနက်သတင်းအချက်အလက်ပေါက်ကွဲမှုခေတ်တွင်သတင်းအချက်အလက်စုဆောင်းခြင်းနှင့်ပေါင်းစည်းမှုသည်အရေးပါမှုဖြစ်လာသည်။ သို့သော်၎င်းတို့၏ကိုယ်ပိုင်အရင်းအမြစ်များကိုကာကွယ်ရန်ဝက်ဘ်ဆိုက်များစွာသည်တွားတတ်သောတိရစ္ဆာန်များဆန့်ကျင်ရေးယန္တရားများကိုတည်ထောင်လိမ့်မည်။ အသုံးများသော web ဖွံ့ဖြိုးတိုးတက်မှုဘာသာစကားတစ်ခုအနေဖြင့် PHP ကိုတွား 0 င်အကောင်အထည်ဖော်ရာတွင်ကျယ်ပြန့်စွာအသုံးပြုသည်။ ယခုဝက်ဒီဆောင်းပါးတွင် PHP အတွက် PHP ကိုအသုံးပြုသောအခါ 0 က်ဘ်ဆိုက်များအတွက် 0 က်ဘ်ဆိုက်များအတွက်ဆန့်ကျင်ရေးဆန့်ကျင်ရေးယန္တရားများကိုမည်သို့ကိုင်တွယ်ရမည်ကိုလေ့လာလိမ့်မည်။

2 ။ တွားတတ်သောတွား၏တွားတတ်သောတွားတတ်သောသူယန္တရား

2.1 စက်ရုပ် protocol

စက်ရုပ် protocol (crawler protocol) ဟုလည်းလူသိများသော Robots protocol) သည်ရှာဖွေရေးအင်ဂျင်တွားမြင်သူများကိုကန့်သတ်ရန်ရည်ရွယ်သည့် 0 က်ဘ်စီမံခန့်ခွဲသူများကပြုလုပ်သောစည်းမျဉ်းဖြစ်သည်။ ဤ protocol သည်မည်သည့်စာမျက်နှာများကိုတွားသွားနိုင်သည်။ မည်သည့်စာမျက်နှာများကိုတားမြစ်သည်ကိုသတ်မှတ်သည်။ အကယ်. တွား 0 တ် 0 သည်သဘောတူညီချက်ကိုလိုက်နာရန်ပျက်ကွက်ပါက 0 က်ဘ်ဆိုက်သည်၎င်း၏ဝင်ရောက်ခွင့်ကိုပိတ်ဆို့နိုင်သည်။ 0 က်ဘ်ဆိုက်၏အကြောင်းအရာကိုမတွား 0 င်မီ,

2.2 အတည်ပြုကုဒ်

Verification Code သည် crawler anti-crawler anti-crawler technique ကိုသေချာပေါက် visitors ည့်သည်များ, အက္ခရာများ, အက္ခရာများ, အတည်ပြုကုဒ်ကိုကျော်လွှားရန် crawler သည်လက်စွဲစာအုပ်ကိုတုန့်ပြန်နိုင်သည်။ အတည်ပြုကုဒ်အကြောင်းအရာကိုခွဲခြားသတ်မှတ်ရန် OCR နည်းပညာကိုအသုံးပြုနိုင်သည်။

2.3 IP ကန့်သတ်ချက်များ

0 က်ဘ်ဆိုက်များသည်များသောအားဖြင့် IP address ကိုအလွယ်တကူ 0 င်ရောက်မှုအကြိမ်ရေကိုကန့်သတ်ရန်မကြာခဏတောင်းဆိုထားသော IP address များကိုမကြာခဏပိတ်ဆို့လေ့ရှိသည်။ ဤပြ problem နာကိုဖြေရှင်းရန်တွား 0 န်ထမ်းများသည်ကွဲပြားခြားနားသောလုပ်ဖော်ကိုင်ဖက်များကိုလှည့်ခြင်းဖြင့် proxy IP ရေကန်များနှင့်ဝင်ရောက်ခွင့်ကို အသုံးပြု. လူ ဦး ရေပိတ်ပင်မှုကိုဖြစ်ပေါ်စေသည်။

2.4 အသုံးပြုသူ - ကိုယ်စားလှယ်ရှာဖွေတွေ့ရှိမှု

အချို့သောဝက်ဘ်ဆိုက်များသည်အသုံးပြုသူ၏အေးဂျင့်ကို HTTP တောင်းဆိုမှုများတွင် crawlers များကိုခွဲခြားသတ်မှတ်ကြသည်။ တစ် ဦး ကတွားသွားတစ်ချောင်းသည်တောင်းဆိုမှုခေါင်းစဉ်တွင်ဘုံ browser အသုံးပြုသူအေးဂျင့်ကိုခွင့်ပြုခြင်းဖြင့်တွားတတ်သောတိရစ္ဆာန်တစ်ကောင်အဖြစ်အသိအမှတ်ပြုခံရခြင်းကိုရှောင်ရှားနိုင်သည်။

3 ။ Crawler ရဲ့တုံ့ပြန်မှုမဟာဗျူဟာ

3.1 ကန့်သတ်ချက်အကြိမ်ရေ 3.1

တွားမြင်လွှာ၏ကြိမ်နှုန်းကိုလျှော့ချခြင်းအားဖြင့်ပိတ်ဆို့ခြင်းအန္တရာယ်ကိုလျှော့ချနိုင်သည်။ သင် PHP ၏အိပ်စက်ခြင်းလုပ်ငန်းကို အသုံးပြု. တွားသွားသူယန္တရားကိုတွန်းအားပေးရန်အလွန်အကျွံမြန်ဆန်သောတောင်းဆိုမှုများကိုရှောင်ရှားရန်အလွန်အမင်းမြန်ဆန်စွာတောင်းဆိုခြင်းကိုရှောင်ရှားရန်သင်အသုံးပြုနိုင်သည်။

  <?php
    for ($i = 1; $i <= 10; $i++) {
        $url = 'http://example.com/page' . $i . '.html';
        $content = file_get_contents($url);
        echo $content;
        sleep(1); // Contact Access Speed
    }
  ?>
  

3.2 proxy လုပ်ဖော်ကိုင်ဖက်များကိုအသုံးပြုခြင်း

Proxy IP များအသုံးပြုခြင်းဖြင့်တွား 0 န်ထမ်းများသည်အိုင်ပီပိတ်ပင်မှုကိုရှောင်ရှားနိုင်သည်။ တောင်းဆိုမှုတစ်ခုစီတောင်းခံသည့်အခါတိုင်းကျပန်း IP ကို ​​proxy IP Pool မှရယူရန်ရွေးချယ်သည်။

  <?php
    $proxyList = array(
        'http://proxy1.com:8080',
        'http://proxy2.com:8080',
        'http://proxy3.com:8080'
    );
    $proxy = $proxyList[array_rand($proxyList)]; // ကျပန်းအေးဂျင့်ကိုရွေးပါIP
    $context = stream_context_create(array(
        'http' => array (
            &#39;proxy&#39; => $ proxy,
            &#39;count_fulluri&#39; => ဟုတ်တယ်,
            &#39;အချိန်ကုန်&#39; => 5
        )
    )));
    $ အကြောင်းအရာ = file_get_contents (&#39;http://example.com&#39;, မှားယွင်းသော, $ အခြေအနေ);
  >
  

3.3 ဘရောက်ဇာစစ်ဆင်ရေးအပြုအမူကိုတုပ

anti-crawler ယန္တရား၏ကြားဖြတ်ချက်ကိုရှောင်ရှားရန်တွားမြင်သူများသည် user-action header သို့အသုံးပြုသူ - ကိုယ်စားလှယ်သတင်းအချက်အလက်ကိုထည့်သွင်းခြင်းဖြင့်မိမိတို့ကိုယ်ကိုပုံမှန် browser access အဖြစ်ဖုံးကွယ်ထားနိုင်သည်။

  <?php
    $context = stream_context_create(array(
        'http' => array (
            &#39;Header&#39; => &#39;User-agent: Mozilla / 5.0 (Windows NT 10.0; x64) Applewebkit / 537.36 (KHTML, GECKO) chrome / 89.0.4.4389.82 Sauck / 537.36&#39;
            &#39;အချိန်ကုန်&#39; => 5
        )
    )));
    $ အကြောင်းအရာ = file_get_contents (&#39;http://example.com&#39;, မှားယွင်းသော, $ အခြေအနေ);
  >
  

3.4 cracking အတည်ပြုကုဒ်

အက်ကွဲခြင်းဆိုင်ရာအတည်ပြုချက်ကုဒ်သည်အတော်အတန်ခက်ခဲသောနည်းလမ်းဖြစ်သည်။ ဤနည်းလမ်းသည် crawling အမြောက်အများကိုလိုချင်သော 0 ဘ်ဆိုဒ်များအတွက်သင့်လျော်သည်။

4 ။ နိဂုံးချုပ်

ဆန့်ကျင်ရေးယန္တရားများနှင့်ရင်ဆိုင်နေရသည့်အခါ PHP တွား 0 န်ထမ်းများအတွက် PHP တွားမြင်သူများအတွက်ဘုံမဟာဗျူဟာများမှာ proxy IP Pools များကိုအသုံးပြုခြင်း, ဤနည်းလမ်းများသည်တွားသွားသူများကိုကာကွယ်ရေးယန္တရားများကိုကျော်လွှားနိုင်ရန်ကူညီနိုင်သော်လည်းဝက်ဘ်ဆိုက်၏စက်ရုပ် protocol ကိုဖွံ့ဖြိုးဆဲစဉ်ကလေးစားမှုရှိသင့်ပြီးဝက်ဘ်ဆိုက်၏ပုံမှန်လည်ပတ်မှုကိုအကျိုးသက်ရောက်စေသင့်သည်။