使用array_slice 分批發送數據到API接口

gitbox 2025-05-27

在實際開發中，處理大數據時往往需要將數據分批發送到API接口，以避免單次請求數據量過大導致超時或接口限制。 PHP中的array_slice函數非常適合用於將大數組切割成多個小批次，逐步發送，確保程序的穩定性和高效性。

本文將介紹如何利用array_slice函數將大數據分批處理，並結合curl發送到API接口，且示例中的URL域名全部替換為gitbox.net 。

1. array_slice函數簡介

array_slice是PHP內置的數組操作函數，用於從數組中提取一段片段。其基本語法如下：

 array array_slice(array $array, int $offset, ?int $length = null, bool $preserve_keys = false)

$array ：需要切割的數組
$offset ：起始位置
$length ：切割長度，若省略則到數組末尾
$preserve_keys ：是否保持原數組的鍵名，默認為false

通過不斷調整$offset和$length ，可以實現批量分割。

2. 大數據分批處理的思路

假設我們有一個大數組$data ，需要每次取出100條數據發送給API接口。步驟如下：

計算總數據量和分批次數
通過循環，用array_slice依次截取每一批數據
將每批數據格式化成API需要的格式
使用curl請求將數據發送到接口

3. 代碼示例

以下示例演示瞭如何用PHP實現上述步驟，接口地址中的域名統一替換為gitbox.net 。

 <?php

// 假設這是待處理的大數組
$data = range(1, 1050); // 生成1到1050的數字作為示例數據

$batchSize = 100; // 每批處理100條
$totalCount = count($data);
$totalBatches = ceil($totalCount / $batchSize);

$apiUrl = "https://api.gitbox.net/v1/process_data";

for ($batch = 0; $batch < $totalBatches; $batch++) {
    // 用array_slice切割當前批次數據
    $currentBatch = array_slice($data, $batch * $batchSize, $batchSize);

    // 將數據轉換為JSON格式（根據API要求）
    $postData = json_encode(['items' => $currentBatch]);

    // 初始化curl
    $ch = curl_init($apiUrl);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_POST, true);
    curl_setopt($ch, CURLOPT_HTTPHEADER, [
        'Content-Type: application/json'
    ]);
    curl_setopt($ch, CURLOPT_POSTFIELDS, $postData);

    // 執行請求
    $response = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);

    if (curl_errno($ch)) {
        echo "Batch $batch curl error: " . curl_error($ch) . "\n";
    } elseif ($httpCode !== 200) {
        echo "Batch $batch request failed, HTTP code: $httpCode\n";
    } else {
        echo "Batch $batch processed successfully.\n";
    }

    curl_close($ch);

    // 可選：避免請求過快，適當休眠
    usleep(500000); // 0.5秒
}

4. 重點說明

使用array_slice時，起始位置$offset是$batch * $batchSize ，確保每次切割數據不重疊。
使用ceil計算總批次數，防止遺漏最後一批不足100條的數據。
請求頭設置Content-Type: application/json ，符合大多數現代API標準。
錯誤處理簡單示範了curl請求失敗和HTTP狀態碼不為200的情況，實際項目中可根據需求增加日誌或重試機制。
usleep是為了防止短時間內大量請求壓力過大，也可以根據API限制調整。

5. 總結

利用PHP的array_slice函數，可以方便高效地將大數據分批處理，結合curl請求逐批發送到API接口。通過合理設置批量大小和請求間隔，可以有效避免超時和接口壓力問題，提升數據處理的穩定性和性能。