使用PHP爬虫获取Shopee店铺的所有商品？

onejason
110 阅读3分钟

在跨境电商领域，Shopee作为东南亚及中国台湾地区领先的电商平台，拥有海量的商品信息。无论是进行市场调研、数据分析，还是寻找热门商品，获取Shopee店铺的所有商品信息都是一项极具价值的任务。然而，手动浏览和整理这些信息显然是低效且容易出错的。幸运的是，通过编写PHP爬虫程序，我们可以高效地完成这一任务。本文将详细介绍如何利用PHP爬虫获取Shopee店铺的所有商品信息，并提供完整的代码示例。

一、为什么选择PHP爬虫？

PHP因其简洁的语法和强大的库支持，成为爬虫开发的首选语言之一。以下是PHP爬虫的几个优势：

  1. 丰富的库支持
    PHP拥有强大的第三方库，如cURL用于发送HTTP请求，DOMDocument和DOMXPath用于解析HTML页面。
  2. 易学易用
    PHP语法简洁，易于上手，适合初学者快速入门。
  3. 强大的社区支持
    PHP拥有庞大的开发者社区，遇到问题时可以轻松找到解决方案。

二、准备工作

在开始编写爬虫之前，我们需要做好以下准备工作：

  1. PHP环境
    确保你的服务器上安装了PHP（推荐使用PHP 7.4及以上版本）。
  2. 安装必要的扩展
    确保你的PHP环境支持cURL扩展。这个扩展通常在默认安装中已经启用。
  3. 开发工具
    使用如VS Code、PHPStorm等集成开发环境（IDE），方便编写和调试代码。

三、代码实现

1. 发送HTTP请求获取商品列表

Shopee提供了API接口用于获取店铺的所有商品。通过店铺ID，我们可以发送请求并获取商品列表。

示例代码：

<?php
function fetchShopeeShopProducts($shopId, $limit = 100, $offset = 0) {
    $url = "https://shopee.tw/api/v2/shop/get_items?shopid=$shopId&limit=$limit&offset=$offset";
    $ch = curl_init();

    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36');
    curl_setopt($ch, CURLOPT_HTTPHEADER, [
        'Accept: application/json'
    ]);

    $response = curl_exec($ch);
    $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);

    if ($httpCode == 200) {
        return json_decode($response, true);
    } else {
        echo "请求失败，状态码：$httpCode\n";
        return null;
    }
}

function saveProductsToCSV($products, $filePath) {
    $file = fopen($filePath, 'w');
    fputcsv($file, ['商品名称', '价格', '库存', '销量', '商品链接']);

    foreach ($products as $product) {
        $productDetails = [
            '商品名称' => $product['name'] ?? '',
            '价格' => ($product['price'] ?? 0) / 100000, // Shopee价格单位为分
            '库存' => $product['stock'] ?? 0,
            '销量' => $product['sold'] ?? 0,
            '商品链接' => "https://shopee.tw/{$product['name']}-i.{$product['shopid']}.{$product['itemid']}"
        ];
        fputcsv($file, $productDetails);
    }

    fclose($file);
    echo "商品列表已保存到 $filePath\n";
}

$shopId = "123456789"; // 替换为实际店铺ID
$outputFile = "shopee_shop_products.csv";

$allProducts = [];
$offset = 0;
$limit = 100;

while (true) {
    $data = fetchShopeeShopProducts($shopId, $limit, $offset);
    if (!$data || empty($data['items'])) {
        break;
    }
    $allProducts = array_merge($allProducts, $data['items']);
    $offset += $limit;
}

saveProductsToCSV($allProducts, $outputFile);
?>

四、注意事项

  1. 遵守法律法规
    在抓取数据时，请确保遵守相关法律法规，尊重数据的版权和隐私。
  2. 尊重网站规则
    遵循Shopee的robots.txt文件规定，合理设置请求频率，避免对服务器造成过大压力。
  3. 异常处理
    在实际开发中，建议添加异常处理机制，以应对网络请求失败、数据解析错误等情况。
  4. 反爬虫机制
    Shopee可能会有反爬虫机制，例如设置频率限制或验证码等。为了避免被封禁，建议使用代理IP、随机延时等方法。

五、总结

通过上述代码示例，我们可以轻松实现获取Shopee店铺所有商品信息的功能。PHP爬虫不仅具有强大的功能和稳定性，还可以通过丰富的库支持实现高效的数据抓取和解析。希望这篇文章能为你提供一些启发和帮助。如果你对爬虫开发有更多兴趣，可以尝试探索更复杂的功能，如多线程爬取、数据可视化等。

avatar
文章
阅读
粉丝