利用 PHP 爬虫获取店铺所有商品（代码示例）实战指南

在电商领域，精准获取店铺所有商品信息对于市场分析、选品决策和竞争情报收集至关重要。1688 作为国内领先的 B2B 电商平台，提供了丰富的商品资源。通过 PHP 爬虫技术，我们可以高效地获取 1688 店铺的所有商品信息。本文将详细介绍如何利用 PHP 爬虫获取 1688 店铺的所有商品信息，并提供完整的代码示例。

一、前期准备

（一）PHP 开发环境

确保你的服务器上安装了 PHP 环境，并且启用了 cURL 扩展，用于发送 HTTP 请求。

（二）安装必要的库

安装 GuzzleHttp 库，用于发送 HTTP 请求。可以通过 Composer 安装：

composer require guzzlehttp/guzzle

二、编写爬虫代码

（一）发送 HTTP 请求

使用 GuzzleHttp 库发送 GET 请求，获取店铺商品列表页面的 HTML 内容：

<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;

function get_html($url) {
    $client = new Client();
    $response = $client->request('GET', $url, [
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        ]
    ]);
    return $response->getBody()->getContents();
}
?>

（二）解析 HTML 内容

使用 DOMDocument 和 DOMXPath 解析 HTML 内容，提取商品详情：

<?php
function parse_html($html) {
    $dom = new DOMDocument();
    @$dom->loadHTML($html);
    $xpath = new DOMXPath($dom);
    $products = [];
    $productItems = $xpath->query("//div[@class='product-item']");
    foreach ($productItems as $item) {
        $title = $xpath->evaluate("string(.//h2[@class='product-title'])", $item);
        $price = $xpath->evaluate("string(.//span[@class='product-price'])", $item);
        $description = $xpath->evaluate("string(.//div[@class='description'])", $item);
        $products[] = [
            'title' => $title,
            'price' => $price,
            'description' => $description
        ];
    }
    return $products;
}
?>

（三）按关键字搜索商品

根据关键字构建搜索 URL，并获取搜索结果页面的 HTML 内容：

<?php
function search_products($keyword, $page = 1) {
    $baseUrl = "https://s.1688.com/selloffer/offer_search.htm";
    $url = $baseUrl . "?keywords=" . urlencode($keyword) . "&pageno=" . $page;
    $html = get_html($url);
    return parse_html($html);
}
?>

（四）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序：

<?php
$keyword = "女装";
$products = search_products($keyword);
foreach ($products as $product) {
    echo "商品名称: " . $product['title'] . "\n";
    echo "商品价格: " . $product['price'] . "\n";
    echo "商品描述: " . $product['description'] . "\n";
    echo "----------------------\n";
}
?>

三、优化与注意事项

（一）遵守法律法规

在进行爬虫操作时，必须严格遵守相关法律法规，尊重网站的 robots.txt 文件规定。

（二）合理设置请求频率

避免过高的请求频率导致对方服务器压力过大，甚至被封禁 IP。

（三）应对反爬机制

1688 平台可能会采取一些反爬措施，如限制 IP 访问频率、识别爬虫特征等。可以通过使用动态代理、模拟正常用户行为等方式应对。

（四）数据存储

获取到的商品信息可以存储到文件或数据库中，以便后续分析和使用。

四、总结

通过上述步骤和代码示例，你可以高效地利用爬虫技术获取 1688 店铺的所有商品信息。无论是用于市场调研、竞品分析还是用户体验优化，这些数据都将为你提供强大的支持。希望本文的示例和策略能帮助你在爬虫开发中更好地应对各种挑战，确保爬虫程序的高效、稳定运行。