怎么用php登录网站抓取内容

58次阅读

共计 1228 个字符，预计需要花费 4 分钟才能阅读完成。

使用 PHP 登录网站并抓取内容的一般步骤如下：

使用 cURL 库或 file_get_contents() 函数发送 POST 请求登录网站。你需要知道目标网站的登录表单的字段名和登录接口的 URL。

// 设置 POST 请求参数 
$postData = array('username' => 'your_username',
    'password' => 'your_password'
);

// 初始化 cURL 会话 
$ch = curl_init();

// 设置 cURL 选项 
curl_setopt($ch, CURLOPT_URL, 'http://example.com/login'); // 登录接口的 URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $postData);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 若登录后有跳转，需要设置为 true

// 执行 cURL 请求 
$response = curl_exec($ch);

// 关闭 cURL 会话 
curl_close($ch);

解析登录后的响应，获取登录后的 Cookie 等必要信息。可以使用正则表达式、DOM 解析器（如 PHP Simple HTML DOM Parser）或 XPath 等方法进行解析。

// 从响应中提取必要信息 
preg_match_all('/Set-Cookie: (.*?);/', $response, $cookies); // 获取登录后的 Cookie
$cookie = implode('; ', $cookies[1]); // 将 Cookie 拼接成一个字符串

使用之前获取的 Cookie 来发送 GET 请求以获取需要抓取的内容。

// 初始化 cURL 会话 
$ch = curl_init();

// 设置 cURL 选项 
curl_setopt($ch, CURLOPT_URL, 'http://example.com/protected_page'); // 需要抓取的页面 URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIE, $cookie); // 设置 Cookie

// 执行 cURL 请求 
$response = curl_exec($ch);

// 关闭 cURL 会话 
curl_close($ch);

// 处理响应或提取所需内容 
echo $response;