15分钟学 Python 第37天：Python 爬虫入门（三）

Day 37 : Python爬虫入门大纲

章节1：Python爬虫概述

1.1 什么是爬虫？

网页爬虫（Web Crawler）是一种自动访问互联网上网页并提取数据的程序。爬虫的作用包括搜索引擎索引内容、市场调查、数据分析等。

1.2 爬虫的工作原理

发起请求：爬虫发送HTTP请求到目标网站。
获取响应：接收服务器返回的HTML文档。
解析数据：使用解析库提取需要的数据。
存储数据：将提取到的数据存储到文件或数据库中。

章节2：环境准备

2.1 安装必备工具

pip install requests beautifulsoup4

工具	说明
Requests	用于发送HTTP请求
BeautifulSoup	用于解析HTML文档

章节3：基本爬虫操作

3.1 发送HTTP请求

使用Requests库发送GET请求：

import requests

url = 'http://example.com'
response = requests.get(url)
print(response.text)

运行流程图

3.2 解析HTML文档

使用BeautifulSoup解析HTML：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(f"页面标题: {title}")

3.3 提取特定数据

# 提取所有链接
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

章节4：数据存储

将数据存储到CSV文件中：

import csv

with open('links.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Link'])
    for link in links:
        writer.writerow([link.get('href')])

章节5：完整示例 - 爬取实例

以下是一个完整的爬虫程序示例，该程序爬取某个网页的所有链接。

import requests
from bs4 import BeautifulSoup
import csv

# 发送请求
url = 'http://example.com'
response = requests.get(url)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取链接
links = soup.find_all('a')

# 存储到CSV
with open('links.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Link'])
    for link in links:
        writer.writerow([link.get('href')])

章节6：练习题

修改代码，提取页面中所有图片的链接，并将其存储到CSV文件中。
选择一个其他网站，尝试爬取其标题和所有链接。
了解并实现使用Requests库的POST请求。

章节7：错误处理与调试

在爬虫开发过程中，可能会遇到各种错误。以下是一些常见错误处理方法：

7.1 HTTP错误处理

if response.status_code != 200:
    print(f"请求失败，状态码: {response.status_code}")

7.2 捕获异常

try:
    response = requests.get(url)
    response.raise_for_status()  # 如果发生HTTP错误则引发异常
except requests.exceptions.RequestException as e:
    print(f"请求出现错误: {e}")