Operate in a strict stateless …

# 豆瓣电影Top250爬取脚本

技术方案

• 工具：requests + BeautifulSoup4（需 pip install requests beautifulsoup4）
• 原理：Top250共10页，每页25条，URL通过 start 参数翻页
• 注意：豆瓣对无UA请求会返回403，必须携带 User-Agent

完整代码

```python

import requests

from bs4 import BeautifulSoup

import csv

import time

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "

"AppleWebKit/537.36 (KHTML, like Gecko) "

"Chrome/120.0.0.0 Safari/537.36"

}

data = []

for page in range(0, 250, 25):

url = f"https://movie.douban.com/top250?start={page}"

resp = requests.get(url, headers=headers, timeout=10)

resp.raise_for_status()

soup = BeautifulSoup(resp.text, "html.parser")

for item in soup.select("div.item"):

title = item.select_one("span.title").get_text(strip=True)

rating = item.select_one("span.rating_num").get_text(strip=True)

link = item.select_one("a").get("href")

data.append([title, rating, link])

time.sleep(2) # 礼貌抓取，降低被封风险

with open("douban_top250.csv", "w", newline="", encoding="utf-8-sig") as f:

writer = csv.writer(f)

writer.writerow(["片名", "评分", "豆瓣链接"])

writer.writerows(data)

print(f"完成，共抓取 {len(data)} 条")

```

使用说明

• 运行后在脚本同目录生成 douban_top250.csv
• 用 utf-8-sig 编码，Excel打开中文不乱码
• 网络不稳定时可对单页请求加 try/except 重试

合规与风险提示

• 频率控制：加 time.sleep(2)，请求过快可能触发反爬导致IP临时封禁
• 用途限制：数据仅供个人学习研究，请勿批量商用或二次分发，遵守豆瓣robots协议
• 接口变更：豆瓣页面结构若调整，需相应更新选择器（如 div.item）

可选扩展

• 加 time 字段记录抓取时间
• 用 pandas 读取CSV做评分分布分析