Writes code/analysis in projec…

# 豆瓣Top250爬虫腾讯云部署方案

一、准备工作

• 服务器：腾讯云轻量应用服务器或CVM（入门配置即可，系统选Ubuntu 22.04或CentOS）
• 安全组配置：开放22（SSH）、3306（MySQL，建议仅本机访问）、80/443（按需）
• 本地工具：Termius/XShell等SSH工具，或直接用腾讯云OrcaTerm网页终端

二、部署步骤

1. 环境安装

```bash

sudo apt update

sudo apt install python3-pip mysql-server

pip3 install requests pymysql scrapy bs4 schedule

```

建议用虚拟环境（venv）隔离依赖。

2. 数据库初始化

• 登录MySQL，创建数据库如 douban_top250
• 建表字段建议：排名、片名、评分、评价人数、导演、年份、链接、更新时间
• ⚠️ 若涉及删除或修改已有字段，我会先列出操作清单和影响范围，等你确认后再执行

3. 爬虫脚本要点

• 豆瓣Top250共10页，每页25条，注意设置 0.5~2秒 随机延时和 User-Agent，降低被反爬概率
• 用 pymysql 写入前做幂等处理（如按片名去重，用 INSERT ... ON DUPLICATE KEY UPDATE）

4. 定时任务（两种方式）

• crontab（推荐，简单）：

```bash

crontab -e

# 每天凌晨3点执行（时间可自定义）

0 3 * * * /path/venv/bin/python3 /path/spider.py >> /path/log.txt 2>&1

```

• systemd timer：适合需要失败重试、精细日志的场景

三、运维建议

• 日志：输出到文件，定期检查是否被豆瓣封IP（出现412/403需调整策略）
• 备份：mysqldump 每日备份到 /backup，或用腾讯云自动备份功能
• 安全：MySQL不要暴露公网；代码中的数据库密码不要硬编码，用环境变量

四、执行确认

我已完成方案设计。你目前是否已有旧数据库表结构？如有需要删除的字段操作，请把表结构发给我，我会列出待删字段清单，经你确认后再生成SQL。