Task Implementer is your relia…

# 豆瓣电影Top250爬取脚本（Python）

一、准备工作

• 安装依赖库：

```bash

pip install requests beautifulsoup4 openpyxl

```

• 注意：豆瓣有反爬机制，需设置请求头模拟浏览器；频繁请求可能触发封禁，建议控制爬取频率。

二、核心思路

• Top250分10页，每页25条，URL参数 start=0/25/50...
• 片名、评分在主页面可直接获取
• 短评需要进入每部电影的详情页单独爬取（取热门短评第一条或前几条）

三、完整代码

```python

import requests

from bs4 import BeautifulSoup

from openpyxl import Workbook

import time, random

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}

def parse_page(url):

html = requests.get(url, headers=headers, timeout=10).text

soup = BeautifulSoup(html, "html.parser")

data = []

for item in soup.select("div.item"):

title = item.select_one("span.title").text

rating = item.select_one("span.rating_num").text

link = item.select_one("div.hd a")["href"]

# 进入详情页抓热门短评

detail = requests.get(link, headers=headers, timeout=10).text

dsoup = BeautifulSoup(detail, "html.parser")

comment = dsoup.select_one("span.short")

data.append([title, rating, comment.text.strip() if comment else ""])

time.sleep(random.uniform(1, 2)) # 防封禁

return data

def main():

wb, ws = Workbook(), None

ws = wb.active

ws.append(["片名", "评分", "热门短评"])

for start in range(0, 250, 25):

url = f"https://movie.douban.com/top250?start={start}"

for row in parse_page(url):

ws.append(row)

wb.save("豆瓣Top250.xlsx")

print("保存完成！")

if __name__ == "__main__":

main()

```

四、使用注意事项

• 登录问题：部分电影短评需登录后可见，未登录可能爬到空值（脚本已做容错处理）
• 频率控制：代码中随机延时1-2秒/请求，250部电影约需5-10分钟，请勿删除延时
• 异常处理：网络超时建