小米论坛爬虫

url 分析

• 帖子列表页 http://bbs.xiaomi.cn/d-2 d-2 其中2标识页码 通过下边的末页可以知道帖子列表页共有多少页

• 帖子详情页 http://bbs.xiaomi.cn/t-14750136-2-o1

14750136为帖子id 2为评论分页页码 同样可以通过末页获取评论共有多少页

信息需求

• 帖子标题

• 发布版块

• 发布时间

• 浏览量

• 评论量

• 以下是评论相关的

• 用户名

• 等级

• 发表时间

• 评论内容

• 楼层