Python -今天我想来点爬虫程序

爬虫原理：

抓取资料->分析结构->取出要的结构文字->输出想要的格式

程序码：

import requests
import time
from bs4 import BeautifulSoup   #Prase Html结构用的程序库

url = "https://www.ptt.cc/bbs/Lifeismoney/index.html"       #ptt 省钱板的位址
for i in range(5):
    r = requests.get(url) #将网页资料GET下来
    soup = BeautifulSoup(r.text,"html.parser")  
    sel = soup.select("div.title a")                    
    u = soup.select("div.btn-group.btn-group-paging a")
    print ("本页的URL为"+url)
    url = "https://www.ptt.cc"+ u[1]["href"] #上一页的网址
    time.sleep(0.05)                         #delay才会不抓太快
    for s in sel:
        print (s["href"],s.text)

程序输出：

本页的URL为https://www.ptt.cc/bbs/Lifeismoney/index.html
/bbs/Lifeismoney/M.1602727765.A.5A3.html [情报] 资生堂百优乳霜75+50ml$3650
/bbs/Lifeismoney/M.1602731566.A.53F.html [情报] 苹果 lightning 传输线 2m $99
/bbs/Lifeismoney/M.1602732369.A.95B.html [新闻] 淘宝台湾年底退出台湾市场　今上午11时起
/bbs/Lifeismoney/M.1602733706.A.530.html [情报] 全家会员独享
/bbs/Lifeismoney/M.1602735301.A.8FD.html [情报] line品牌购物名店分享活动
/bbs/Lifeismoney/M.1602744193.A.492.html [情报] Y购 日本iris大拍3.0除蟎吸尘机 特价2590
/bbs/Lifeismoney/M.1602744516.A.43B.html [情报] 几间连锁餐饮优惠(瓦城、王品、涮乃叶…
/bbs/Lifeismoney/M.1602745657.A.F09.html [情报] voicetube hero奖学金计画
/bbs/Lifeismoney/M.1602746532.A.195.html [情报] UBER EATS 最新优惠
/bbs/Lifeismoney/M.1600490419.A.F42.html [公告] 近期版务宣导&版务置底讨论&违规检举
/bbs/Lifeismoney/M.1528712119.A.3D8.html [公告] 省钱板板规 2018.06.11
/bbs/Lifeismoney/M.1601228280.A.CA5.html [公告] 10月份未满1元之集点资讯集中文
本页的URL为https://www.ptt.cc/bbs/Lifeismoney/index3023.html
/bbs/Lifeismoney/M.1602641334.A.A71.html [情报] 宝雅APP限时兑换
/bbs/Lifeismoney/M.1602647023.A.EA2.html [情报] 特力家周年庆LINE购物5%回馈
/bbs/Lifeismoney/M.1602647337.A.2FB.html [讨论] 悠游卡相关集点活动
/bbs/Lifeismoney/M.1602647529.A.C3A.html [情报] 本周OPENPOINT周四惊喜换 奋起湖双拼便当
/bbs/Lifeismoney/M.1602651368.A.6B8.html Fw: [情报] 用虾币换iPhone 12现折券
/bbs/Lifeismoney/M.1602652234.A.845.html [情报] 雅诗兰黛小棕瓶限定组特价+LINE导购12%
/bbs/Lifeismoney/M.1602653993.A.698.html [情报] 小米手持吸尘器$4695会员再92折
/bbs/Lifeismoney/M.1602655063.A.F7E.html [情报] ibon订房 有双倍券折扣(1500折抵3000)
/bbs/Lifeismoney/M.1602655912.A.E7E.html [情报] 肯德基 拿铁第二杯半价＆近期优惠券
/bbs/Lifeismoney/M.1602670203.A.3EB.html [情报] Switch主机+健身环大冒险同捆组
/bbs/Lifeismoney/M.1602670300.A.85F.html Re: [情报] iherb line导购10% 到今晚十二点
/bbs/Lifeismoney/M.1602671197.A.9F1.html [情报] Sensist 给何嘉仁的折扣码-10% 免运
/bbs/Lifeismoney/M.1602677434.A.844.html [情报] goshare骑乘金
/bbs/Lifeismoney/M.1602684719.A.966.html [情报] 康是美 口罩
/bbs/Lifeismoney/M.1602702140.A.EE6.html [情报] Pixel 5 送 Google Play points 1000点
/bbs/Lifeismoney/M.1602722270.A.412.html [情报] Sandisk extreme pro A2 U3 128G
/bbs/Lifeismoney/M.1602724995.A.7C8.html [情报] 葡萄王周年庆搭配line购物全站2%回馈
本页的URL为https://www.ptt.cc/bbs/Lifeismoney/index3022.html
/bbs/Lifeismoney/M.1602492034.A.2A2.html [情报] 国泰优惠APP百货票券10%回馈
/bbs/Lifeismoney/M.1602504457.A.FF1.html [情报] 淘宝台湾双十加码
/bbs/Lifeismoney/M.1602547895.A.254.html [情报] 雅诗兰黛简讯兑换小棕瓶+原生露/樱花水
/bbs/Lifeismoney/M.1602550614.A.1DD.html [情报] momo五月花卫生纸599元/72包/100抽
/bbs/Lifeismoney/M.1602552879.A.161.html [情报] 10/13-25 悠游付PChome绑定信用卡10%
/bbs/Lifeismoney/M.1602558841.A.EE3.html [情报] MAC官网-用LINE Pay付款，最高享12%点
/bbs/Lifeismoney/M.1602569954.A.DAB.html [情报] Richart Life APP领取friDay 7天免费看
/bbs/Lifeismoney/M.1602572837.A.CAB.html [情报] 台塑生医单件免运/洗发精特价
/bbs/Lifeismoney/M.1602584465.A.41D.html [情报] 国泰ATM莱尔富冰拿铁兑换券(六家分行)
/bbs/Lifeismoney/M.1602590917.A.6C2.html [情报] 85度C布丁奶茶
/bbs/Lifeismoney/M.1602591002.A.192.html [情报] Goshare骑乘金
/bbs/Lifeismoney/M.1602594771.A.D23.html [情报] 10/14 21：00 Edifier c3x 3999
/bbs/Lifeismoney/M.1602595809.A.2ED.html [情报] 美亚 Bose Qc35 ii 特价199美金
/bbs/Lifeismoney/M.1602598693.A.D86.html [情报] 全家 75%酒精买2送2
/bbs/Lifeismoney/M.1602639073.A.E25.html Re: [情报] 2020/8/1 -/9/15 PCHOME以悠游付首笔回馈
/bbs/Lifeismoney/M.1602640877.A.D2E.html [情报] 中华iCloud三个月免费加送流量
/bbs/Lifeismoney/M.1602640895.A.E8F.html [情报] line points 1+1
本页的URL为https://www.ptt.cc/bbs/Lifeismoney/index3021.html
/bbs/Lifeismoney/M.1602389483.A.CDF.html [情报] 全家APP必胜客400点换购3个小批萨399元
/bbs/Lifeismoney/M.1602390327.A.265.html [情报] Ariel 洗衣精720g 12袋 799
/bbs/Lifeismoney/M.1602394335.A.190.html 7-11的10月VIP-收假的小确幸早餐
/bbs/Lifeismoney/M.1602394638.A.4C7.html [公告] 水桶名单
/bbs/Lifeismoney/M.1602397945.A.9CB.html [情报] SKII 青春露230ml 雅诗兰黛小棕瓶 50ml
/bbs/Lifeismoney/M.1602402151.A.246.html [情报] Goshare 骑乘金 20
/bbs/Lifeismoney/M.1602408266.A.382.html [情报] 福胜亭周年庆 10/12~10/21
/bbs/Lifeismoney/M.1602427744.A.332.html [情报] 莱雅金致护发精油100mL
/bbs/Lifeismoney/M.1602464894.A.F52.html Re: [情报] 10/6-11/11大润发消费不限金额换卫生纸
/bbs/Lifeismoney/M.1602468184.A.DC9.html [情报] 隐藏版贴图4组
/bbs/Lifeismoney/M.1602470300.A.73C.html [情报] 今天星巴克街口支付25%现金回馈
/bbs/Lifeismoney/M.1602472198.A.3F9.html [情报] foodpanda 优惠码
/bbs/Lifeismoney/M.1602476347.A.A82.html [情报] 露天拍卖免费领运费券
/bbs/Lifeismoney/M.1602476476.A.112.html [情报] line points 1点
/bbs/Lifeismoney/M.1602484097.A.911.html [情报] 萝拉蜜思蜜粉礼盒+首购9折
/bbs/Lifeismoney/M.1602484480.A.D3E.html [情报] Y购今日全站LINE 5%回馈
/bbs/Lifeismoney/M.1602488416.A.AAD.html [情报] 联邦赖点卡火锅烧肉最高10%回馈line pay
/bbs/Lifeismoney/M.1602488738.A.E07.html [情报] 远传用户，首次订购iCloud享三个月免费
本页的URL为https://www.ptt.cc/bbs/Lifeismoney/index3020.html
/bbs/Lifeismoney/M.1602292893.A.39D.html [情报] 宠爱之名 美白精华 101ML $799
/bbs/Lifeismoney/M.1602293241.A.CE4.html Re: [情报] 10/6-11/11大润发消费不限金额换卫生纸
/bbs/Lifeismoney/M.1602295321.A.DC8.html [情报] 金石堂红利折抵 一点一元无上限
/bbs/Lifeismoney/M.1602296797.A.A56.html [情报] 今日限定，买指定贴图全额回馈
/bbs/Lifeismoney/M.1602300513.A.CCC.html [情报] foodpanda 生鲜450-150
/bbs/Lifeismoney/M.1602307357.A.2FD.html [情报] 必胜客优惠券(可外送/网路订餐)
/bbs/Lifeismoney/M.1602316744.A.B4D.html [情报] 清水茶香 欢庆双十 全台 全品项 买一送一
/bbs/Lifeismoney/M.1602323224.A.B27.html [情报] 太和工坊 TR-500R
/bbs/Lifeismoney/M.1602330206.A.30B.html Re: [情报] 全联 矿沛气泡水 单瓶买一送一
/bbs/Lifeismoney/M.1602331147.A.207.html [情报] 21：00 line 乐天 10% 回馈
/bbs/Lifeismoney/M.1602334894.A.DC9.html [情报] 克补礼盒180锭 $999
/bbs/Lifeismoney/M.1602337258.A.767.html Re: [情报] 7-11 1010连假 10在便宜【第五发】
/bbs/Lifeismoney/M.1602340637.A.DC8.html [情报] 虾皮惊喜加码
/bbs/Lifeismoney/M.1602341200.A.D97.html Fw: [情报] 三井 Dynabook Satellite L40-G 17,900元
/bbs/Lifeismoney/M.1602345212.A.BFC.html [情报] 下载APP 换Kiehls Coffee House 咖啡试饮
/bbs/Lifeismoney/M.1602348846.A.8AE.html [情报] 专科洗面乳9元
/bbs/Lifeismoney/M.1602379596.A.016.html Re: [情报] myVideo 优质电影限时招待
/bbs/Lifeismoney/M.1602388824.A.CCD.html [新闻] 明12日起国内汽油价格不调整柴油调降0.1元