爬虫完成後没发出通知,就像是黯然销魂饭少了洋葱
透过接收通知,知道爬虫执行完毕
知道爬虫有没有稳定执行
就好在通知这个部分我选择使用 LINE Notify
作为范例,你在了解逻辑後也可以自己改为用 Slack、Wechat、Messager... 等通讯软件来通知喔
2.1 为什麽要先用 POSTMAN 测试 LINE Notify 呢?
2.2 用 POSTMAN 发出 LINE 的讯息
2.3 透过 POSTMAN 传送错误参数来了解 HTTP状态码的意思
个人页面
发行权杖
填写与功能相关的名称
,接收通知的聊天室可选择 1对1、任意聊天室
这两种,确认无误後按 发行
复制
下来#放LINE Notify申请的权杖
LINE_TOKEN='XXXXXX'
说明这个问题之前,我们先来探讨为什麽 POSTMAN 会这麽被工程师推崇,在这我归纳成以下几点:
将前後端责任归属的很清楚
。ex:如果 POSTMAN 上面可以正常 work,那前端就要去思考自己 api 哪里没串好工具操作难度极低
,只需要对网路的世界有基础的认知就能快速上手所以我们先用 POSTMAN 测试 LINE Notify 的理由是:
执行所需的 Request 参数、Respone 的结果与说明书一致
(这点非常重要,因为我看过很多 api 回传的结构跟说明书完全不一样)在一行程序都不用写
的状态下测试所有的可能性如果程序无法发出 LINE 的通知一定是自己的问题
补充:
key | value | DESCRIPTION |
---|---|---|
message | 来自宝宝的爬虫通知 | 纯文字(必填) |
stickerPackageId | 2 | 贴图的PackageId |
stickerId | 144 | 贴图的Id |
imageFile | icon.png | 电脑上的图片档 |
DESCRIPTION 是我对参数描述,实作上可以不避填
如果你想深入的了解可以参考官方文件
Send
发出 LINE 讯息
我们刚刚在 POSTMAN 的 Response 看到 HTTP状态码为 200,接下来我们故意做一些错误测试来看看会有什麽样的 Response
请注意并不是每只 api Response data 中的 status 都等於 HTTP状态码
,只是 LINE Notify 刚好是依照这个逻辑显示,我们可以用它来帮助我们对 HTTP状态码的了解
透过上面的范例回传的资讯,我们可以了解到不同 HTTP状态码的意思:200 代表成功、400可能是参数错误、401是没有授权
,当然 HTTP状态码不只这些,如果你想更深入的了解可以参考这篇文章
我在 Medium 平台 也分享了许多技术文章
❝ 主题涵盖「MIS & DEVOPS、资料库、前端、後端、MICROSFT 365、GOOGLE 云端应用、自我修炼」希望可以帮助遇到相同问题、想自我成长的人。❞
在许多人的帮助下,本系列文章已出版成书,并添加了新的篇章与细节补充:
- 加入更多实务经验,用完整的开发流程让读者了解专案每个阶段要注意的事项
- 将爬虫的步骤与技巧做更详细的说明,让读者可以轻松入门
- 调整专案架构
- 优化爬虫程序,以更广的视角来撷取网页资讯
- 增加资料验证、错误通知等功能,让爬虫执行遇到问题时可以第一时间通知使用者
- 排程部分改用 node-schedule & pm2 的组合,让读者可以轻松管理专案程序并获得更精确的 log 资讯
有兴趣的朋友可以到天珑书局选购,感谢大家的支持。
购书连结:https://www.tenlong.com.tw/products/9789864348008
>>: [铁人12:Day 28] 「AI 的未来十年」摘要 4:混合式架构
今日练习档 ԅ( ¯་། ¯ԅ) 你是否在网路上下载CSV档并使用Excel开启时档案内容变成乱码呢...
继第22篇已经可以绑定fragment跟viewpager那我们就在fragment中加入一些东西吧...
Whenever a perfect ERP installation is expected, o...
前言 又进到一个新的分类Web Application Analysis,顾名思义就知道要来分析网站...
嗨!大家好,我是Teng: 今年的疫情蛮严重的, 希望大家都过得安好, 希望疫情快点过去, 能回到一...