【Day 01】- 前言: 从 0 开始的网路爬虫

前言

近年人工智慧与大数据十分热门，其背後需要许多有效的资料，先不论 Data Tagging 的部分，网路爬虫是个爬取有效资料的好方法，甚至大家常用的 google 搜寻引擎也是传统爬虫的一种。

事实上网路爬虫能有许多方便的用途，像是你可以做一个抢票爬虫不用让你早起/熬夜抢票、能自动按赞的爬虫让你的朋友的贴文都多一个赞或是今天要整理一些下载连结、文章、股票甚至是串接 CDC API 让你每天自动爬取 COVID19 每日确诊数都是能透过简单撰写一只爬虫去做到的。

这次铁人赛会使用 Python 这个语言来撰写我们的爬虫，欢迎各位没写过爬虫且充满兴趣、有写过但想了解更多种类或者是想看看如何绕过反爬虫技术的读者们能够持续收看并订阅本系列~

参赛动机

写铁人赛蛮酷的。owo

想用这 30 的连续技术文章撰写训练我写技术文章的能力。

去年 7 月担任过网路爬虫实习生，这一年来都有使用这项技术来使生活更加便利，这次铁人赛想把一些经验总结分享给读者，从最基础的 requests 到应对反爬虫技术。

大纲

day 2~5 环境、基本 Python 语法

day 6~10 基本爬虫初探

day 11~14 实战(ptt 爬虫、映像档爬虫)

day 15~17 资料持久化

day 18 selenium 介绍

day 19~24 实战(Dcard 文章爬虫、 Instargram 按爱心机器人、 Discord 自动留言爬虫、抢票机器人)

day 25 串接 API

day 26~27 实战(自动爬取大量狗狗/ 猫猫照片、 CDC 确诊数自动爬取)

day 28~29 常见反爬虫技术与应对

day 30 结语

杂谈

前言