[Python 爬虫这样学,一定是大拇指拉!] DAY17 - 爬虫事前准备

爬虫事前准备

本篇章之後将进入爬虫环节,但开始撰写程序前,我们先来安装会使用的套件吧!

本系列文将使用 Requests,是一个基於 urllib3 为基础开发的套件。简单说 Requests 是一个把 urllib3 重新包装过的套件,让它能更简单更容易地被使用这样。

虽然本系列文是使用 Requests,但基於个人喜好,未来你也可以选择使用自己喜欢的套件来当作爬虫工具。
Requests 官方文件

开始前有一个重点,使用任何第三方套件前,请务必一定要阅读该套件提供的文件,像是 Quick Start 、 Basic Use 、 FAQ,至少看完这些把基本概念搞懂,对该套件就差不多掌握一半了。如同本系列文,我们爬虫实战前,是先从网路的基础知识开始讲起,理由很简单:任何复杂的事物,都是从基础延伸、变化而来的

好的废话不多说,我们开始吧!

  • 安装方法很简单,根据官方提供的有两种:
    官方安装方法

    1. 使用 pip 安装

      python -m pip install requests
      
    2. 自行下载 Source Code

      (1) 至 Github下载

      git clone git://github.com/psf/requests.git
      

      (2) 或是下载 tar 档

      curl -OL https://github.com/psf/requests/tarball/main
      # optionally, zipball is also available (for Windows users).
      

      下载完成後,进入 requests 资料夹来手动安装。

      cd requests
      python -m pip install .
      
  • 安装完成後我们来简单的测试吧!

    import requests
    import logging
    # log 设定
    logging.basicConfig(level=logging.DEBUG)
    # 向 google.com 送 HTTP Request
    r = requests.get("https://www.google.com/")
    

    检查:
    https://ithelp.ithome.com.tw/upload/images/20211002/20139358AoXYRMT38O.png

如果是这样就没问题罗!
以上就是我们的事前准备!


<<:  Day17 火辣南方女王-墨西哥辣肉酱卷

>>:  Day20

Day 28:1. Two Sum

今日题目 题目连结:1. Two Sum 题目主题:Array, Hash Table 简单说说 H...

12 终止游戏

来加一个游戏状态好了 本来是要弄回合时间限制 但发现怎样算开始呢? 集满两胜好像也还没有说谁获胜了。...

Day23 Load balance with Istio

昨天非常粗浅的介绍过 istio 後,今天我们要来实际将 Istio mesh 注入我们的 clus...

[Day 05] - 用Spring Boot 建立Service

一般而言,网站程序大多会是这样的架构: https://developer.mozilla.org/...

企划实现(9)

UI设计 UI设计要考量的因素有很多,既要考量到介面的功能,又要考量到使用者的感官,所以在UI设计时...