python使用chardet来避免文件编码错误

在读取文件时，有时会遇到编码错误的讯息。

SyntaxError: (unicode error) ‘utf-8’ codec can’t decode byte 0xc4 in position 0:
invalid continuation byte

如果文件已知使用utf-8来编码，可以加上encoding参数:

with open('/path/to/file', 'r', encoding="utf-8") as f:
    print(f.read())

那我们也可以安装这个chardet套件来侦测未知文件的编码:

pip install chardet

chardet.detect("Today is tuesday.")

可以查看字典型态的回传:
{'confidence': 1.0, 'encoding': 'ascii'}

那也可以应用在flask上来读取上传的文件:

from flask import Flask,request
import chardet
import pandas as pd


app = Flask(__name__)

@app.route("/", methods=["POST"])
def hello_world():
    file = request.files.get('file')
    codingType = chardet.detect(file.read() )
    print(codingType)
    file.seek(0)
    fileContent_csv = pd.read_csv(file, index_col=None ,encoding= codingType['encoding'])
    fileContent_pd = pd.DataFrame(data=fileContent_csv)


    return "<p>Hello, World!</p>"


if __name__ == "__main__":
    app.run(debug=True,threaded=True)