chardet模块的使用
作者:互联网
1.介绍
在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常优秀的编码识别模块。$ pip install chardet
2.简单使用
使用chardet
当我们拿到一个bytes
时,就可以对其检测编码。用chardet检测编码,只需要一行代码:
>>> chardet.detect(b'Hello, world!') {'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
检测出的编码是ascii
,注意到还有个confidence
字段,表示检测的概率是1.0(即100%)。
我们来试试检测GBK编码的中文:
>>> data = '离离原上草,一岁一枯荣'.encode('gbk') >>> chardet.detect(data) {'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}
检测的编码是GB2312
,注意到GBK是GB2312的超集,两者是同一种编码,检测正确的概率是74%,language
字段指出的语言是'Chinese'
。
对UTF-8编码进行检测:
>>> data = '离离原上草,一岁一枯荣'.encode('utf-8') >>> chardet.detect(data) {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
我们再试试对日文进行检测:
>>> data = '最新の主要ニュース'.encode('euc-jp') >>> chardet.detect(data) {'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}
可见,用chardet检测编码,使用简单。获取到编码后,再转换为str
,就可以方便后续处理。
3.高级使用
当用于检测的文档特别大时,可以chardet的子模块chardet.universaldetector。这个模块允许我们分多次(逐行读取或者自行断行读取)检测文本的编码格式,当达到一定的阈值时便可以提前退出检测。这样做可以有效地节省资源,提高程序效率,同时保证检测结果的准确性。
from chardet.universaldetector import UniversalDetector detector = UniversalDetector() # 初始化一个UniversalDetector对象 f = open('test.txt', 'rb') # test.txt是一个utf-8编码的文本文档 for line in f: detector.feed(line) # 逐行载入UniversalDetector对象中进行识别 if detector.done: # done为一个布尔值,默认为False,达到阈值时变为True break detector.close() # 调用该函数做最后的数据整合 f.close() print(detector.result) # {'confidence': 1.0, 'encoding': 'UTF-8-SIG'}
需要注意的是:如果对多个不同来源的文本进行检测,在每次检测完毕时,必须调用一次UniversalDetector对象的reset函数,将之前的检测数据清除。否则会导致后面的检测结果混乱。
转自:https://www.liaoxuefeng.com/wiki/1016959663602400/1183255880134144
标签:编码,confidence,language,检测,chardet,模块,使用,data 来源: https://www.cnblogs.com/tjp40922/p/14089138.html