python编码问题总结
- 时间：2015年04月02日 15:17:05 来源：魔法猪系统重装大师官网 人气：7512
编码
Python核心发布中的代码必须始终使用ASCII或Latin-1编码(又名 ISO-8859-1)，使用ASCII的文件不必有编码cookie，Latin-1仅当注释或文档字符串涉及作者名字需要Latin-1时才被使用：
另外使用\x转义字符是在字符串中包含非ASCII(non-ASCII)数据的首选方法。
作为PEP 263实现代码的测试套件的部分文件是个例外。
最近利用python抓取一些网上的数据，遇到了编码的问题。非常头痛，总结一下用到的解决方案。
linux中vim下查看文件编码的命令 set fileencoding
python中一个强力的编码检测包 chardet ，使用方法非常简单。linux下利用pip install chardet实现简单安装
| 1 2 3 4 | importchardet f =open('file','r') fencoding=chardet.detect(f.read()) printfencoding |
fencoding输出格式{'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ，只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。
了解python中str的编码后可以利用decode和encode来实现编码的转换。
一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型，然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型，如下。
一般情况下window默认编码gbk，linux默认编码utf8
python编程中系统编码，python编码，文件编码 的概念。
系统编码：默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。
python编码：指python内设置的解码方式。如果不设定的话，python默认的是ascii解码方式。如果python源代码文件中不出现中文的话，这个地方怎么设定应该不会问题。
设定方法：在源码文件开头（一定是第一行）：#-*-coding:UTF-8-*-，源码文件的设置解码方式是UTF-8 或者
| 1 2 3 | importsys reload(sys) sys.setdefaultencoding('UTF-8') |
文件编码：文本的编码方式，linux下vim利用set fileencoding查看。
一般情况下输出乱码的原因就是 没有按照系统解码的方式进行编码。
比如print s, s类型为str，linux系统下系统默认编码为utf8编码，s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。
window下面情况相同，window默认编码为gbk编码，所以s输出前必须编码为gbk。
python处理中一般处理unicode类型。这样输出前直接编码即可。
