Python读取文件字符编码问题

165 阅读2分钟

         在使用python命令行读取文件的时候很容易由于字符编码造成各种问题,下面是读取文件的的时候遇到的一个问题:

text = open("C:/Users/Administrator/Desktop/out.txt",'r')\

lines = text.readlines()

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'gbk' codec can't decode byte 0xb4 in position 31: illegal multibyte sequence\

       其中,关于open的编码解释如下:

     读取时:内置的open()方法打开文件时,read()读取的是str,读取后需要使用正确的编码格式进行decode()。write()写入时,如果参数是unicode,则需要使用你希望写入的编码进行encode(),如果是其他编码格式的str,则需要先用该str的编码进行decode(),转成unicode后再使用写入的编码进行encode()。如果直接将unicode作为参数传入write()方法,Python将先使用源代码文件声明的字符编码进行编码然后写入。

    编码时:模块codecs提供了一个open()方法,可以指定一个编码打开文件,使用这个方法打开的文件读取返回的将是unicode。写入时,如果参数是unicode,则使用open()时指定的编码进行编码后写入;如果是str,则先根据源代码文件声明的字符编码,解码成unicode后再进行前述操作。相对内置的open()来说,这个方法比较不容易在编码上出现问题。

   所以可以在读取的时候指定编码,这样可以避免很多问题,如下:

\

\

# coding: GBK

 

import  codecs

 

f =  codecs. open ( 'test.txt' , encoding = 'UTF-8' )

u =  f.read()

f.close()

print  type (u) # <type 'unicode'>

 

f =  codecs. open ( 'test.txt' , 'a' , encoding = 'UTF-8' )

# 写入unicode

f.write(u)

 

# 写入str,自动进行解码编码操作

# GBK编码的str

s =  '汉'

print  repr (s) # '\xba\xba'

# 这里会先将GBK编码的str解码为unicode再编码为UTF-8写入

f.write(s)

f.close()

\

\

\