來源:未聞Code
我們常常需要在 Python 中輸出 CSV 文件,但你可能會發(fā)現(xiàn),這些輸出的 CSV文件,不能雙擊使用 Excel 打開,否則中文會變成亂碼。例如下面這段代碼:
import pandas as pd
datas = [
{
'name': '王小一',
'age': 29,
'address': '北京'
},
{
'name': '張小二',
'age': 18,
'address': '四川'
},
{
'name': '李小三',
'age': 60,
'address': '上海'
}
]
df = pd.DataFrame(datas)
df.to_csv('person.csv', index=False)
如果雙擊使用 Excel 打開,你會發(fā)現(xiàn)中文變成了亂碼,如下圖所示:
這是因為,當(dāng)你執(zhí)行代碼 df.to_csv('person.csv',index=False)
時,它默認(rèn)會以 UTF-8編碼方式寫 CSV 文件。但是當(dāng)你雙擊 CSV 使用 Excel打開時,Excel 會以 GBK 編碼來讀這個文件,這就導(dǎo)致了亂碼的發(fā)生。
所以,如果是簡單的中文,你可以把編碼方式人工指定為 GBK:
import pandas as pd
datas = [
{
'name': '王小一',
'age': 29,
'address': '北京'
},
{
'name': '張小二',
'age': 18,
'address': '四川'
},
{
'name': '李小三',
'age': 60,
'address': '上海'
}
]
df = pd.DataFrame(datas)
df.to_csv('person.csv', index=False, encoding='gbk')
此時再雙擊使用 Excel 打開,中文就能正常顯示了,如下圖所示:
但 GBK 編碼的字符集不夠完善,所以如果文本中包含超出 GBK 字符集的內(nèi)容,就會導(dǎo)致編碼錯誤,如下圖所示:
這個時候怎么辦呢?
實際上當(dāng)你雙擊打開 CSV 的時候,Excel會檢查文件的第一個字符,如果這個字符是 BOM,那么他就知道應(yīng)該使用 UTF-8編碼方式來打開這個文件。所謂的 BOM
指的是 byte-order mark
。
BOM
對應(yīng)的 Unicode 碼為 \ufeff
,所以當(dāng)我們使用 UTF-8編碼方式生成 CSV 以后,再增加一步,把 BOM 寫入到文件的第一個字符:
with open('person.csv', encoding='utf-8') as f:
content = f.read()
content_with_bom = '\ufeff' + content
with open('person.csv', 'w', encoding='utf-8') as f:
f.write(content_with_bom)
完整代碼如下圖所示:
此時,新的 CSV 文件可以直接雙擊通過 Excel 打開,并且中文支持完全正常,如下圖所示:
這樣生成的 Excel 雖然在 Excel 上顯示沒有問題,但是如果你發(fā)給別人,別人使用 Python 自帶的 csv 模塊打開,就會發(fā)現(xiàn) address
這一列的列名不是 address
而是 \ufeffaddress
,如下圖所示:
這個 BOM
字符雖然肉眼看不到,但是程序能夠看到,這就會導(dǎo)致別人在讀這個 CSV 文件的時候非常不方便。如果直接使用 address
去讀,還會報錯:
難道此時,需要先用普通方式讀取 csv 文件,移除第一個 BOM 字符,然后再傳給 CSV 模塊嗎?這未免太過麻煩。
好在 Python 只帶了處理 BOM
的編碼方式 utf-8-sig
,無論是寫文件還是讀文件,只要使用這個編碼方式,Python 在寫文件的時候會自動加上 BOM,在讀文件的時候會自動刪除 BOM。
所以生成 CSV 文件的代碼如下:
import pandas as pd
datas = [
{
'name': '王小一',
'age': 29,
'address': '北京'
},
{
'name': '張小二',
'age': 18,
'address': '四?川'
},
{
'name': '李小三',
'age': 60,
'address': '上海'
}
]
df = pd.DataFrame(datas)
df.to_csv('person.csv', index=False, encoding='utf-8-sig')
此時生成的 CSV 文件,可以直接雙擊使用 Excel 打開,中文正常顯示。
如果要使用 Python 的 CSV 模塊讀取文件,也非常簡單,如下圖所示:
讀取出來的內(nèi)容直接使用,BOM 已經(jīng)被 Python 自動移除了。
聯(lián)系客服