一、介紹
UTF-8 是一種在web應用中經常使用的一種 Unicode 字符的編碼方式,使用 UTF-8 的好處在于它是一種變長的編碼方式,對于 ANSII 碼編碼長度為1個字節,這樣的話在傳輸大量 ASCII 字符集的網頁時,可以大量節約網絡帶寬。
UTF-8簽名(UTF-8 signature)也叫做BOM(Byte Order Mark),是UTF編碼方案里用于標識編碼的標準標記。BOM,是UTF編碼方案里用于標識編碼的標準標記,在UTF-16里本來是FF FE,變成UTF-8就成了EF BB BF。這個標記是可選的,因為UTF8字節沒有順序,所以它可以被用來檢測一個字節流是否是UTF-8編碼的。微軟做這種檢測,但有些軟件不做這種檢測,而把它當作正常字符處理。微軟在自己的UTF-8格式的文本文件之前加上了EF BB BF三個字節, windows上面的notepad等程序就是根據這三個字節來確定一個文本文件是ASCII的還是UTF-8的, 然而這個只是微軟暗自作的標記, 其它平臺上并沒有對UTF-8文本文件做個這樣的標記。也就是說一個UTF-8文件可能有BOM,也可能沒有BOM。
只有一個BOM,是不會有問題的。如果多個文件設置了簽名,在二進制流中就會包含多個UTF-8簽名,也就是導致XML轉換失敗的"root element must be well-formed"原因。
二、查看和轉換
既然一個UTF-8文件可能有BOM,也可能沒有,那該如何區分呢?
只要用帶十六進制編輯方式的軟件,例如,用UltraEdit-32打開文件,切換到十六進制編輯模式,察看文件頭部是否有EF BB BF。有,則為帶BOM方式。
Windows自帶的notepad記事本,保存為UTF-8時,默認就帶BOM。
轉換的方法有很多,常見的UltraEdit-32或NotePad++都可以,以UltraEdit-32為例。打開文件后,選擇“另存為”,在“格式”一欄中有如下選擇:
另外,DreamWeaver CS3也有類似的選項,在“首選項”中,如果選擇 Unicode (UTF-8) 作為默認編碼,則可以選擇“包括 Unicode 簽名 (BOM)”選項,以在文檔中包括字節順序標記 (BOM)。否則,不帶BOM:
三、其他知識
從http://blog.csdn.net/thimin/archive/2007/08/03/1724393.aspx 一文了解到:
所謂的unicode保存的文件實際上是utf-16,只不過恰好跟unicode的碼相同而已,但在概念上unicode與utf是兩回事,unicode是內存編碼表示方案,而utf是如何保存和傳輸unicode的方案。utf-16還分高位在前 (LE)和高位在后(BE)兩種。官方的utf編碼還有utf-32,也分LE和BE。非unicode官方的utf編碼還有utf-7,主要用于郵件傳輸。utf-8的單字節部分是和iso-8859-1兼容的,這主要是一些舊的系統和庫函數不能正確處理utf-16而被迫出來的,而且對英語字符來說,也節省保存的文件空間(以非英語字符浪費空間為代價)。在iso-8859-1的時候,utf8和iso-8859-1都是用一個字節表示的,當表示其它字符的時候,utf-8會使用兩個或三個字節。
一段關于BOM的更詳細說明,來自這里:
在UCS 編碼中有一個叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的編碼是FEFF。而FFFE在UCS中是不存在的字符,所以不應該出現在實際傳輸中。UCS規范建議我們在傳輸字節流前,先傳輸字符"ZERO WIDTH NO-BREAK SPACE"。這樣如果接收者收到FEFF,就表明這個字節流是Big-Endian的;如果收到FFFE,就表明這個字節流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被稱作BOM。
UTF-8不需要BOM來表明字節順序,但可以用BOM來表明編碼方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8編碼是EF BB BF。所以如果接收者收到以EF BB BF開頭的字節流,就知道這是UTF-8編碼了。
Windows就是使用BOM來標記文本文件的編碼方式的。
PHP也不支持BOM。
PHP在設計時就沒有考慮BOM的問題,也就是說他不會忽略UTF-8編碼的文件開頭BOM的那三個字符。由于必須在<?或者<?php后面的代碼才會作為PHP代碼執行,所以這三個字符將會直接輸出。如果插件的文件有這個問題,將會導致在后臺頁面里激活或者不激活插件后顯示白屏,如果是模版文件有這個問題,將會導致這三個字符直接輸出,造成頁面上方有一個小空行。國外的英文插件和模版一般都是用的ASCII碼的編碼方式,不會有BOM,只有國內的插件和模版會由于作者的不知情造成問題。還有,大家修改模版的時候,由于輸出頁面使用UTF-8編碼,那么修改模版的時候如果有加入中文字符的話,必須把文件轉成UTF-8編碼才能正常顯示,這個時候如果所使用的編輯器自動加上了BOM的話,將會造成在頁面上輸出這三個字符,顯示效果就要看瀏覽器了,一般是一個空行或是一個亂碼。
※ 補充一句:特別是當使用php導入模板的時候,更容易因為這三個字符,導致瀏覽異常。
php UTF-8、Unicode和BOM問題
2019-10-30 16:29php教程網 PHP教程
經常遇到的問題是,使用了BOM編碼后,PHP腳本執行錯誤,或使用fileStream讀取并轉換為XML會報錯"The markup in the document following the root element must be well-formed."。
延伸 · 閱讀
- 2022-03-10簡單談談centos7中配置php
- 2022-03-06Ubuntu14.04服務器環境下配置PHP7.0+Apache2+Mysql5.7的方
- 2022-03-05centos yum php 7.x 無需刪除升級的方法
- 2022-03-05Centos7下PHP安裝gd庫的實例講解
- 2022-03-04將RestTemplate的編碼格式改為UTF-8,防止亂碼問題
- 2022-03-03linux環境下安裝PHP的OpenSSL擴展的方法講解
- PHP教程
php學習筆記 數組的常用函數
只要一個變量,需要在多個方法使用,就將這個變量聲明為成員屬性,可以直接在這個對象中的所有方法中使用 成員屬性,相當于這個對象中的全局變量...
- PHP教程
php全角字符轉換為半角函數
這篇文章主要介紹了PHP全角半角轉換函數,把目前能找到的所有全角都列出來了一個個替換吧,需要的朋友可以參考下 ...
- PHP教程
PHP中讀取文件的8種方法和代碼實例
這篇文章主要介紹了PHP中讀取文件的8種方法和代碼實例,本文總結了PHP中讀取文件的8個函數,每一個都附有使用例子及注意事項等,需要的朋友可以參考下...
- PHP教程
php實現的支持imagemagick及gd庫兩種處理的縮略圖生成類
這篇文章主要介紹了php實現的支持imagemagick及gd庫兩種處理的縮略圖生成類,包含了用法的詳細描述,非常實用,需要的朋友可以參考下...
- PHP教程
php學習之數據類型之間的轉換介紹
php學習之數據類型之間的轉換介紹,學習php的朋友可以參考下。 ...
- PHP教程
PHP變量的定義、可變變量、變量引用、銷毀方法
這篇文章主要介紹了PHP變量的定義、可變變量、變量引用、銷毀方法,需要的朋友可以參考下 ...
- PHP教程
PHP常量DIRECTORY_SEPARATOR原理及用法解析
這篇文章主要介紹了PHP常量DIRECTORY_SEPARATOR原理及用法解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友...
- PHP教程
php htmlentities()函數的定義和用法
下面小編就為大家帶來一篇php htmlentities()函數的定義和用法。小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧...