รูปแบบไฟล์ TXT
จาก ASCII ไป GBK จนถึง UTF-8 ข้อความล้วนเก็บอักขระได้อย่างไร? บทความนี้อธิบายกลไกเบื้องหลัง Encoding และการขึ้นบรรทัดใหม่ให้ชัดเจน พร้อมแถมเครื่องมือตรวจหาและแปลงที่ใช้ได้ในเบราว์เซอร์
ไฟล์ TXT มีชื่อเต็มว่า Text File เป็นรูปแบบไฟล์ข้อความล้วนที่เป็นพื้นฐานและใช้กันทั่วไปที่สุด มันมีเพียงตัวอักษรที่มนุษย์อ่านได้ ไม่มีองค์ประกอบมัลติมีเดียใด ๆ ทั้งการจัดหน้าที่ซับซ้อน สไตล์แบบอักษร สี หรือรูปภาพที่ฝังไว้ เนื่องจากโครงสร้างเรียบง่ายมาก ไฟล์ TXT จึงมีขนาดเล็ก เข้ากันได้กว้างขวางมาก และเปิดได้รวดเร็ว แทบสร้างและอ่านได้ง่าย ๆ บนระบบปฏิบัติการและอุปกรณ์ใด ๆ จึงเป็นตัวเลือกในอุดมคติสำหรับการแลกเปลี่ยนข้อมูลและการบันทึกข้อความ
รูปแบบการเข้ารหัสไฟล์ TXT
ไฟล์ TXT ทุกไฟล์ต้องพึ่งพากฎการเข้ารหัสบางอย่างเสมอ รูปแบบ Encoding เป็นตัวกำหนดว่าคอมพิวเตอร์แปลงข้อมูลไบต์ในไฟล์เป็นอักขระที่มนุษย์อ่านได้อย่างไร
รูปแบบการเข้ารหัสไฟล์ TXT ที่พบบ่อยได้แก่ ASCII, GBK/GB2312, Unicode, UTF-8, UTF-16 เป็นต้น
รูปแบบการเข้ารหัสไฟล์ TXT ที่พบบ่อย
ไฟล์ TXT ทุกไฟล์ต้องพึ่งพาการเข้ารหัสบางอย่าง ต่อไปนี้คือแบบที่พบได้บ่อยที่สุด ซึ่งแตกต่างกันทั้งในเรื่องจำนวนตัวอักษรที่รองรับและวิธีจัดเรียงไบต์
ASCII
ASCII เป็นรูปแบบการเข้ารหัสพื้นฐานที่สุด ใช้เลขฐานสองเพียง 7 บิตแทน 128 ตัวอักษร ได้แก่ ตัวอักษรภาษาอังกฤษ ตัวเลข เครื่องหมายวรรคตอน และอักขระควบคุม จึงแทนได้เฉพาะเนื้อหาภาษาอังกฤษล้วน ๆ ถ้าไฟล์ TXT มีเนื้อหาภาษาจีน ญี่ปุ่น หรือภาษาอื่น ๆ ไฟล์ TXT นั้นก็ไม่ใช่รูปแบบ ASCII อย่างแน่นอน
GB2312 / GBK
GB2312/GBK เป็นการเข้ารหัสมาตรฐานแห่งชาติของจีน GB2312 บรรจุอักษรจีน 6,763 ตัว GBK เป็นส่วนขยายของ GB2312 บรรจุอักษรจีน 21,886 ตัว และเข้ากันได้กับ GB2312 รองรับเฉพาะภาษาจีนและภาษาอื่นอีกเล็กน้อย ปัจจุบันยังมีไฟล์ TXT จำนวนไม่น้อยที่ใช้การเข้ารหัส GB2312/GBK อยู่
Unicode
Unicode คือมาตรฐานสากลด้านการเข้ารหัสอักขระที่กำหนดโดย Unicode Consortium หรือที่เรียกกันว่า รหัสสากล/รหัสสากลรวมภาษา Unicode กำหนด Code Point ที่ไม่ซ้ำกันให้กับอักขระแต่ละตัว ไม่ว่าจะใช้ภาษาใดหรือแพลตฟอร์มใด หมายเลขนี้จะคงเดิมเสมอ จึงแก้ปัญหาความเข้ากันได้ของ Encoding ต่างภาษาต่าง ๆ ได้อย่างเด็ดขาด และรองรับการประมวลผลข้อความข้ามภาษาและข้ามแพลตฟอร์ม อย่างไรก็ตาม Unicode เองเป็นเพียงชุดอักขระที่กำหนดหมายเลขของอักขระแต่ละตัว ส่วน UTF-8, UTF-16 และอื่น ๆ คือรูปแบบการเข้ารหัสที่เป็นรูปธรรม
UTF-8
UTF-8 เป็นรูปแบบการใช้งาน Unicode ที่ได้รับความนิยมมากที่สุด เข้ากันได้อย่างสมบูรณ์กับ ASCII และเป็น Encoding ที่ใช้กันแพร่หลายที่สุดบนอินเทอร์เน็ตในปัจจุบัน ไฟล์ TXT ส่วนใหญ่จึงอยู่ในรูปแบบ UTF-8
UTF-16
UTF-16 เป็นอีกหนึ่งรูปแบบการใช้งานที่พบได้บ่อย โดยใช้กันอย่างแพร่หลายภายในระบบ Windows และในภาษาโปรแกรม Java ไฟล์มักมี BOM (Byte Order Mark) อยู่ที่ส่วนต้นของไฟล์เพื่อระบุลำดับไบต์
การแยกแยะว่าไฟล์ TXT เป็นรูปแบบใดกันแน่เป็นเรื่องค่อนข้างยาก
ตัวไฟล์ TXT เองไม่ได้เก็บแท็กข้อมูลเมตาว่า “ฉันใช้การเข้ารหัสอะไร” แต่เนื้อหาของมันต้องถูกสร้างตามกฎการเข้ารหัสบางอย่างอย่างแน่นอน ไม่เช่นนั้นก็เขียนและอ่านได้อย่างถูกต้องไม่ได้เลย และตอนเปิด ซอฟต์แวร์ต้องใช้รูปแบบถอดรหัสตรงกับรูปแบบการเข้ารหัสที่ใช้ตอนบันทึกไฟล์ มิฉะนั้นจะเกิดตัวอักษรเพี้ยน ตัวอย่างเช่น ไฟล์ที่บันทึกด้วยการเข้ารหัส UTF-8 เมื่อเปิดด้วย Notepad ที่ค่าเริ่มต้นเป็น GBK จะแสดงผลผิดปกติ
ปัจจุบันยังไม่มีวิธีใดที่ถูกต้องสมบูรณ์สำหรับระบุว่าไฟล์ TXT หนึ่งไฟล์ใช้การเข้ารหัสแบบใด มีหลายวิธีที่ “เดา” การเข้ารหัสของไฟล์ได้ แต่ต้องระวังว่าทุกวิธีไม่สามารถรับประกันได้ว่าผลที่เดาออกมาจะถูกต้องแม่นยำ ตัวอย่างเช่น การใช้หลักสถิติคำนวณกับข้อความเป้าหมาย เพื่อหาการเข้ารหัสที่เป็นไปได้มากที่สุด แต่ก็ไม่รับประกันความแม่นยำร้อยเปอร์เซ็นต์ อีกตัวอย่าง ไฟล์ข้อความของฉันมีเพียงตัวอักษรอังกฤษง่าย ๆ แต่ฉันบันทึกไฟล์นี้เป็น UTF-8 ตอนนี้คุณไม่สามารถตัดสินได้ว่าไฟล์นี้เป็นการเข้ารหัส ASCII หรือ UTF-8 เพราะ UTF-8 เข้ากันได้กับ ASCII
เครื่องมือตรวจหา Encoding ของไฟล์ TXT
ลากไฟล์ TXT มาวางที่นี่เพื่อตรวจสอบว่ารหัสอักขระของไฟล์ TXT นี้คืออะไร
ไฟล์จะถูกประมวลผลในเบราว์เซอร์ปัจจุบันเท่านั้น ไม่มีการอัปโหลดขึ้นเซิร์ฟเวอร์ ผลการตรวจสอบเป็นการประเมินเชิงสถิติแบบประมาณการ ไฟล์สำคัญโปรดสำรองข้อมูลไว้ก่อน
ปัจจุบันการเข้ารหัส Unicode อย่าง UTF-8 กำลังกลายเป็นมาตรฐานหลัก
ASCII และ GBK เป็นมาตรฐานการเข้ารหัสที่เก่ากว่าและกำลังค่อย ๆ หมดบทบาทไป ASCII มีเพียง 128 ตัวอักษรพื้นฐาน ซึ่งไม่เพียงพอเลย ส่วน GBK เมื่อขยายจาก ASCII ก็เพิ่มการเข้ารหัสอักษรจีนเป็นหลัก และไม่รองรับสัญลักษณ์สมัยใหม่อย่าง Emoji ตัวอย่างเช่น ในเรื่องของช่องว่าง Unicode รองรับทั้งช่องว่างปกติ ช่องว่างแบบไม่ตัดบรรทัด และช่องว่างเต็มความกว้าง เพื่อตอบสนองความต้องการในการจัดหน้าที่แตกต่างกัน แต่ ASCII/GBK รองรับช่องว่างได้เพียงแบบพื้นฐานที่สุดแบบเดียว
ช่องว่างก็มีมากกว่าหนึ่งแบบ ใน Unicode มีทั้งช่องว่างธรรมดา ช่องว่างไม่ตัดบรรทัด ช่องว่างเต็มความกว้าง ฯลฯ ซึ่งตรงกับข้อกำหนดการจัดหน้าที่ต่างกัน เมื่อคัดลอกเนื้อหาจากหน้าเว็บ มักพาตัวแปรที่มองไม่เห็นเหล่านี้เข้าไปใน TXT ด้วย เครื่องมือด้านบนช่วยปรับแบบที่พบบ่อยให้เป็นมาตรฐานเดียวกันได้
สำหรับช่องว่างและการขึ้นบรรทัดใหม่ การเข้ารหัสทั้งสามแบบอย่าง ASCII, GBK และ UTF-8 เก็บค่าเหมือนกันทุกประการ
GBK และ UTF-8 ต่างก็ยึดหลักการสำคัญข้อหนึ่งตอนออกแบบ — เข้ากันได้กับ ASCII อย่างสมบูรณ์ หมายความว่าตัวอักษรทั้งหมดที่กำหนดใน ASCII (รวมถึงอักขระควบคุมอย่างช่องว่าง carriage return และ line feed) มีค่าการเข้ารหัสใน GBK และ UTF-8 เท่าเดิมไม่เปลี่ยน
CRLF— Windows(0x0D + 0x0A)LF— Linux / macOS(0x0A)CR— Classic Mac(0x0D)
แต่ระบบปฏิบัติการที่ต่างกันแสดงการขึ้นบรรทัดใหม่ไม่เหมือนกัน Windows ใช้การขึ้นบรรทัดใหม่แบบ CR+LF (carriage return + line feed) ส่วน Linux/macOS ใช้ขึ้นบรรทัดใหม่อย่างเดียว (LF) ความต่างนี้ทำให้ไฟล์ TXT ที่สร้างบน Windows เมื่อย้ายไปเปิดบน Linux อาจมีอักขระ carriage return ที่มองไม่เห็น (0x0D) เกินมาท้ายบรรทัด ทำให้บางโปรแกรมแยกวิเคราะห์ผิดพลาด อย่างไรก็ตาม ซอฟต์แวร์ส่วนใหญ่บน Windows รู้จักการขึ้นบรรทัดใหม่แบบ LF เพียงอย่างเดียวได้ แต่โปรแกรม Windows รุ่นเก่าหรือเครื่องมือแบบ command line บางตัวอาจยังแสดงผลผิดปกติ
เครื่องมือจัดการการขึ้นบรรทัดใหม่ของ TXT
ลากไฟล์ TXT มาวางที่นี่เพื่อตรวจสอบว่าไฟล์ใช้การขึ้นบรรทัดแบบใด และจัดรูปแบบไฟล์ให้ใช้รูปแบบการขึ้นบรรทัดที่ต้องการได้
จัดรูปแบบและดาวน์โหลด
ไฟล์ที่ส่งออกไม่มี BOM และไฟล์ต้นฉบับจะไม่ถูกแก้ไข
