Перейти к основному содержимому
Все статьи
Файл TXT

Формат файла TXT

От ASCII и GBK до UTF-8: как простой текст хранит символы? В этой статье разобраны механизмы кодировок и переводов строк, а также приложен инструмент проверки и конвертации, работающий прямо в браузере.

Редакция YueZhuОколо 8 минут

TXT-файл, полное название — Text File, — самый базовый и самый универсальный формат обычного текста. Он содержит только читаемые человеком символы и не включает сложную вёрстку, стили шрифтов, цвета или встроенные изображения и прочие мультимедийные элементы. Благодаря предельно простой структуре TXT-файлы отличаются малым размером, очень высокой совместимостью и быстрым открытием: их легко создавать и читать практически в любой операционной системе и на любом устройстве, что делает их идеальным выбором для обмена данными и записи текста.

Кодировка файла TXT

Любой TXT-файл неизбежно опирается на какое-то правило кодировки: именно она определяет, как компьютер превращает байты файла в понятные человеку символы.

К распространённым кодировкам файлов TXT относятся прежде всего ASCII, GBK/GB2312, Unicode, UTF-8, UTF-16 и другие.

Распространённые кодировки файлов TXT

Каждый файл TXT зависит от кодировки. Ниже — самые распространённые из них; они различаются тем, сколько символов могут представить и как организованы байты.

ASCII

ASCII — самая базовая кодировка: всего 7 бит и 128 символов, включая латинские буквы, цифры, знаки препинания и управляющие символы, поэтому она может представить только чисто английский текст. Если в TXT-файле есть китайский, японский или другой язык, этот файл точно не в ASCII.

GB2312 / GBK

GB2312/GBK — китайские национальные стандарты кодирования: GB2312 включает 6763 иероглифа, а GBK — его расширение с 21 886 иероглифами, совместимое с GB2312. Они поддерживают только китайский и небольшое число других языков, и до сих пор немалая часть TXT-файлов использует GB2312/GBK.

Unicode

Unicode — международный стандарт кодирования символов, созданный консорциумом Unicode; его также называют единой кодировкой или всемирным кодом. Unicode присваивает каждому символу уникальную кодовую точку: на каком бы языке или платформе вы ни работали, этот номер не меняется. Так была окончательно решена проблема совместимости кодировок разных языков и обеспечена кросс-языковая и кроссплатформенная обработка текста. Впрочем, сам по себе Unicode — лишь набор символов, определяющий номер каждого знака, тогда как UTF-8, UTF-16 и подобные — конкретные реализации кодирования.

UTF-8

UTF-8 — самая популярная реализация Unicode. Он полностью совместим с ASCII и сегодня является самой универсальной кодировкой в интернете: большинство файлов TXT хранится именно в UTF-8.

UTF-16

UTF-16 — ещё один распространённый способ реализации. Он широко используется внутри Windows и в языке программирования Java, а в начале файла обычно ставится BOM (метка порядка байтов), указывающая порядок байтов.

Определить, в какой именно кодировке сохранён TXT-файл, довольно сложно

Сам TXT-файл не хранит метаданных вида «какая кодировка здесь использована», но его содержимое неизбежно создано по правилам какой-то кодировки — иначе его нельзя было бы корректно записать и прочитать; к тому же кодировка, которой программа декодирует файл при открытии, должна совпадать с кодировкой, в которой он был сохранён, иначе появятся кракозябры. Например, файл, сохранённый в UTF-8, откроется с искажениями в «Блокноте» с кодировкой GBK по умолчанию.

Сегодня не существует абсолютно надёжного способа определить, в какой именно кодировке сохранён TXT-файл: «угадать» кодировку можно многими способами, но важно понимать, что ни один из них не гарантирует абсолютно точного результата. Например, можно применить статистические методы к тексту и определить наиболее вероятную кодировку, но стопроцентной точности это не даёт. Скажем, в моём текстовом файле только простые английские символы, но я сохранил его в UTF-8 — и тогда невозможно понять, это ASCII или UTF-8, потому что UTF-8 совместим с ASCII.

Инструмент определения кодировки TXT

Перетащите сюда файл TXT, чтобы определить его кодировку

Предполагаемая кодировкаНе обнаружено
КритерийНе обнаружено

Файлы обрабатываются только в текущем браузере и не загружаются на сервер. Результат проверки основан на эвристике, поэтому для важных файлов сначала сделайте резервную копию.

Сейчас кодировки Unicode, такие как UTF-8, постепенно становятся основными

Как ранние стандарты кодирования, ASCII и GBK постепенно уходят со сцены. ASCII включает всего 128 базовых символов, чего явно недостаточно, а GBK при расширении ASCII в первую очередь добавил кодирование иероглифов и не поддерживает современные символы вроде эмодзи. Например, для пробела Unicode поддерживает обычный пробел, неразрывный пробел, полноширинный пробел и другие — под разные задачи вёрстки, тогда как ASCII/GBK знают лишь один самый простой пробел.

Пробелы тоже бывают разными. В Unicode есть обычный пробел, неразрывный пробел, полноширинный пробел и так далее — у каждого свои требования к вёрстке; при копировании контента с веб-страниц эти невидимые варианты легко попадают в TXT, и инструмент выше позволяет унифицировать несколько самых распространённых из них.

Что касается пробелов и символов возврата каретки, в кодировках ASCII, GBK и UTF-8 они представляются совершенно одинаково

При разработке GBK и UTF-8 соблюдали один важный принцип — полную совместимость с ASCII. Это значит, что все символы, определённые в ASCII (включая пробел, возврат каретки, перевод строки и другие управляющие символы), в GBK и UTF-8 имеют те же самые коды.

  • CRLF — Windows(0x0D + 0x0A)
  • LF — Linux / macOS(0x0A)
  • CR — Classic Mac(0x0D)

Но разные операционные системы представляют перевод строки по-разному: в Windows это возврат каретки + перевод строки (CR+LF), а в Linux/macOS — только перевод строки (LF). Такое расхождение приводит к тому, что TXT-файл, созданный в Windows, при открытии в Linux может получить в конце каждой строки невидимый символ возврата каретки (0x0D), из-за чего некоторые программы разбирают его с ошибками. Правда, большинство программ под Windows умеют распознавать одиночный LF, и проблемы с отображением могут возникнуть лишь в некоторых старых Windows-приложениях или консольных утилитах.

Инструмент обработки переводов строк в TXT

Перетащите сюда файл TXT, чтобы определить, какие в нём переводы строк, и привести файл к выбранному типу переводов строк

Основной перевод строкиНе обнаружено
Число строкНе обнаружено

Отформатировать и скачать

Выходной файл сохраняется без BOM, исходный файл не изменяется.