Что такое UTF-8? Почему эмодзи и акценты занимают дополнительное пространство
UTF-8 — это кодировка, которая используется в современной сети, ее использует почти каждая веб-страница, база данных и API. Большую часть времени это работает незаметно, но объясняет загадку, которая бросается в глаза: почему короткое сообщение, полное смайлов, может быть «слишком большим» для поля, вмещающего более длинное сообщение в виде простого текста. Вот простое объяснение UTF-8 и почему это важно.
Что такое UTF-8
UTF-8 — это способ представления текстовых символов в виде байтов, единиц измерения, которые компьютеры фактически хранят и передают. Каждый вводимый вами символ должен стать последовательностью байтов, и стандартная система для этого — UTF-8. Его продуманная конструкция заключается в том, что он имеет переменную ширину: разные символы занимают разное количество байтов. Это позволяет ему представлять каждый символ на любом языке и каждый смайлик, сохраняя при этом компактность простого английского текста. Она стала доминирующей кодировкой именно потому, что она универсальна и эффективна для обычного текста.
Почему некоторые символы занимают больше байтов
Вот ключевая идея. UTF-8 использует один байт для основных символов, английских букв, цифр и обычных знаков препинания. Но символы, не входящие в этот базовый набор, занимают больше: большинство латинских букв с акцентом и многие символы занимают два байта, большой диапазон, включая китайские, японские и корейские символы, занимает три байта, а остальные, включая большинство эмодзи, занимают четыре байта. Таким образом, размер вашего текста в байтах полностью зависит от того, какие символы он содержит. Обычный английский — один байт на символ; смайликов четыре.
Почему это важно для лимитов
Ширина переменной объясняет, почему количество символов и количество байтов могут различаться и почему это важно. Многие ограничения, поля базы данных, сетевые полезные нагрузки, размеры некоторых запросов API измеряются в байтах, а не в символах. Поле, содержащее 100 байт, соответствует 100 простым английским символам, но только 50 символам, если это двухбайтовые буквы с диакритическими знаками, или 25, если это четырехбайтовые эмодзи. Именно поэтому визуально короткое сообщение с большим количеством смайлов может быть отклонено как слишком длинное, в то время как более длинное текстовое сообщение подходит. Байты, а не символы, достигают предела.
Смайлик-сюрприз
Эмодзи заслуживают особого внимания, поскольку они вызывают больше всего путаницы. Большинство смайлов имеют длину четыре байта в кодировке UTF-8, то есть столько же места, сколько четыре простые буквы. А некоторые смайлы создаются путем объединения нескольких кодовых точек: флаг, вариант цвета кожи или семейный смайлик могут занимать много байтов, иногда более дюжины. Таким образом, один видимый смайлик может занимать гораздо больше места, чем кажется. Если короткое сообщение, наполненное смайликами, когда-либо было отклонено как слишком длинное, то именно эта многобайтовая реальность переменной ширины является причиной.
Практический вывод
Вам редко нужно думать о UTF-8 напрямую, но знание этого объясняет реальное поведение. Если ограничение указано в символах, считайте символы. Во многих технических контекстах, когда речь идет о байтах, помните, что акценты удваивают, а эмодзи увеличивают стоимость байта в четыре раза, поэтому проверьте фактический размер в байтах, если ваш текст не на простом английском языке. Одновременный просмотр количества символов и размера байтов устраняет догадки и предотвращает сбивающий с толку отказ «но это выглядело достаточно коротким».