Zeichen vs. Bytes: Warum Ihr Text größer ist als Sie denken
Sie fügen eine Zeichenfolge, die wie 100 Zeichen aussieht, in ein Feld mit einer Beschränkung auf 100 Zeichen ein und sie wird als zu lang abgelehnt. Wie? Die Antwort ist, dass ein Zeichen und ein Byte nicht dasselbe sind und dass die Lücke zwischen ihnen, die unsichtbar ist, bis sie einem ins Auge fällt, einer der verwirrenderen Aspekte bei der Arbeit mit Text ist. Hier ist, was tatsächlich vor sich geht.
Der Kernunterschied
Im einfachen ASCII-Format, den grundlegenden englischen Buchstaben, Ziffern und gebräuchlichen Symbolen, entspricht ein Zeichen genau einem Byte, sodass die Zählungen übereinstimmen und niemand darüber nachdenkt. Aber das Web läuft mit UTF-8, einer Kodierung, bei der Zeichen außerhalb dieser Grundmenge jeweils mehr als ein Byte beanspruchen. Ein Buchstabe mit Akzent wie é besteht aus zwei Bytes. Viele asiatische Zeichen bestehen aus drei Bytes. Emojis bestehen normalerweise aus vier Bytes. Daher kann die Anzahl der Bytes, die Ihr Text einnimmt, viel größer sein als die Anzahl der angezeigten Zeichen, je nachdem, um welche Zeichen es sich handelt.
Warum die Bytegröße wichtig ist
Die Lücke ist wichtig, da viele Grenzwerte in Bytes und nicht in Zeichen definiert werden. Die Größe von Datenbankfeldern wird häufig in Bytes angegeben, sodass in ein Feld mit 100 Bytes möglicherweise nur 50 Zeichen passen, wenn es sich um ein Multibyte-Feld handelt. Netzwerknutzlasten, Nachrichtengrößenbeschränkungen und Speicherkontingente werden in Bytes gemessen. Einige APIs begrenzen Anforderungstexte nach Bytegröße. Das ist genau der Grund, warum Text, der unter einer Zeichenbeschränkung gut aussieht, als zu lang abgelehnt werden kann, die Beschränkung in Bytes angegeben wurde und Ihre akzentuierten Buchstaben oder Emojis die Bytezahl überschritten haben, obwohl die Zeichenzahl in Ordnung aussah.
Wie UTF-8 Bytes zuweist
UTF-8 ist von Natur aus in der Breite variabel. Es kodiert die grundlegenden lateinischen Buchstaben und Ziffern in jeweils einem einzigen Byte, wodurch einfacher englischer Text kompakt und Byte für Zeichen identisch bleibt. Darüber hinaus werden zwei Bytes für die meisten akzentuierten lateinischen und griechischen Zeichen verwendet, drei Bytes für einen großen Bereich, einschließlich der meisten chinesischen, japanischen und koreanischen Zeichen, und vier Bytes für den Rest, einschließlich der meisten Emojis und einiger seltener Skripte. Eine Zeichenfolge mit 100 Zeichen kann also je nach Inhalt zwischen 100 und 400 Byte belegen. Ein Tweet mit Emojis ist weitaus schwerer als ein Tweet mit einfachen Buchstaben.
Die Emoji-Überraschung
Emojis verdienen besondere Erwähnung, da sie die größte Verwirrung stiften. Die meisten Emojis bestehen aus vier Bytes in UTF-8, und einige, die durch die Kombination mehrerer Codepunkte erstellt werden, wie bestimmte Flaggen oder Hauttonvarianten, sind sogar noch größer. Ein einzelnes Emoji kann also so viel Byte-Speicherplatz beanspruchen wie vier einfache lateinische Zeichen, und ein zusammengesetztes Emoji kann weitaus mehr nutzen. Eine visuell kurze, aber Emoji-lastige Nachricht kann unerwartet eine Byte-Grenze überschreiten. Wenn Ihnen schon einmal eine kurze, mit Emojis gefüllte Nachricht abgelehnt wurde, dann ist dies der Grund dafür.
Der praktische Imbiss
Wenn eine Beschränkung in Zeichen definiert ist, zählen die meisten Social-Media-Posts die Anzahl der Zeichen. Wenn ein Grenzwert in Bytes definiert ist, zählen viele Datenbankfelder, APIs und Protokolle Bytes, und denken Sie daran, dass Akzente und Emojis die Bytezahl erhöhen. Wenn Sie nicht sicher sind, welches System verwendet wird und Ihr Text etwas anderes als einfaches ASCII enthält, überprüfen Sie aus Sicherheitsgründen die Bytegröße. Wenn man beide Zahlen gleichzeitig sieht, entfällt das Rätselraten und verhindert die Ablehnung „Aber es schien kurz genug zu sein“.