该.charCodeAt函数返回字符的 unicode 代码。但我想改为获取字节数组。我知道，如果字符码超过 127，则字符存储在两个或更多字节中。
var arr=[];
for(var i=0; i<str.length; i++) {
arr.push(str.charCodeAt(i))
}
如何将 UTF8 字符串转换为字节数组？
IT技术
javascript
utf-8
2021-02-15 12:27:02
6个回答
UTF-8编码Unicode的逻辑基本上是：
- 每个字符最多可以使用 4 个字节。使用尽可能少的字节数。
- 最多 U+007F 的字符使用单个字节进行编码。
- 对于多字节序列，第一个字节中的前导 1 位的数量给出了字符的字节数。第一个字节的其余位可用于对字符的位进行编码。
- 连续字节以 10 开头，其他 6 位对字符的位进行编码。
这是我不久前编写的一个函数，用于在 UTF-8 中编码 JavaScript UTF-16 字符串：
function toUTF8Array(str) {
var utf8 = [];
for (var i=0; i < str.length; i++) {
var charcode = str.charCodeAt(i);
if (charcode < 0x80) utf8.push(charcode);
else if (charcode < 0x800) {
utf8.push(0xc0 | (charcode >> 6),
0x80 | (charcode & 0x3f));
}
else if (charcode < 0xd800 || charcode >= 0xe000) {
utf8.push(0xe0 | (charcode >> 12),
0x80 | ((charcode>>6) & 0x3f),
0x80 | (charcode & 0x3f));
}
// surrogate pair
else {
i++;
// UTF-16 encodes 0x10000-0x10FFFF by
// subtracting 0x10000 and splitting the
// 20 bits of 0x0-0xFFFFF into two halves
charcode = 0x10000 + (((charcode & 0x3ff)<<10)
| (str.charCodeAt(i) & 0x3ff));
utf8.push(0xf0 | (charcode >>18),
0x80 | ((charcode>>12) & 0x3f),
0x80 | ((charcode>>6) & 0x3f),
0x80 | (charcode & 0x3f));
}
}
return utf8;
}
JavaScript的Strings的存储在UTF-16。要获得 UTF-8，您必须String自己转换。
一种方法是混合encodeURIComponent()，这将输出UTF-8字节URL编码，以unescape作为上ecmanaut提到。
var utf8 = unescape(encodeURIComponent(str));
var arr = [];
for (var i = 0; i < utf8.length; i++) {
arr.push(utf8.charCodeAt(i));
}
的编码API允许您既编码和解码UTF-8容易地（使用类型数组）：
var encoded = new TextEncoder().encode("Γεια σου κόσμε");
var decoded = new TextDecoder("utf-8").decode(encoded);
console.log(encoded, decoded);
浏览器支持还不错，并且有一个polyfill应该可以在 IE11 和旧版本的 Edge 中使用。
虽然TextEncoder只能编码为UTF-8，但TextDecoder支持其他编码。我用它以这种方式解码日语文本（Shift-JIS）：
// Shift-JIS encoded text; must be a byte array due to values 129 and 130.
var arr = [130, 108, 130, 102, 130, 80, 129, 64, 130, 102, 130, 96, 130, 108, 130, 100,
129, 64, 130, 99, 130, 96, 130, 115, 130, 96, 129, 124, 130, 79, 130, 80];
// Convert to byte array
var data = new Uint8Array(arr);
// Decode with TextDecoder
var decoded = new TextDecoder("shift-jis").decode(data.buffer);
console.log(decoded);
Google Closure 库具有与 UTF-8 和字节数组相互转换的函数。如果不想使用整个库，可以从这里复制函数。为了完整起见，将字符串转换为 UTF-8 字节数组的代码是：
goog.crypt.stringToUtf8ByteArray = function(str) {
// TODO(user): Use native implementations if/when available
var out = [], p = 0;
for (var i = 0; i < str.length; i++) {
var c = str.charCodeAt(i);
if (c < 128) {
out[p++] = c;
} else if (c < 2048) {
out[p++] = (c >> 6) | 192;
out[p++] = (c & 63) | 128;
} else if (
((c & 0xFC00) == 0xD800) && (i + 1) < str.length &&
((str.charCodeAt(i + 1) & 0xFC00) == 0xDC00)) {
// Surrogate Pair
c = 0x10000 + ((c & 0x03FF) << 10) + (str.charCodeAt(++i) & 0x03FF);
out[p++] = (c >> 18) | 240;
out[p++] = ((c >> 12) & 63) | 128;
out[p++] = ((c >> 6) & 63) | 128;
out[p++] = (c & 63) | 128;
} else {
out[p++] = (c >> 12) | 224;
out[p++] = ((c >> 6) & 63) | 128;
out[p++] = (c & 63) | 128;
}
}
return out;
};
假设问题是关于作为输入的 DOMString 并且目标是获得一个数组，当被解释为字符串（例如写入磁盘上的文件）时，将被 UTF-8 编码：
现在几乎所有的现代浏览器都支持 Typed Arrays，如果没有列出这种方法会很惭愧：
- 根据W3C，支持 File API 的软件应该在其Blob 构造函数中接受DOMString s （另请参阅：构造 Blob 时的字符串编码）
- 可以使用文件读取器的
.readAsArrayBuffer()功能将Blob 转换为 ArrayBuffer - 使用DataView或使用File Reader 读取的缓冲区构造类型化数组，可以访问 ArrayBuffer 的每个字节
例子：
// Create a Blob with an Euro-char (U+20AC)
var b = new Blob(['€']);
var fr = new FileReader();
fr.onload = function() {
ua = new Uint8Array(fr.result);
// This will log "3|226|130|172"
// E2 82 AC
// In UTF-16, it would be only 2 bytes long
console.log(
fr.result.byteLength + '|' +
ua[0] + '|' +
ua[1] + '|' +
ua[2] + ''
);
};
fr.readAsArrayBuffer(b);
在JSFiddle上玩这个。我还没有对此进行基准测试，但我可以想象这对于大型 DOMStrings 作为输入是有效的。