如何使用 JavaScript 解析数据中包含逗号的 CSV 字符串?

IT技术 javascript regex split
2021-01-19 14:00:20

我有以下类型的字符串

var string = "'string, duppi, du', 23, lala"

我想在每个逗号上将字符串拆分为一个数组,但只有单引号外的逗号。

我无法找出拆分的正确正则表达式...

string.split(/,/)

会给我

["'string", " duppi", " du'", " 23", " lala"]

但结果应该是:

["string, duppi, du", "23", "lala"]

有跨浏览器的解决方案吗?

6个回答

免责声明

2014-12-01 更新:以下答案仅适用于一种非常特定的 CSV 格式。正如 DG 在评论中正确指出的那样,此解决方案不符合 CSV 的 RFC 4180 定义,也不符合 MS Excel 格式。该解决方案简单地演示了如何解析包含混合字符串类型的一个(非标准)CSV 输入行,其中字符串可能包含转义引号和逗号。

一个非标准的CSV解决方案

正如 austincheney 正确指出的那样,如果您希望正确处理可能包含转义字符的带引号的字符串,您确实需要从头到尾解析字符串。此外,OP 没有明确定义“CSV 字符串”到底是什么。首先,我们必须定义什么构成有效的 CSV 字符串及其各个值。

鉴于:“CSV 字符串”定义

出于本次讨论的目的,“CSV 字符串”由零个或多个值组成,其中多个值用逗号分隔。每个值可能包括:

  1. 双引号字符串。(可能包含未转义的单引号。)
  2. 单引号字符串。(可能包含未转义的双引号。)
  3. 一个不带引号的字符串。(不能包含引号、逗号或反斜杠。)
  4. 一个空值。(全空白值被认为是空的。)

规则/注意事项:

  • 引用的值可能包含逗号。
  • 引用的值可能包含转义的任何内容,例如'that\'s cool'.
  • 必须引用包含引号、逗号或反斜杠的值。
  • 必须引用包含前导或尾随空格的值。
  • 反斜杠从 all:\'删除,在单引号中。
  • 反斜杠从所有内容中删除:\"在双引号中。
  • 未加引号的字符串将删除任何前导和尾随空格。
  • 逗号分隔符可能有相邻的空格(被忽略)。

找:

将有效的 CSV 字符串(如上定义)转换为字符串值数组的 JavaScript 函数。

解决方案:

此解决方案使用的正则表达式很复杂。并且(恕我直言)所有重要的正则表达式都应该以自由间距模式呈现,并带有大量注释和缩进。不幸的是,JavaScript 不允许自由间距模式。因此,此解决方案实现的正则表达式首先以本机正则表达式语法呈现(使用 Python 的方便:r'''...'''原始多行字符串语法表示)。

首先是一个正则表达式,用于验证 CVS 字符串是否满足上述要求:

正则表达式验证“CSV 字符串”:

re_valid = r"""
# Validate a CSV string having single, double or un-quoted values.
^                                   # Anchor to start of string.
\s*                                 # Allow whitespace before value.
(?:                                 # Group for value alternatives.
  '[^'\\]*(?:\\[\S\s][^'\\]*)*'     # Either Single quoted string,
| "[^"\\]*(?:\\[\S\s][^"\\]*)*"     # or Double quoted string,
| [^,'"\s\\]*(?:\s+[^,'"\s\\]+)*    # or Non-comma, non-quote stuff.
)                                   # End group of value alternatives.
\s*                                 # Allow whitespace after value.
(?:                                 # Zero or more additional values
  ,                                 # Values separated by a comma.
  \s*                               # Allow whitespace before value.
  (?:                               # Group for value alternatives.
    '[^'\\]*(?:\\[\S\s][^'\\]*)*'   # Either Single quoted string,
  | "[^"\\]*(?:\\[\S\s][^"\\]*)*"   # or Double quoted string,
  | [^,'"\s\\]*(?:\s+[^,'"\s\\]+)*  # or Non-comma, non-quote stuff.
  )                                 # End group of value alternatives.
  \s*                               # Allow whitespace after value.
)*                                  # Zero or more additional values
$                                   # Anchor to end of string.
"""

如果字符串与上述正则表达式匹配,则该字符串是有效的 CSV 字符串(根据之前所述的规则),并且可以使用以下正则表达式进行解析。然后使用以下正则表达式匹配 CSV 字符串中的一个值。它会重复应用,直到找不到更多匹配项(并且所有值都已解析)。

正则表达式从有效的 CSV 字符串解析一个值:

re_value = r"""
# Match one value in valid CSV string.
(?!\s*$)                            # Don't match empty last value.
\s*                                 # Strip whitespace before value.
(?:                                 # Group for value alternatives.
  '([^'\\]*(?:\\[\S\s][^'\\]*)*)'   # Either $1: Single quoted string,
| "([^"\\]*(?:\\[\S\s][^"\\]*)*)"   # or $2: Double quoted string,
| ([^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)  # or $3: Non-comma, non-quote stuff.
)                                   # End group of value alternatives.
\s*                                 # Strip whitespace after value.
(?:,|$)                             # Field ends on comma or EOS.
"""

请注意,此正则表达式不匹配一个特殊情况值 - 该值为空时的最后一个值。这种特殊的“最后一个值为空”的情况由后面的 js 函数测试和处理。

解析 CSV 字符串的 JavaScript 函数:

// Return array of string values, or NULL if CSV string not well formed.
function CSVtoArray(text) {
    var re_valid = /^\s*(?:'[^'\\]*(?:\\[\S\s][^'\\]*)*'|"[^"\\]*(?:\\[\S\s][^"\\]*)*"|[^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)\s*(?:,\s*(?:'[^'\\]*(?:\\[\S\s][^'\\]*)*'|"[^"\\]*(?:\\[\S\s][^"\\]*)*"|[^,'"\s\\]*(?:\s+[^,'"\s\\]+)*)\s*)*$/;
    var re_value = /(?!\s*$)\s*(?:'([^'\\]*(?:\\[\S\s][^'\\]*)*)'|"([^"\\]*(?:\\[\S\s][^"\\]*)*)"|([^,'"\s\\]*(?:\s+[^,'"\s\\]+)*))\s*(?:,|$)/g;
    // Return NULL if input string is not well formed CSV string.
    if (!re_valid.test(text)) return null;
    var a = [];                     // Initialize array to receive values.
    text.replace(re_value, // "Walk" the string using replace with callback.
        function(m0, m1, m2, m3) {
            // Remove backslash from \' in single quoted values.
            if      (m1 !== undefined) a.push(m1.replace(/\\'/g, "'"));
            // Remove backslash from \" in double quoted values.
            else if (m2 !== undefined) a.push(m2.replace(/\\"/g, '"'));
            else if (m3 !== undefined) a.push(m3);
            return ''; // Return empty string.
        });
    // Handle special case of empty last value.
    if (/,\s*$/.test(text)) a.push('');
    return a;
};

示例输入和输出:

在以下示例中,大括号用于分隔{result strings}. (这是为了帮助可视化前导/尾随空格和零长度字符串。)

// Test 1: Test string from original question.
var test = "'string, duppi, du', 23, lala";
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {string, duppi, du}
    a[1] = {23}
    a[2] = {lala} */
// Test 2: Empty CSV string.
var test = "";
var a = CSVtoArray(test);
/* Array hes 0 elements: */
// Test 3: CSV string with two empty values.
var test = ",";
var a = CSVtoArray(test);
/* Array hes 2 elements:
    a[0] = {}
    a[1] = {} */
// Test 4: Double quoted CSV string having single quoted values.
var test = "'one','two with escaped \' single quote', 'three, with, commas'";
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {one}
    a[1] = {two with escaped ' single quote}
    a[2] = {three, with, commas} */
// Test 5: Single quoted CSV string having double quoted values.
var test = '"one","two with escaped \" double quote", "three, with, commas"';
var a = CSVtoArray(test);
/* Array hes 3 elements:
    a[0] = {one}
    a[1] = {two with escaped " double quote}
    a[2] = {three, with, commas} */
// Test 6: CSV string with whitespace in and around empty and non-empty values.
var test = "   one  ,  'two'  ,  , ' four' ,, 'six ', ' seven ' ,  ";
var a = CSVtoArray(test);
/* Array hes 8 elements:
    a[0] = {one}
    a[1] = {two}
    a[2] = {}
    a[3] = { four}
    a[4] = {}
    a[5] = {six }
    a[6] = { seven }
    a[7] = {} */

补充说明:

此解决方案要求 CSV 字符串是“有效的”。例如,未加引号的值可能不包含反斜杠或引号,例如以下 CSV 字符串无效:

var invalid1 = "one, that's me!, escaped \, comma"

这并不是真正的限制,因为任何子字符串都可以表示为单引号或双引号值。另请注意,此解决方案仅代表一种可能的定义:“逗号分隔值”。

编辑:2014-05-19:添加免责声明。 编辑:2014-12-01:将免责声明移至顶部。

@Evan Plaice - 欢迎您将我的任何正则表达式用于您想要的任何目的。认可的说明会很好,但不是必需的。祝你的插件好运。干杯!
2021-03-14 14:00:20
我赞赏你的答案的细节和澄清,但应该在某处注意到你对 CSV 的定义不符合 RFC 4180,这是与 CSV 标准最接近的东西,我可以说它是常用的。特别是,这将是在字符串字段中“转义”双引号字符的正常方法:"field one", "field two", "a ""final"" field containing two double quote marks"我尚未在此页面上测试 Trevor Dixon 的答案,但它是解决 RFC 4180 CSV 定义的答案。
2021-03-16 14:00:20
很酷,这是项目code.google.com/p/jquery-csv最后,我想向 CSV 添加一个扩展格式,称为 SSV(结构化分隔值),它只是包含元数据(即分隔符、分隔符、行尾等)的 CSV。
2021-03-21 14:00:20
非常感谢这个伟大的实现 - 我用它作为 Node.js module(csv-iterator)的基础。
2021-03-21 14:00:20
@Evan Plaice - 谢谢你的好话。当然你可以使用任何分隔符。只需用选择的分隔符替换我的正则表达式中的每个逗号(但分隔符不能是空格)。干杯。
2021-04-04 14:00:20

RFC 4180 解决方案

这不能解决问题中的字符串,因为其格式不符合 RFC 4180;可接受的编码是用双引号转义双引号。下面的解决方案适用于来自谷歌电子表格的 CSV 文件 d/l。

更新 (3/2017)

解析单行是错误的。根据 RFC 4180 字段可能包含 CRLF,这将导致任何行阅读器破坏 CSV 文件。这是解析 CSV 字符串的更新版本:

'use strict';

function csvToArray(text) {
    let p = '', row = [''], ret = [row], i = 0, r = 0, s = !0, l;
    for (l of text) {
        if ('"' === l) {
            if (s && l === p) row[i] += l;
            s = !s;
        } else if (',' === l && s) l = row[++i] = '';
        else if ('\n' === l && s) {
            if ('\r' === p) row[i] = row[i].slice(0, -1);
            row = ret[++r] = [l = '']; i = 0;
        } else row[i] += l;
        p = l;
    }
    return ret;
};

let test = '"one","two with escaped """" double quotes""","three, with, commas",four with no quotes,"five with CRLF\r\n"\r\n"2nd line one","two with escaped """" double quotes""","three, with, commas",four with no quotes,"five with CRLF\r\n"';
console.log(csvToArray(test));

旧答案

(单线解决方案)

function CSVtoArray(text) {
    let ret = [''], i = 0, p = '', s = true;
    for (let l in text) {
        l = text[l];
        if ('"' === l) {
            s = !s;
            if ('"' === p) {
                ret[i] += '"';
                l = '-';
            } else if ('' === p)
                l = '-';
        } else if (s && ',' === l)
            l = ret[++i] = '';
        else
            ret[i] += l;
        p = l;
    }
    return ret;
}
let test = '"one","two with escaped """" double quotes""","three, with, commas",four with no quotes,five for fun';
console.log(CSVtoArray(test));

有趣的是,以下是从数组创建 CSV 的方法:

function arrayToCSV(row) {
    for (let i in row) {
        row[i] = row[i].replace(/"/g, '""');
    }
    return '"' + row.join('","') + '"';
}

let row = [
  "one",
  "two with escaped \" double quote",
  "three, with, commas",
  "four with no quotes (now has)",
  "five for fun"
];
let text = arrayToCSV(row);
console.log(text);

这个为我完成了工作,而不是另一个
2021-03-21 14:00:20

我喜欢 FakeRainBrigand 的回答,但是它包含一些问题:它无法处理引号和逗号之间的空格,并且不支持 2 个连续的逗号。我尝试编辑他的答案,但我的编辑被显然不理解我的代码的审阅者拒绝了。这是我的 FakeRainBrigand 代码版本。还有一个小提琴:http : //jsfiddle.net/xTezm/46/

String.prototype.splitCSV = function() {
        var matches = this.match(/(\s*"[^"]+"\s*|\s*[^,]+|,)(?=,|$)/g);
        for (var n = 0; n < matches.length; ++n) {
            matches[n] = matches[n].trim();
            if (matches[n] == ',') matches[n] = '';
        }
        if (this[0] == ',') matches.unshift("");
        return matches;
}

var string = ',"string, duppi, du" , 23 ,,, "string, duppi, du",dup,"", , lala';
var parsed = string.splitCSV();
alert(parsed.join('|'));
谢谢,它部分对我有用。有谁知道如何摆脱在此过滤器后留下的额外昏迷?这是一个文本“text,text,,text,,,text”,因此我将最后一个昏迷作为值保留,因此我将三个昏迷作为解析值。
2021-03-19 14:00:20
谢谢,我做了类似于你建议的事情。我正在使用下一个脚本将 .xml 转换为 .xlsx:stackoverflow.com/a/51094040/3516022,我只是检查单元格的值是否不等于昏迷,然后添加它。
2021-04-01 14:00:20
@m.zhelieznov 您可以尝试通过另一个正则表达式运行它,例如: text = text.replace(/,+/,',')
2021-04-07 14:00:20

http://en.wikipedia.org/wiki/Comma-separated_values处理 RFC 4180 示例的 PEG(.js) 语法

start
  = [\n\r]* first:line rest:([\n\r]+ data:line { return data; })* [\n\r]* { rest.unshift(first); return rest; }

line
  = first:field rest:("," text:field { return text; })*
    & { return !!first || rest.length; } // ignore blank lines
    { rest.unshift(first); return rest; }

field
  = '"' text:char* '"' { return text.join(''); }
  / text:[^\n\r,]* { return text.join(''); }

char
  = '"' '"' { return '"'; }
  / [^"]

http://jsfiddle.net/knvzk/10https://pegjs.org/online测试

下载在生成的解析器https://gist.github.com/3362830

我有一个非常具体的用例,我想将 Google 表格中的单元格复制到我的网络应用程序中。单元格可以包含双引号和换行符。使用复制和粘贴,单元格由制表符分隔,奇数数据的单元格用双引号引起来。我尝试了这个主要的解决方案,链接文章使用正则表达式、Jquery-CSV 和 CSVToArray。 http://papaparse.com/ 是唯一一个开箱即用的。复制和粘贴与带有默认自动检测选项的 Google 表格无缝连接。

这应该排名更高,永远不要尝试滚动你自己的 CSV 解析器,它不会正常工作- 特别是在使用正则表达式时。Papaparse很棒——使用它!
2021-04-06 14:00:20