下载大尺寸json时如何解决Uncaught RangeError

IT技术 javascript html json
2021-02-09 03:36:07

我正在尝试下载大型 json 数据。但它导致Uncaught RangeError: Invalid string length.

在此处输入图片说明

请帮助解决这个问题,提前致谢。

这是 Jsfiddle:http : //jsfiddle.net/sLq3F/456/

4个回答

您可以使用fetch(),Response.body.getReader()它返回一个ReadableStream, TextDecoder(), Blob(), URL.createObjectURL()

注意,在设备具有有限的RAM或较低的可用磁盘空间,点击后SaveSave File对话框4分钟二十秒4:20经过的前Save File对话关闭,随后是附加的一分钟,30秒1:30的前.crdownload延伸部,从在文件管理器GUI的文件中删除。4:20文件下载到文件系统并且Save File对话框可见的第一个时期,鼠标指针是可移动的,尽管 UI 暂时对单击或尝试更改选项卡没有响应。Save File对话框关闭并且文件仍在下载到文件系统时,扩展.crdownload后 UI 将恢复正常功能。

在上述过程结束时,文件已成功下载到总大小为189.8 MB (189,778,220 bytes).

<!DOCTYPE html>
<html>

<head>
  <style>
    code {
      color:navy;
      background-color:#eee;
      padding:2px;
    }
  </style>
</head>

<body>
  <button>Request File</button><br>
  <progress min="0" max="189778220" value="0"></progress>
  <output></output>
  <br><br>
  <label></label>
  <script>
    var url = "https://raw.githubusercontent.com/zemirco/sf-city-lots-json/master/citylots.json";
    var button = document.querySelector("button");
    var progress = document.querySelector("progress");
    var label = document.querySelector("label");
    var output = document.querySelector("output");
    
    var request = (url) => {
      
      label.innerHTML = `Requesting <code>${url}</code> at ${new Date()}.<br><br>`;
      
      return fetch(url)
      .then(response => response.body.getReader())
      .then(reader => {
        var decoder = new TextDecoder();
        var json = "";
        label.innerHTML += `Request successful.<br><br>Reading request body at ${new Date()}.<br><br>`;
        return reader.read().then(function processData(result) {
            if (result.done) {
              // do stuff when `reader` is `closed`
              return reader.closed.then(function() {
                // return `json` string
                return json;
              });
            };
            json += decoder.decode(result.value);
            output.innerHTML = ` ${json.length} of ${progress.max} bytes read`;
            progress.value = json.length;
            return reader.read().then(processData)
          })
          .then(function(data) {
            var message = `Reading of <code>${url}</code> complete at ${new Date()}. <br><br>` 
                               + `${data.length} total bytes read. `
                               + `Please allow up to 4 minutes for file to download `
                               + `to filesystem after clicking <code>Save</code>.<br><br>`;
            label.innerHTML += message;
            
            var blob = new Blob([data], {
              type: "application/json"
            });
            var file = URL.createObjectURL(blob);
            var a = document.createElement("a");
            a.download = "citylots.json";
            a.href = file;
            document.body.appendChild(a);
            a.click();
            var closeBlob = (e) => {
              window.removeEventListener("focus", closeBlob);
              blob.close();
              URL.revokeObjectURL(file);
            };
            window.addEventListener("focus", closeBlob);
            return message.replace(/<[^>]*>/g, "");
          })
          .catch(function(err) {
            console.log("err", err)
          })
      });
    }
    
    var handleRequest = (e) => {
      button.setAttribute("disabled", "disabled");
      request(url).then(function(message) {
        console.log(message);
        button.removeAttribute("disabled");
      })
    };
    
    button.addEventListener("click", handleRequest);
  </script>
</body>
</html>

plnkr https://plnkr.co/edit/gewixzHZSKRXquZ2OVF2?p=preview

当我单击按钮时。它似乎加载了,但花了一些时间后导致 DevTools 与页面断开连接。请帮助我,..
2021-03-28 03:36:07
哪个版本的铬?
2021-03-29 03:36:07
@selvarajmas 单击Save后,Save File对话框关闭需要 4 多分钟在文件写入本地文件系统完成之前又过了一分半钟。RAM您尝试使用的设备有多少可用空间?
2021-04-03 03:36:07
javascript哪个浏览器上试过
2021-04-04 03:36:07
我已经安装了内存(RAM)3GB
2021-04-07 03:36:07

我猜您需要遍历 JSON 文件中的某些内容并将其拆分为更易于管理的字符串。

汤姆

你有 JSON 文件的示例片段吗?

你有运行 PHP 的服务器吗?

如果你这样做,我相信你必须绝对检查你的 PHP.ini 文件或运行一个 phpinfo 页面,因为 php 设置确实限制了文件传输的大小,即使它不是外部请求。它可以在其他语言中做到这一点,但除了 PHP 之外我从未遇到过这个问题。

PS我没有看到文件的大小

我认为您的 json 文件是“JSON 太大”的场景之一。您知道,如果 json 文件有如此多的记录(准确地说,根据测试,100000 条记录使浏览器挂起,并且在许多浏览器中无法加载更多记录),则不建议使用。

您可以阅读这篇文章以获取更多信息:JSON 有多大?