Phantomjs page.content不会检索页面内容

IT技术 javascript html ajax web-scraping phantomjs
2021-03-06 15:18:12

我用Phantomjs到使用JavaScript和Ajax加载动态内容刮网站。
我有以下代码：

  var page = require('webpage').create();
        page.onError = function(msg, trace) {
            var msgStack = ['ERROR: ' + msg];
            if (trace && trace.length) {
                msgStack.push('TRACE:');
                trace.forEach(function(t) {
                    msgStack.push(' -> ' + t.file + ': ' + t.line + (t.function ? ' (in function "' + t.function +'")' : ''));
                });
            }
            console.error(msgStack.join('\n'));
        };
        page.onConsoleMessage = function(msg, lineNum, sourceId) {
            console.log('CONSOLE: ' + msg + ' (from line #' + lineNum + ' in "' + sourceId + '")');
        };
        page.open('http://www.betexplorer.com/soccer/germany/oberliga-bayern-sud/wolfratshausen-unterhaching-ii/x8rBMAB8/', function () {
            console.log(page.content);
            phantom.exit();
        });

问题是，这个代码不获取源代码，我想。
如果您通过Web浏览器（如铬）输入网址并阅读页面的源代码（动态源代码，JavaScript和Ajax调用作了后），你会看到Web浏览器的源代码和Phantomjs源代码是完全不同的。
但在这种情况下，我需要网络浏览器的源代码。
通常这Phantomjs代码检索源代码，我需要，但在这个网址的情况下（任何其他许多人）Phantomjs不检索正确的源代码。
我认为Phantomjs不知道如何处理JavaScript和Ajax调用，负载动态内容到这个网页。
当我运行的代码中，我得到这些错误：

ERROR: TypeError: 'undefined' is not a function (evaluating 'function(e){
        this.pointer.x = e.pageX;
        this.pointer.y = e.pageY;
    }.bind(this)')
TRACE:
 -> http://www.betexplorer.com/gres/tooltip.js?serial=1410131213: 207
 -> http://www.betexplorer.com/gres/tooltip.js?serial=1410131213: 157
 -> http://www.betexplorer.com/gres/tooltip.js?serial=1410131213: 310 (in function "tooltip")
 -> http://www.betexplorer.com/soccer/germany/oberliga-bayern-sud/wolfratshausen-unterhaching-ii/x8rBMAB8/: 291
 -> http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js: 2
 -> http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js: 2
 -> http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js: 2
 -> http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js: 2
CONSOLE: Invalid App Id: Must be a number or numeric string representing the application id. (from line #undefined in "undefined")
CONSOLE: FB.getLoginStatus() called before calling FB.init(). (from line #undefined in "undefined")

那么我如何使用 Phantomjs获取此页面的动态源代码（http://www.betexplorer.com/soccer/germany/oberliga-bayern-sud/wolfratshausen-unterhaching-ii/x8rBMAB8/）？

1个回答

由于页面是动态生成的，因此您需要稍等片刻才能访问预期的页面源。

page.open('http://www.betexplorer.com/soccer/germany/oberliga-bayern-sud/wolfratshausen-unterhaching-ii/x8rBMAB8/', function () {
    setTimeout(function(){
        console.log(page.content);
        phantom.exit();
    }, 5000); // 5 sec should be enough
});

该TypeError: 'undefined' is not a function指bind，因为PhantomJS 1.x中不支持它。PhantomJS 1.x 使用 QtWebkit 的旧分支，可与 Chrome 13 或 Safari 5 相媲美。较新的 PhantomJS 2 使用较新的引擎，支持bind. 如果您仍然使用 1.x 版，则需要在page.onInitialized事件处理程序中添加一个 shim ：

page.onInitialized = function(){
    page.evaluate(function(){
        var isFunction = function(o) {
          return typeof o == 'function';
        };

        var bind,
          slice = [].slice,
          proto = Function.prototype,
          featureMap;

        featureMap = {
          'function-bind': 'bind'
        };

        function has(feature) {
          var prop = featureMap[feature];
          return isFunction(proto[prop]);
        }

        // check for missing features
        if (!has('function-bind')) {
          // adapted from Mozilla Developer Network example at
          // https://developer.mozilla.org/en/JavaScript/Reference/Global_Objects/Function/bind
          bind = function bind(obj) {
            var args = slice.call(arguments, 1),
              self = this,
              nop = function() {
              },
              bound = function() {
                return self.apply(this instanceof nop ? this : (obj || {}), args.concat(slice.call(arguments)));
              };
            nop.prototype = this.prototype || {}; // Firefox cries sometimes if prototype is undefined
            bound.prototype = new nop();
            return bound;
          };
          proto.bind = bind;
        }
    });
};

取自我的回答here。

其它你可能感兴趣的问题
上一篇Promise 链在内部 Promise 被解决之前继续 下一篇节点异步循环 - 如何使此代码按顺序运行？