javascript-Node.js抓取数据点击事件

我有一个重复的任务,必须定期执行.基本上,我需要进入网站,从不同的表中获取一些值,然后将其写入电子表格中.通过使用这些值,进行一些计算,准备报告等.

我想创建一个辅助机器人,因为这是直接的任务.
我基本上可以通过打开控制台(在相关页面上)以及使用DOM或Jquery来获取信息,从而轻松获取数据.

我想更进一步,并在Node.js上创建一个应用程序(无需进入相关网站,我会将我的机器人发送到相关页面,并执行与控制台相同的操作.)
我开始用cheerio写点东西.但是,有时我的机器人需要单击一个按钮(以更改表格).我搜索了但找不到路.

我的问题是“单击服务器端的按钮(更改表),然后可以从该表中获取数据吗？”

如果您知道创建此类机器人的更好方法,请提出建议.

var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();

app.get('/scrape', (req, res) => {

url = 'http://www.imdb.com/title/tt1229340/';

request(url, function(error, response, html){
    if(!error){
        var $= cheerio.load(html);

    var title, release;
    var json = { title : "", release : ""};

    $('.header').filter(() => {
        var data = $(this);
        title = data.children().first().text();            
        release = data.children().last().children().text();

        json.title = title;
        json.release = release;
    })

    // This is not possible
    $( "#target" ).click(function() {
      alert( "Handler for .click() called." );
    });
}

fs.writeFile('output.json', JSON.stringify(json, null, 4), (err) => {
    console.log('File successfully written!);
})

res.send('Check your console!')

    }) ;
})
app.listen('8080');

编辑：这个问题的答案是“使用僵尸”

现在我有另一个与此有关的问题.
我正在尝试学习&使用僵尸.我可以

>连接到网站
>转到必要的表
>打印控制台所有TDS

但是,通过使用这种方法,我只能弄乱字符串. (所有tds都打印时没有任何空格,没有机会清除,基本上我想将所有tds放入数组中.我该怎么做？)

browser.visit(url, () => {
        var result = browser.text('table > tbody.bodyName td');
        console.log(result);
})

解决方法:

我建议您为此尝试使用无头浏览器,例如Phantom.js或Zombie.上面您要尝试的操作是为Cheerio中的元素分配一个点击处理程序,这将无法工作！

您应该能够单击基于Zombie.js中的元素选择器的按钮.

为此,Zombie.js中有一个browser.pressButton命令.

这是一些使用zombie.js的示例代码,在这种情况下,请单击链接.

const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    browser.clickLink("FULL CAST AND CREW").then(() => {
        console.log('Clicked link..');
        browser.dump();
    });
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});

至于问题的下一部分,我们可以使用zombie.js选择元素并获取其文本内容数组：

const Browser = require('zombie');
const url = 'http://www.imdb.com/title/tt1229340/';

let browser = new Browser();
browser.visit(url).then(() => {
    console.log(`Visited ${url}..`);
    var result = browser.queryAll('.cast_list td');
    var cellTextArray = result.map(r => r.textContent.trim())
    .filter(text => text && (text || '').length > 3);

    console.log(cellTextArray);
}).catch(error => {
    console.error(`Error occurred visiting ${url}`);
});

标签：scrape,node-js,bots,javascript
来源： https://codeday.me/bug/20191108/2007557.html