-
Notifications
You must be signed in to change notification settings - Fork 0
/
a.js
111 lines (104 loc) · 3.38 KB
/
a.js
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
// 大众点评
// var bcrypt = require('bcrypt-nodejs')
// console.log(bcrypt.compareSync('ogilvy2013', '$2a$10$6wrbEixEslEFsVpSTThhZuYieS.Pn5BrThIp8XAAmEbqV99xu4z/W'))
var Nightmare = require('nightmare')
var fs = require('fs');
// var path = require('path');
var _ = require('lodash')
var nightmare = Nightmare({
show: true,
// gotoTimeout: 5000,
// waitTimeout: 5000,
loadTimeout: 5000,
// executionTimeout: 5000,
})
var data = []
var next = function(url, page, nx, dt) {
nightmare
.goto(`${url}p${page}/`)
.evaluate(function(d) {
var ddd = [];
// var a = document.createElement('script')
// a.src = 'https://lodash.com/vendor/cdn.jsdelivr.net/lodash/4.17.4/lodash.min.js'
// document.querySelector('body').appendChild(a)
[].map.call(document.querySelectorAll('#shop-all-list li'), function(li) {
ddd.push({
title: li.querySelector('.txt .tit a').title,
commentNo: li.querySelector('.txt .comment .review-num b').innerText,
})
})
// return d;
if (document.querySelector('a.next')) {
return {
canNext: true,
data: ddd
};
} else {
return {
canNext: false,
data: ddd
};
}
// document.querySelectorAll('#shop-all-list li').map(function() {
// console.log('>>>');
// });
// console.log(document.querySelectorAll('#shop-all-list li'));
// _.map(document.querySelectorAll('#shop-all-list li'), function(i, j) {
// console.log('>>>', i, j);
// })
}, dt)
.then(function(next) {
if (!next.canNext) {
console.log(next.data);
console.log('END');
} else {
console.log(next.data);
fs.appendFile(__dirname + '/test.txt', JSON.stringify(next.data), function () {
console.log('追加内容完成');
});
nx(url, page + 1, nx, next.data);
}
})
}
next('http://www.dianping.com/search/keyword/2/0_%E8%8C%B6%E5%8F%B6/p', 1, next, data);
//
// var result = nightmare
// // .goto('http://www.dianping.com/search/keyword/2/0_%E8%8C%B6%E5%8F%B6/p1')
// .on('cursor-changed', function() {
// console.log('>>>>');
// })
// .goto('http://www.dianping.com/search/category/2/0')
// .type('#G_s', '茶叶')
// .click('#G_s-btn')
// // .evaluate(function() {
// // var a = document.createElement("script");
// // // a.src="https://lodash.com/vendor/cdn.jsdelivr.net/lodash/4.17.4/lodash.min.js";
// // // document.querySelector("body").appendChild(a)
// // // xx.map(document.querySelectorAll('#shop-all-list li'), function(i, j) {
// // // console.log('>>>', i, j);
// // // })
// // })
// // .evaluate(function() {
// // return {
// // title: document.querySelectorAll('#shop-all-list li')[0].querySelector('.txt .tit a').title,
// // commentNo: document.querySelectorAll('#shop-all-list li')[0].querySelector('.txt .comment .review-num b').title
// // }
// // })
// // .end()
// .then(function (result) {
//
// })
// console.log(result)
// .type('#search_form_input_homepage', 'github nightmare')
// .click('#search_button_homepage')
// .wait('#zero_click_wrapper .c-info__title a')
// .evaluate(function () {
// return document.querySelector('#zero_click_wrapper .c-info__title a').href
// })
// .end()
// .then(function (result) {
// console.log(result)
// })
// .catch(function (error) {
// console.error('Search failed:', error)
// })