Node.js - El while me bloquea el proceso

 
Vista:
sin imagen de perfil

El while me bloquea el proceso

Publicado por karrax (7 intervenciones) el 04/12/2015 11:23:59
Hola:

Tengo un proceso para conseguir informacion de una web y meterlo en un fichero xml, web scraping e toda la vida.

Pero al hacer el while, al des-comentarlo, me sale un error "fatal error call and retry last allocation failed "

Alguiens abe como podria podria arreglar el cdigo?

Gracias

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
var request = require('request'),
	cheerio = require('cheerio'),
	urls = [];
var fecha1,
	fecha2;
var builder = require('xmlbuilder');
var doc = builder.create('Loteriak');
 
 
var matrzenb  = new Array();
var matregun = new Array();
 
var i = 0;
 
 
fecha1 = "2015-01-01";
fecha2 = "2015-02-01";
 
var urtea1 = parseInt(fecha1.substr(0,4));
var hilea1 = parseInt(fecha1.substr(5,2));
var eguna1 = parseInt(fecha1.substr(8,2));
 
var urtea2 = parseInt(fecha2.substr(0,4));
var hilea2 = parseInt(fecha2.substr(5,2));
var eguna2 = parseInt(fecha2.substr(8,2));
 
fecha1 = new Date(urtea1, (hilea1 - 1) , eguna1);
fecha2 = new Date(urtea2, (hilea2 - 1), eguna2);
 
 
console.log(Date.parse(fecha1));
console.log(Date.parse(fecha2));
 
while( (Date.parse(fecha1)) < (Date.parse(fecha2)) ){
 
request({url: 'http://www.loteriasyapuestas.es/es/buscador?startDate=' + eguna1 + '/' + hilea1 + '/' + urtea1 + '&gameId=09&type=search&endDate=' + eguna2 + '/' + hilea2 + '/' + urtea2, encoding: 'binary'},function(err, resp, body){
 
	//console.log(hilea1);
 
	if(!err && resp.statusCode == 200){
		//console.log(body);
		var $ = cheerio.load(body);
		//console.log($);
 
		//console.log(body);
		$('.nacional .contenidoRegion').each(function(){
			//var numero = element.children.data;
 
 
			//console.log($(this).html());
			var loteriad = $(this).find('.cabeceraRegion .tituloRegion h3').html();
			var data = loteriad.split(" ");
			//console.log(loteriad);
 
			if(hilea1 < (hileConver(parseInt(data[8])))){
 
				hilea1 = hileConver(parseInt(data[8]));
			}
 
 
			eguna1 = parseInt(data[4]);
 
			//console.log(eguna1);
 
			var loteriaz = $(this).find('.cuerpoRegion .cuerpoRegionIzq p .numeroLoteria').html();
			var numero = loteriaz%10;
 
 
			matregun[i] = eguna1;
			matrzenb[i] = numero;
 
			i++;
 
 
			//console.log(doc.toString({ pretty: true }));
 
			//console.log(eguna1);
			//console.log(hilea1);
			//console.log(urtea1);
			//console.log("//////////");
 
			//console.log(numero);
		})
		//console.log(matregun.length);
 
		for (var x = (matregun.length); x>0 ; x--){
			//console.log(x);
 
 
			var egunaux = matregun[x - 1];
			var nume = matrzenb[x - 1];
 
			egunCheck2(egunaux);
 
 
			hileCheck();
 
			var urtxml =doc.ele('Urteak');
			urtxml.att('urtea',parseInt(urtea1));
 
			var hixml = urtxml.ele('Hileak');
			hixml.att('hilea',hilea1);
 
			var eguxml = hixml.ele('Egunak');
			eguxml.att('eguna', egunaux);
			eguxml.txt(nume);
 
			//console.log(egunaux);
			eguna1 = egunaux;
 
 
		}
 
		/*console.log(eguna1);
		console.log(hilea1);
		console.log(urtea1);
		console.log("//////////");
		
		console.log(eguna1);
		console.log(hilea1);
		console.log(urtea1);
		console.log("//////////");*/
		eguna1 = eguna1 + 1;
		egunCheck();
		hileCheck();
		//console.log(fecha1);
		fecha1 = new Date(urtea1, (hilea1 - 1), eguna1);
 
		//console.log(Date.parse(fecha1));
		//console.log(Date.parse(fecha2));
 
		/*console.log(fecha1);
		console.log(fecha2);
		console.log(eguna1);
		console.log(hilea1);
		console.log(urtea1);
		console.log("//////////");*/
 
		//console.log(x);
 
		//console.log(matregun[0]);
		//console.log(matrzenb[0]);
		/*egun1 = eguna1 + 1;
		console.log(egun1);*/
		//console.log(doc.toString({ pretty: true }));
 
		/*if((Date.parse(fecha1)) < (Date.parse(fecha2)) )

			console.log("berrun");
		}*/
		console.log("Urten da");
	}
 
 
	//egunCheck(eguna1);
	//console.log(doc.toString({ pretty: true }));
 
 
})
}
//console.log(doc.toString({ pretty: true }));
 
console.log("Urten da");
 
function hileConver(hi){
 
	var re;
 
		switch(hi){
 
			case "enero":
				re = 1;
				break;
			case "febrero":
				re = 2;
				break;
			case "marzo":
				re = 3;
				break;
			case "abril":
				re = 4;
				break;
			case "mayo":
				re = 5;
				break;
			case "junio":
				re = 6;
				break;
			case "julio":
				re = 7;
				break;
			case "agosto":
				re = 8;
				break;
			case "septiembre":
				re = 9;
				break;
			case "octubre":
				re = 10;
				break;
			case "noviembre":
				re = 11;
				break;
			case "diciembre":
				re = 12;
				break;
 
		}
	return re;
 
}
 
function egunCheck(){
 
	switch(hilea1){
 
 
		case 1:
		case 3:
		case 5:
		case 7:
		case 8:
		case 10:
		case 12:
			if(eguna1 > 31){
				console.log("sartu");
 
				hilea1 = hilea1 + 1;
				eguna1 = 1;
				console.log("***");
				console.log(eguna1);
				console.log(hilea1);
				console.log("***");
			}
		case 2:
			if(eguna1 > 28){
 
				hilea1 = hilea1 + 1;
				eguna1 = 1;
			}
		case 4:
		case 6:
		case 9:
		case 11:
			if(eguna1 > 30){
 
				hilea1 = hilea1 + 1;
				eguna1 = 1;
			}
 
 
	}
}
 
function egunCheck2(egu){
 
	if(eguna1>egu){
 
		hilea1 = hilea1 + 1;
	}
}
function hileCheck(){
 
	if(hilea1>13){
 
		urtea1 = urtea1 + 1;
		hilea1 = 1;
	}
}
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder
Imágen de perfil de Jordi

El while me bloquea el proceso

Publicado por Jordi (2 intervenciones) el 05/12/2015 14:58:01
Personalmente no soy muy partidario del uso de los bucles while si puede evitarse, porque a la mínima que pase algo se queda la ejecución atrapada hasta el fin de los días en él.

Veo que estableces como condición de salida del while que fecha2 > fecha1 y que usas fecha1 = new Date(urtea1, (hilea1 - 1), eguna1);
¿Esa fecha1 en algún momento pasa a ser igual o superior a fecha2?

De todas formas, trabajando con fechas, te recomiendo el uso de la librería Moment.js: http://momentjs.com/
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
1
Comentar
sin imagen de perfil

El while me bloquea el proceso

Publicado por karrax (7 intervenciones) el 05/12/2015 16:31:04
si en efecto al final de la extraccion de la informacion, en este ejemplo.

Si no eres partidario de los while, que alternativa utilizarias? un for podria funcionar? que cuando sea mas grande se cambien el valor que haga que el for termine, por ejemplo por dar una idea.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de Jordi

El while me bloquea el proceso

Publicado por Jordi (2 intervenciones) el 05/12/2015 16:59:34
Ya veo el verdadero problema: estás haciendo infinitas request sin darte cuenta. Recuerda que javascript es asíncrono por naturaleza. Es decir, a javascript se le dice que ejecute una tarea y ya cuando eventualmente termine, ejecute una función de de callback.

En este caso, estás haciendo un bucle while que dice lo siguiente: "hazme un request a esta url y ya cuando te llegue la respuesta me haces lo siguiente. Mientras, haz otra iteración del bucle, en el que todavía no se han actualizado los valores. Y así hasta el infinito".

¿Solución? La más sencilla, yo te recomendaría utilizar jquery (https://www.npmjs.com/package/jQuery). Tiene una opción para mandar peticiones ajax de manera síncrona. Es decir, de hacer peticiones como la que estás haciendo y que la ejecución no siga hasta no recibir respuesta, de la siguiente forma:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// Código anterior al bucle aquí.
var $ = require('jquery');
while (fecha1 < fecha2) {
     var respuesta;
     $.ajax({
           url: 'miUrl',    // Aquí la URL que estabas utilizando
           method: 'get',
           async: false,
           success: function (data) {
                 respuesta = data;
    });
    // Aquí todo el proceso que hacías hasta ahora por iteración.
    // La variable "respuesta" contiene la respuesta a la petición.
}
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

El while me bloquea el proceso

Publicado por karrax (7 intervenciones) el 05/12/2015 18:30:47
Me dice que ajax no esta definido como funcion. He instalado el jQuery en el NodeJS.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de Jordi

El while me bloquea el proceso

Publicado por Jordi (4 intervenciones) el 05/12/2015 18:37:48
Puedes probar con esta otra construcción:

1
2
3
$.get( "miUrl", function( data ) {
  respuesta = data;
});
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

El while me bloquea el proceso

Publicado por karrax (7 intervenciones) el 05/12/2015 21:02:38
lo mismo pasa. en este caso que get no es una funcion. porque puede ser?

1
2
3
4
5
6
7
8
9
10
11
12
13
var $ = require('jQuery');
 
 
    var respuesta;
    var url = 'http://www.loteriasyapuestas.es/es/buscador?startDate=01/01/2015&gameId=09&type=search&endDate=01/02/2015';
 
    $.get( url, function( data ) {
 
  		respuesta = data;
 
    });
 
     console.log(respuesta);
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de Jordi

El while me bloquea el proceso

Publicado por Jordi (4 intervenciones) el 05/12/2015 21:27:44
¿Hiciste npm install jquery o jQuery? Debería ser con mayúscula. Aunque veo que está bien el import, asegúrate, porque son dos paquetes distintos.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
1
Comentar
sin imagen de perfil

El while me bloquea el proceso

Publicado por karrax (7 intervenciones) el 05/12/2015 22:19:46
Vale hay estaba uno de los errores.

Pero el mar de errores kontinua, ahora da problemas con el jsdom, que ya lo he instalado pero me dice que createWindow() no esta o tiene problemas.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de Jordi

El while me bloquea el proceso

Publicado por Jordi (4 intervenciones) el 08/12/2015 09:33:48
Si posteas el trozo de código que te da error y qué error te da, quizás podamos echarle un vistazo.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

El while me bloquea el proceso

Publicado por karrax (7 intervenciones) el 08/12/2015 22:13:41
232e

Aqui os dejo el error y aqui el codigo:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
var $ = require('jQuery');
 
 
     var respuesta;
 
     $.ajax({
 
           url: 'http://www.loteriasyapuestas.es/es/buscador?startDate=01/01/2015&gameId=09&type=search&endDate=01/02/2015',    // Aquí la URL que estabas utilizando
 
           method: 'get',
 
           async: false,
 
           success: function (data) {
 
                 respuesta = data;
            }
    });
 
     console.log(respuesta);
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar