Web Scrapping a LAE

Programas, sistemas, condiciones, filtros...
Responder
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Web Scrapping a LAE

Mensaje por combuilder »

Hola.
Queria ayuda de los máquinas informaticos del foro.

Alguien me podría decir cuales son las rutas-URL a LAE para capturar los datos en texto?
Cómo cambia de un día a otro dicha ruta? Es siempre la misma ruta, o cambia? Que patron tiene?

Se actualizan en tiempo real, etc, etc ? (eso quisiera PacoHH!!)

Lo que estoy tratando es averiguar son las URL, del resto de cosas a hacer con esos datos no tengo problema.

Un saludo.
Avatar de Usuario
donmar
15
15
Mensajes: 23200
Registrado: Sab 25 Ago, 2007 8:16 pm
Ubicación: Coño en Logroño
Contactar:

Re: Web Scrapping a LAE

Mensaje por donmar »

Solo los ponen por las mañanas y no todos los días, a veces no tienen ganas y nos quedamos sin ellos :cabezazos:

Cambian cada jornada el número y cada día ponen la primera letra de cuando son los porcentajes, así hoy Viernes estan aquí:

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_J.txt
Los que pusieron el Jueves:

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_X.txt
Los que pusieron el Miércoles:

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_M.txt
Los que pusieron el Martes:

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_L.txt
Bueno, pues aún asi hay dias que también cambian esa dirección y no queda otra que ir a la web a buscarlos porque han cambiado un guión o cualquier cosa y no se llega con esos patrones :-(

:saludo: [/b][/size][/color]
La experiencia no es lo que le pasa a un hombre, es lo que un hombre hace con lo que le pasa.
Imagen
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Ni que decir tiene que el icono que has puesto es el que debo ponerte!

gracias por la info!
Avatar de Usuario
donmar
15
15
Mensajes: 23200
Registrado: Sab 25 Ago, 2007 8:16 pm
Ubicación: Coño en Logroño
Contactar:

Re: Web Scrapping a LAE

Mensaje por donmar »

Mañana por la mañana, "en teoría" tendrán que estar en esta dirección:

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_V.txt
:saludo:[/b][/size][/color]
La experiencia no es lo que le pasa a un hombre, es lo que un hombre hace con lo que le pasa.
Imagen
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Mil gracias por la info.
tengo pendiente escribir en mi blog un artículo sobre "transparencia" de datos por parte de las administraciones! Hablaré de la LAE por su ... escasez!!
Avatar de Usuario
PacoHH
15
15
Mensajes: 21149
Registrado: Lun 20 Oct, 2003 8:03 pm
Ubicación: Almería
Contactar:

Re: Web Scrapping a LAE

Mensaje por PacoHH »

Yo los capturo así, no hay más remedio que ir cambiando cada día la dirección de descarga.

Con los PDF se pueden copiar y pegar en un TXT para que luego los lea Excel, es lo que hago habitualmente.

Pero a veces se les olvida el PDF y solo lo ponen en TXT, para capturar los TXT directamente a Excel lo tengo hecho en este Excel actualizado con los datos de hoy viernes.

http://ge.tt/2vYMjhd1/v/0?c

Pero es un poco rollo porque todos los días hay que "cambiar consulta"

Imagen
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Gracias Paco por tu aportación.

Estoy recopilando toda la información para poder ejectuar mi propio mecanismo para sacar estos datos.

Ya tengo acceso "rapido" a Escrutinios, Resultados de partidos, e incluso BetFair, donde me planteo incluso hacer algo más "espectacular", tipo ... alarma para cuando las cuotas de un partido lleguen a unos niveles, etc, etc ...

Y me faltaba por completar el acceso a los datos de la LAE.

Ya pondré mi solución! Y gracias por las pistas!
Avatar de Usuario
cagaSIGNOS
11
11
Mensajes: 342
Registrado: Sab 12 Oct, 2013 12:49 pm

Re: Web Scrapping a LAE

Mensaje por cagaSIGNOS »

aquí te puede ayudar a recompilar la información :ok: :ok: :ok:

http://www.foro1x2.com/viewtopic.php?p=1528203#p1528203
raro, raro, raro de emprender un FORO mudo, jejejeje
que solo hablan los SIGNOS
http://rodrigaitor1x2.foroactivo.com/
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

cagaSIGNOS escribió:aquí te puede ayudar a recompilar la información :ok: :ok: :ok:

http://www.foro1x2.com/viewtopic.php?p=1528203#p1528203
Gracias por la info. La verdad es que a veces consulto ese tema, pero mi interes prioritario es tomar la info como TXT para poder introducirla en mi base de datos.

Creo que con las respuestas de los compañeros tengo suficiente para hacer algo .... curioso, a la hora de recuperar los %
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Pues ... gracias a las listas de Python, ya tengo medio preparado el script para la descarga de los datos de LAE, y los hace con éxito.

Básicamente, me genero una serie de cadenas con todas las posibles URLs. Cuando no me da error 404 ... ya los tengo!

La siguiente pregunta, para PacoHH, es cómo transformas esos % que están en enteros, a con decimales. Aplicas alguna corrección?

PD: Prometo publicar el script en mi blog!
Avatar de Usuario
PacoHH
15
15
Mensajes: 21149
Registrado: Lun 20 Oct, 2003 8:03 pm
Ubicación: Almería
Contactar:

Re: Web Scrapping a LAE

Mensaje por PacoHH »

Yo pongo con decimales las estimaciones que hago antes del domingo (LAE finales del sábado) pero lo que archivo como definitivo es lo que publica el LAE sin decimales, no hay manera de calcular mejoras con decimales.
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Puedes explicar como hacer esas estimaciones? Para completar el proceso
Avatar de Usuario
PacoHH
15
15
Mensajes: 21149
Registrado: Lun 20 Oct, 2003 8:03 pm
Ubicación: Almería
Contactar:

Re: Web Scrapping a LAE

Mensaje por PacoHH »

La explicación sí, el excel no, es de lo poco que no paso a nadie.

Se hace una estadística de los porcentajes del viernes y de los finales del sábado y se agrupan por porcentajes de manera que todos los mismos porcentajes del viernes estén agrupados con su respectivo porcentaje del sábado, la media de los del sábado es lo más probable de cada porcentaje del viernes.

Se necesitan bastantes cientos de porcentajes, eso sí que lo pongo aquí en Excel para el que quiera "trabajar", son 1485 partidos y hay 2 tablas la del Jueves-Sábado y la del Viernes-Sábado

http://ge.tt/9KaoJbf1/v/0?c
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Refloto el hilo, porque lo que funcionaba la temporada pasada, parece que ésta ya no lo hace.

Se conoce ya el patrón de URL para poder descargarse los datos de LAE?
Avatar de Usuario
InKognito
14
14
Mensajes: 6014
Registrado: Mié 07 Oct, 2009 3:33 am

Re: Web Scrapping a LAE

Mensaje por InKognito »

Hola combuilder,

parece que el vinculo mantiene la misma raíz (de la carpeta contenedora...), lo que se cambie seria :

* el número de la jornada pasará de 2 a 3 dígitos
* las letras del día pasaran de una a dos (Ma, Mi, Ju, blablabla...)

de esta manera los del Jueves que antes aparecerían por este vínculo :

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_01_J.txt
pasaran a saltar por el nuevo formato :

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_001_Ju.txt
Avatar de Usuario
InKognito
14
14
Mensajes: 6014
Registrado: Mié 07 Oct, 2009 3:33 am

Re: Web Scrapping a LAE

Mensaje por InKognito »

...Y gracias por reflotar el hilo, no consegui antes ver una frase de lo que ponía Paco, y que me parece muy interesante :
PacoHH escribió:(...)todos los mismos porcentajes del viernes se van agrupando con su respectivos porcentajes del sábado, la media de los del sábado es lo más probable de cada porcentaje del viernes (...)
Gracias Paco también !!! Imagen
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

InKognito:
Gracias por darme las pistas!

Con unos mínimos cambios en mi software (donde antes ponia X que ponga Mi y poco más, lo tengo solventado!), lo tengo apañao!!

Lo probaré para la siguiente jornada!
Avatar de Usuario
donmar
15
15
Mensajes: 23200
Registrado: Sab 25 Ago, 2007 8:16 pm
Ubicación: Coño en Logroño
Contactar:

Re: Web Scrapping a LAE

Mensaje por donmar »

Me da que no es tan sencillo, para capturar los del Martes creo que fué ( no lo recuerdo), cambie de la dirección la "L" por la "M" y no funciono, creo que las direcciones las pone más de una persona y algunas veces no llevan el mismo patrón.

Espero equivocarme, pero con estos nunca se sabe :crash:

:saludo:
La experiencia no es lo que le pasa a un hombre, es lo que un hombre hace con lo que le pasa.
Imagen
Avatar de Usuario
donmar
15
15
Mensajes: 23200
Registrado: Sab 25 Ago, 2007 8:16 pm
Ubicación: Coño en Logroño
Contactar:

Re: Web Scrapping a LAE

Mensaje por donmar »

Mira, lo que os decia ayer, en esta dirección estan hoy los porcentajes en txt :cabezazos:

Código: Seleccionar todo

http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_001_14-15V.txt
Como veis, hoy le han añadido el 14-15 que ayer no llevaba

:saludo:[/b][/size][/color]
La experiencia no es lo que le pasa a un hombre, es lo que un hombre hace con lo que le pasa.
Imagen
combuilder
11
11
Mensajes: 916
Registrado: Mié 15 Nov, 2006 11:01 am

Re: Web Scrapping a LAE

Mensaje por combuilder »

Pues si que estan "graciosillos".
Sabeis si hay algún buzón de sugerencias o de quejas para protestar por esto?

Es que me parece bastante vergonzoso que anden cambiando la URL de un dia para otro .... ¿donde está la transparencia?

Luego, que no se quejen si bajan la recaudación, si la gente esta cabreada, ....
Responder