Web Scrapping a LAE
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Web Scrapping a LAE
Hola.
Queria ayuda de los máquinas informaticos del foro.
Alguien me podría decir cuales son las rutas-URL a LAE para capturar los datos en texto?
Cómo cambia de un día a otro dicha ruta? Es siempre la misma ruta, o cambia? Que patron tiene?
Se actualizan en tiempo real, etc, etc ? (eso quisiera PacoHH!!)
Lo que estoy tratando es averiguar son las URL, del resto de cosas a hacer con esos datos no tengo problema.
Un saludo.
Queria ayuda de los máquinas informaticos del foro.
Alguien me podría decir cuales son las rutas-URL a LAE para capturar los datos en texto?
Cómo cambia de un día a otro dicha ruta? Es siempre la misma ruta, o cambia? Que patron tiene?
Se actualizan en tiempo real, etc, etc ? (eso quisiera PacoHH!!)
Lo que estoy tratando es averiguar son las URL, del resto de cosas a hacer con esos datos no tengo problema.
Un saludo.
- donmar
- 15
- Mensajes: 23200
- Registrado: Sab 25 Ago, 2007 8:16 pm
- Ubicación: Coño en Logroño
- Contactar:
Re: Web Scrapping a LAE
Solo los ponen por las mañanas y no todos los días, a veces no tienen ganas y nos quedamos sin ellos
Cambian cada jornada el número y cada día ponen la primera letra de cuando son los porcentajes, así hoy Viernes estan aquí:
Los que pusieron el Jueves:
Los que pusieron el Miércoles:
Los que pusieron el Martes:
Bueno, pues aún asi hay dias que también cambian esa dirección y no queda otra que ir a la web a buscarlos porque han cambiado un guión o cualquier cosa y no se llega con esos patrones :-(
[/b][/size][/color]
Cambian cada jornada el número y cada día ponen la primera letra de cuando son los porcentajes, así hoy Viernes estan aquí:
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_J.txt
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_X.txt
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_M.txt
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_L.txt
[/b][/size][/color]
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Ni que decir tiene que el icono que has puesto es el que debo ponerte!
gracias por la info!
gracias por la info!
- donmar
- 15
- Mensajes: 23200
- Registrado: Sab 25 Ago, 2007 8:16 pm
- Ubicación: Coño en Logroño
- Contactar:
Re: Web Scrapping a LAE
Mañana por la mañana, "en teoría" tendrán que estar en esta dirección:
[/b][/size][/color]
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_48_V.txt
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Mil gracias por la info.
tengo pendiente escribir en mi blog un artículo sobre "transparencia" de datos por parte de las administraciones! Hablaré de la LAE por su ... escasez!!
tengo pendiente escribir en mi blog un artículo sobre "transparencia" de datos por parte de las administraciones! Hablaré de la LAE por su ... escasez!!
Re: Web Scrapping a LAE
Yo los capturo así, no hay más remedio que ir cambiando cada día la dirección de descarga.
Con los PDF se pueden copiar y pegar en un TXT para que luego los lea Excel, es lo que hago habitualmente.
Pero a veces se les olvida el PDF y solo lo ponen en TXT, para capturar los TXT directamente a Excel lo tengo hecho en este Excel actualizado con los datos de hoy viernes.
http://ge.tt/2vYMjhd1/v/0?c
Pero es un poco rollo porque todos los días hay que "cambiar consulta"
Con los PDF se pueden copiar y pegar en un TXT para que luego los lea Excel, es lo que hago habitualmente.
Pero a veces se les olvida el PDF y solo lo ponen en TXT, para capturar los TXT directamente a Excel lo tengo hecho en este Excel actualizado con los datos de hoy viernes.
http://ge.tt/2vYMjhd1/v/0?c
Pero es un poco rollo porque todos los días hay que "cambiar consulta"
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Gracias Paco por tu aportación.
Estoy recopilando toda la información para poder ejectuar mi propio mecanismo para sacar estos datos.
Ya tengo acceso "rapido" a Escrutinios, Resultados de partidos, e incluso BetFair, donde me planteo incluso hacer algo más "espectacular", tipo ... alarma para cuando las cuotas de un partido lleguen a unos niveles, etc, etc ...
Y me faltaba por completar el acceso a los datos de la LAE.
Ya pondré mi solución! Y gracias por las pistas!
Estoy recopilando toda la información para poder ejectuar mi propio mecanismo para sacar estos datos.
Ya tengo acceso "rapido" a Escrutinios, Resultados de partidos, e incluso BetFair, donde me planteo incluso hacer algo más "espectacular", tipo ... alarma para cuando las cuotas de un partido lleguen a unos niveles, etc, etc ...
Y me faltaba por completar el acceso a los datos de la LAE.
Ya pondré mi solución! Y gracias por las pistas!
- cagaSIGNOS
- 11
- Mensajes: 342
- Registrado: Sab 12 Oct, 2013 12:49 pm
Re: Web Scrapping a LAE
aquí te puede ayudar a recompilar la información
http://www.foro1x2.com/viewtopic.php?p=1528203#p1528203
http://www.foro1x2.com/viewtopic.php?p=1528203#p1528203
raro, raro, raro de emprender un FORO mudo, jejejeje
que solo hablan los SIGNOS
http://rodrigaitor1x2.foroactivo.com/
que solo hablan los SIGNOS
http://rodrigaitor1x2.foroactivo.com/
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Gracias por la info. La verdad es que a veces consulto ese tema, pero mi interes prioritario es tomar la info como TXT para poder introducirla en mi base de datos.cagaSIGNOS escribió:aquí te puede ayudar a recompilar la información
http://www.foro1x2.com/viewtopic.php?p=1528203#p1528203
Creo que con las respuestas de los compañeros tengo suficiente para hacer algo .... curioso, a la hora de recuperar los %
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Pues ... gracias a las listas de Python, ya tengo medio preparado el script para la descarga de los datos de LAE, y los hace con éxito.
Básicamente, me genero una serie de cadenas con todas las posibles URLs. Cuando no me da error 404 ... ya los tengo!
La siguiente pregunta, para PacoHH, es cómo transformas esos % que están en enteros, a con decimales. Aplicas alguna corrección?
PD: Prometo publicar el script en mi blog!
Básicamente, me genero una serie de cadenas con todas las posibles URLs. Cuando no me da error 404 ... ya los tengo!
La siguiente pregunta, para PacoHH, es cómo transformas esos % que están en enteros, a con decimales. Aplicas alguna corrección?
PD: Prometo publicar el script en mi blog!
Re: Web Scrapping a LAE
Yo pongo con decimales las estimaciones que hago antes del domingo (LAE finales del sábado) pero lo que archivo como definitivo es lo que publica el LAE sin decimales, no hay manera de calcular mejoras con decimales.
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Puedes explicar como hacer esas estimaciones? Para completar el proceso
Re: Web Scrapping a LAE
La explicación sí, el excel no, es de lo poco que no paso a nadie.
Se hace una estadística de los porcentajes del viernes y de los finales del sábado y se agrupan por porcentajes de manera que todos los mismos porcentajes del viernes estén agrupados con su respectivo porcentaje del sábado, la media de los del sábado es lo más probable de cada porcentaje del viernes.
Se necesitan bastantes cientos de porcentajes, eso sí que lo pongo aquí en Excel para el que quiera "trabajar", son 1485 partidos y hay 2 tablas la del Jueves-Sábado y la del Viernes-Sábado
http://ge.tt/9KaoJbf1/v/0?c
Se hace una estadística de los porcentajes del viernes y de los finales del sábado y se agrupan por porcentajes de manera que todos los mismos porcentajes del viernes estén agrupados con su respectivo porcentaje del sábado, la media de los del sábado es lo más probable de cada porcentaje del viernes.
Se necesitan bastantes cientos de porcentajes, eso sí que lo pongo aquí en Excel para el que quiera "trabajar", son 1485 partidos y hay 2 tablas la del Jueves-Sábado y la del Viernes-Sábado
http://ge.tt/9KaoJbf1/v/0?c
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Refloto el hilo, porque lo que funcionaba la temporada pasada, parece que ésta ya no lo hace.
Se conoce ya el patrón de URL para poder descargarse los datos de LAE?
Se conoce ya el patrón de URL para poder descargarse los datos de LAE?
Re: Web Scrapping a LAE
Hola combuilder,
parece que el vinculo mantiene la misma raíz (de la carpeta contenedora...), lo que se cambie seria :
* el número de la jornada pasará de 2 a 3 dígitos
* las letras del día pasaran de una a dos (Ma, Mi, Ju, blablabla...)
de esta manera los del Jueves que antes aparecerían por este vínculo :
pasaran a saltar por el nuevo formato :
parece que el vinculo mantiene la misma raíz (de la carpeta contenedora...), lo que se cambie seria :
* el número de la jornada pasará de 2 a 3 dígitos
* las letras del día pasaran de una a dos (Ma, Mi, Ju, blablabla...)
de esta manera los del Jueves que antes aparecerían por este vínculo :
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_01_J.txt
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_001_Ju.txt
Re: Web Scrapping a LAE
...Y gracias por reflotar el hilo, no consegui antes ver una frase de lo que ponía Paco, y que me parece muy interesante :
Gracias Paco también !!!PacoHH escribió:(...)todos los mismos porcentajes del viernes se van agrupando con su respectivos porcentajes del sábado, la media de los del sábado es lo más probable de cada porcentaje del viernes (...)
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
InKognito:
Gracias por darme las pistas!
Con unos mínimos cambios en mi software (donde antes ponia X que ponga Mi y poco más, lo tengo solventado!), lo tengo apañao!!
Lo probaré para la siguiente jornada!
Gracias por darme las pistas!
Con unos mínimos cambios en mi software (donde antes ponia X que ponga Mi y poco más, lo tengo solventado!), lo tengo apañao!!
Lo probaré para la siguiente jornada!
- donmar
- 15
- Mensajes: 23200
- Registrado: Sab 25 Ago, 2007 8:16 pm
- Ubicación: Coño en Logroño
- Contactar:
Re: Web Scrapping a LAE
Me da que no es tan sencillo, para capturar los del Martes creo que fué ( no lo recuerdo), cambie de la dirección la "L" por la "M" y no funciono, creo que las direcciones las pone más de una persona y algunas veces no llevan el mismo patrón.
Espero equivocarme, pero con estos nunca se sabe :crash:
Espero equivocarme, pero con estos nunca se sabe :crash:
- donmar
- 15
- Mensajes: 23200
- Registrado: Sab 25 Ago, 2007 8:16 pm
- Ubicación: Coño en Logroño
- Contactar:
Re: Web Scrapping a LAE
Mira, lo que os decia ayer, en esta dirección estan hoy los porcentajes en txt
Como veis, hoy le han añadido el 14-15 que ayer no llevaba
[/b][/size][/color]
Código: Seleccionar todo
http://https://juegos.loteriasyapuestas.es/jugar/registro/verificacion/10825/f/loterias/documentos/Quiniela/Estadísticas%20de%20pronósticos/pronos_1X2_001_14-15V.txt
[/b][/size][/color]
-
- 11
- Mensajes: 916
- Registrado: Mié 15 Nov, 2006 11:01 am
Re: Web Scrapping a LAE
Pues si que estan "graciosillos".
Sabeis si hay algún buzón de sugerencias o de quejas para protestar por esto?
Es que me parece bastante vergonzoso que anden cambiando la URL de un dia para otro .... ¿donde está la transparencia?
Luego, que no se quejen si bajan la recaudación, si la gente esta cabreada, ....
Sabeis si hay algún buzón de sugerencias o de quejas para protestar por esto?
Es que me parece bastante vergonzoso que anden cambiando la URL de un dia para otro .... ¿donde está la transparencia?
Luego, que no se quejen si bajan la recaudación, si la gente esta cabreada, ....