ProAuti:Reducciones usando Clustering y Diagramas de Voronoi

Algoritmos, fórmulas, estadísticas...
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

ProAuti:Reducciones usando Clustering y Diagramas de Voronoi

Mensaje por cositomayor »

Amigos todos:

Hace meses que trabajo en un metodo de reduccion diferente de tal forma que las reductoras geometricamente se esparzan y que de algun modo ocupen el espacio lo mas eficientemente posible.

Lo que me imagine es que mediante un algoritmo matematico cada columna reductora trate de reducir un numero relativamente constante de columnas base.

Estuve trabajando con Algoritmos geneticos, recocido simulado , busqueda taboo y algunos otros que comentare mas delante, sin conseguir nada relevante. Para esto desarrolle un metodo de comparacion y medicion del desempeño de una reduccion utilizando Diagramas de Voronoi para comparar juegfos de reductoras partiendo de un mismo conjunto de columnsa base.

Hace aproximadamente 2 meses me encontre con el algoritmo conocido como K MEDIAS y despues de elucubrar algun rato, logre aplicarlo al universo de las quinielas.

Pues bien aqui les dejo mi primer archivo con el algoritmo de Clustering.

Les dejo un video demostrativo de Proauti

http://www.youtube.com/watch?v=2z7npjaYBxY

Tambien les dejo una liga de una presentacion de Power Point sobre como funciona

http://www.slideshare.net/cositomayor/r ... de-voronoi

Y por ultimo aqui esta Proauti.

http://ifile.it/bmc1hk4

Por favor usenlo y pruebenlo y comentamos mas sobre como funciona, futuras mejoras y aplicaciones.

Exito

CM
Avatar de Usuario
jce2
12
12
Mensajes: 2419
Registrado: Mar 28 Jun, 2005 8:09 pm
Contactar:

Mensaje por jce2 »

Muchisimas gracias, por el programa, y el video.

He estado intentando cazar la idea, pero no acabo de comprender el significado del concepto PUNTOS.

¿A que se refiere este aspecto?
Imagen[align=center]Rentabilidad desde 2010/11: Ideales 197,2% - Peña 105.3%[/align]
Juan15
15
15
Mensajes: 16313
Registrado: Mar 17 Mar, 2009 6:52 pm

Mensaje por Juan15 »

¿ Podrías subir el volumen del video ?

Se oye muy bajo

Imagen
BEPAI
10
10
Mensajes: 173
Registrado: Lun 01 Ene, 2007 5:17 pm
Ubicación: SALAMANCA

Mensaje por BEPAI »

cositomayor escribió:Estuve trabajando con Algoritmos geneticos, recocido simulado , busqueda taboo y algunos otros que comentare mas delante, sin conseguir nada relevante.
........es una pena, porque aparte de llevar tiempo con ello, te lo has currao de lo lindo.

El programa aquel que tardaba 22 días en procesarse, tampoco funciona???

En cuanto a lo que has puesto sobre el tema de diagramas etc,.......no te puedo ayudar, pues no entiendo de nada de lo que has puesto. Lo siento.

A lo mejor si fueras capaz de bajar el nivel, alguna idea te podría dar.


s2.
[b]Nada, que no se puede con esto de los juegos
..................................................................[/b]
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

Mensaje por cositomayor »

Amigos todos:

Puntos significa columnas base o iniciales o cuantas columnas tienes para reducir y cluster significa cuantas reductoras quieres.

El algoritmo Proauti funciona de la siguiente manera:

Imagina que tienes las siguientes 2 columnas y la quieres reducir al 12

11111111111111
XXXXX111111111

Generalmente los algoritmos de reduccion toman una columna y eliminan todas aquellas que esten a distancia 5 (Reduccion al12) o menos y la eliminan del conjunto y decimos que esta columna Reuduce a a las que se eliminaron

Usando un reductor cualquiera la reducion al 12 , entonces tendremos

11111111111111 como la reduccion final

Proauti usa un algoritmo de tal forma que escoge, una columna intermedia entre las columnas base y te podria dar como resultado la columna siguiente

X1X1X111111111

Como ves esta columna reduce ambas al 13 y no al 12, es decir que si escogemos bien la columna reductora AUN QUE NO ESTE EN EL CONJUNTO DE LAS COLUMNAS INCIALES, la reduccion es mas eficiente.

Proauti hace lo anterior y solo le alimentas las columnas que quieres reducir (Puntos), cuantas columnas reductoras quieres (Clusters) y cuantos ciclos quieres que corra (yo uso 1000, es al gusto de la persona)

Y con respeco a cuanto tarda en correr, dependiendo de cuantas columnas quieras reducir y cuantas reductoras quieras y por supuesto el numero de ciclos, (10000, 20, 1000) tarda de 2 a 4 horas dependiendo de la computadora (Los primeros prototipos tardaban varios dias, este algoritmo es mucho mas eficiente)

Espero haberlo explicado un poco mejor

Exito

CM
Avatar de Usuario
jce2
12
12
Mensajes: 2419
Registrado: Mar 28 Jun, 2005 8:09 pm
Contactar:

Mensaje por jce2 »

Gracias cositomayor

Creo que lo voy pillando, un par de cuestiones más: en primer lugar cuando te refieres a que haciendo distancia 5 reduces al 12, entiendo que estás pensando en una reducción perfecta, porque en el ejemplo que pones son necesarias las dos columnas iniciales para reducir 100% al 12.

Por otro lado repitiendo el proceso conproauti varias veces se obtienen columnas muy diferentes entre sí. ¿Son todas las solcuiones equivalentes o quizás los dos valores que aparecen a la derecha de las columnas obtenidas nos dan una idea de la bondad de la reducción obtenida?

Muchas gracias de nuevo.
Imagen[align=center]Rentabilidad desde 2010/11: Ideales 197,2% - Peña 105.3%[/align]
BEPAI
10
10
Mensajes: 173
Registrado: Lun 01 Ene, 2007 5:17 pm
Ubicación: SALAMANCA

Mensaje por BEPAI »

cositomayor,
y con qué programa haces eso?????

s2.
[b]Nada, que no se puede con esto de los juegos
..................................................................[/b]
Avatar de Usuario
Magnifico
11
11
Mensajes: 842
Registrado: Vie 12 Ago, 2005 12:37 am
Ubicación: Estados Unidos
Contactar:

Mensaje por Magnifico »

Hola Cositomayor,

Muchas gracias por compartir tu nuevo reductor ProAuti,

Cuando mencionas que cada persona puede elegir los ciclos, quiere decir que no importa el numero de ciclos? Lo que sucede es que en otros reductores a mayor numero de ciclos mejor es la reduccion.

Porque aparecen columnas diferentes en cada solucion, y que significa el numero en cada columna?

Cuando la solucion es diferente en ocasiones reduce al 13, en otras al 12 o al 11, 10. Porque la diferencia? Como saber cual es la solucion optima si existen varias?

Me parece un reductor diferente y muy interesante.


Saludos


Editado: Los cluster vienen siendo los centroides y el numero que aparece al lado de cada centroide serian las columnas (puntos) cercanas a cada cluster?
El pensamiento ordena el caos..
http://1x2quinielas.blogspot.com
BEPAI
10
10
Mensajes: 173
Registrado: Lun 01 Ene, 2007 5:17 pm
Ubicación: SALAMANCA

Mensaje por BEPAI »

cositomayor,

¿que hayas la distancia media entre columnas?

otra pregunta:¿qué es capaz de hacer el programa del que hablas, con 3000 a 6000 columnas, en una temporada, ya venga fácil ó difícil?

s2.
[b]Nada, que no se puede con esto de los juegos
..................................................................[/b]
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

Mensaje por cositomayor »

Magnifico escribió: Cuando mencionas que cada persona puede elegir los ciclos, quiere decir que no importa el numero de ciclos? Lo que sucede es que en otros reductores a mayor numero de ciclos mejor es la reduccion.

Porque aparecen columnas diferentes en cada solucion, y que significa el numero en cada columna?

Cuando la solucion es diferente en ocasiones reduce al 13, en otras al 12 o al 11, 10. Porque la diferencia? Como saber cual es la solucion optima si existen varias?


Editado: Los cluster vienen siendo los centroides y el numero que aparece al lado de cada centroide serian las columnas (puntos) cercanas a cada cluster?
Existen variaciones de corrida a corrida por 3 razones principalmente

1. COmo comentabamos en el ejemplo anterior pongamos que tenemos las siguientes columnas

11111111111111
XXXXX111111111

LAs posibles reduciones geometricas de entre las mas eficientes podrian ser

X1X1X111111111
1X1X1111111111
XX111111111111
XXX111111111111
1XXX1111111111

Estos son solo algunos ejemplos de cual podria ser la "MEJOR COLUMNA" reductora, el programa esccoge una columna, pero usa un sistema Montecarlo, es decir utiliza un generador aleatorio y puede escoger la mejor columna entre un gran grupo de posibles

2. al iniciar un grupo de soluciones (centroides) esto se hace al azar, luego entonces aun quie en diferentes intentos lograras las mismas columnas, estas estaran en diferente orden .

3. Proauti usa mucho Montecarlo para simplificar y hacer mas rapido el algoritmo por eso hay opcion a diferentes grupos de reducidas, lo que se trata de asegurar es que el CONJUNTO seleccionado de reductoras sea eficiente.

En cuanto a los ciclos, tango un calculo heuristico que me da que multipliques el numero de centroides que quieres por 10 y ese es el minimo numero de ciclos para que corra el algoritmo.

desgraciadamente a un numero muy grande de ciclos el algoritmo va a oscilar entre columnas muy semejantes de columnas , asi que no hay ganancia, el numero es solo para asegurqar convergencia.

Tal como comentas acerca de los numeros al lado de lass columnas es correcto, es el numero de columnas que reduce cada reductora, aqui es donde uso Indice de Gini para saber cual es la mejor sub grupo de reductoras y es el que tenga el mayor indice de Gini, o lo qu es lo mismo , quecada columna reductora, reduzca igual numero de columnas.

BEPAI, Proauti es un reductor, tu le puedes poner 3000 a 6000 y te va a dar las reductoras que tu le pidas, si es facil o dificil mas bien depende de tus filtros para conseguir esas 3000 a 6000.

La cantidad de ciclos anidados es muy grande ya que para simplificar el calculo uso una tecnica llamada "Divide y venceras" con la cual necesito calcular PAR por PAR de columnas y eso es muy tardado, si tienes un numero muy grande de columnas para reducir la verdad depende de tu ordenador y de tu paciencia, dime exactamente cuantas columnas quieres reducir y cuantas reductoras quieres y lo checamos especificamente.

LAs mejoras en las que estoy trabajando es refinar un poco el conjunto de reductoras,aplicandoles una funcion de fortaleza a las columnas, por ejemplo

XXX11111111111 ES MEJOR QUE
XX111111111111 porque se acerca mas a 7 locales (Es una suposicion) es decir trtatar de ponderar las reductoras.

Otra cosa e que quiero hacer es calcular el coeficiente de gini y ver que subconjunto es el mejor y

la tercera mejora es que a veces puede excoger

X1111111111111 cuando es mejor XXX1111111111, es deir tratar de que este lo mas en medio posible de las columnas reducidas.

Espero haber expicado un poco mejor y agradezco ss comentarios ya que aunque me gusta mucho el concepto de ProAuti, la verdad creo que esta en una etapa muy inicial y puede mejorarse muchisimo aun.

Exito

CM
BEPAI
10
10
Mensajes: 173
Registrado: Lun 01 Ene, 2007 5:17 pm
Ubicación: SALAMANCA

Mensaje por BEPAI »

cositomayor,
creo que te he entendido.

Lo que reduce es el archivo origen, que el operador crea de la forma que cree más óptima,..............y Proauti intenta conseguir la reducida más eficiente, del archivo origen.

gracias.

Por casualidad, has intentado reducir el total de combinaciones posibles???
s2.
[b]Nada, que no se puede con esto de los juegos
..................................................................[/b]
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

Mensaje por cositomayor »

BEPAI escribió:cositomayor,
creo que te he entendido.

Lo que reduce es el archivo origen, que el operador crea de la forma que cree más óptima,..............y Proauti intenta conseguir la reducida más eficiente, del archivo origen.

gracias.

Por casualidad, has intentado reducir el total de combinaciones posibles???
s2.
BEPAI:

Me da gusto que ya se este entendiendo mejor el concepto, en cuanto a tratar de reducir 14 triples, no lo he hecho porque no le veo sentido de principio y porque la cantidad de computo requerido es enorme, le tomaria varios dias (SEMANAS) correr el algoritno para reducir 14 Triples, digamos al 11.

Lo que si se me ha ocurrido es retar las reducciones record, todas las reducciones record, utilizan columnas dentro de las columnas base, que pasaria si reducimos utilizando columnas que esten en ese grupo, podriamos mejorar las reducciones base, creo que podria modificar PROAUTI para competir co las record, despues podria inclusive utilizar algun algoritmo de refinamiento usando Algoritmos geneticos o inclusive Recocido simulado.

Si sabes de alguna reduccion record (Que no sea perfecta) que te interese retar me dices y lo probamos, de preferencia al 12, 11 o10

Exito

CM
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

CosiGraficas

Mensaje por cositomayor »

Amigos todos:

En el camino de desarrollar ProAuti, desarrolle diversas tecnicasIndice Gini y las CosiGrafias, que son la primera Grafica Hiperbilicas y la segunda Graficas Radiales, que me permiten poner una gran cantidd de datos en un solo grafico.

Estoy trabajando para crear un sistema Grafico Hyperbolico que me permita ver todo el Universo de 14T o al menos mis columnas, reducciones, combinaciones, condiciones etc.

Aqui les dejo la primera Grafica radial, la cual me ayuda a visualizar las ultimos 264 concursos de Quinielas Mexicanas

http://www.slideshare.net/cositomayor/cosi-graficas01

Exito

CM
BEPAI
10
10
Mensajes: 173
Registrado: Lun 01 Ene, 2007 5:17 pm
Ubicación: SALAMANCA

Mensaje por BEPAI »

Si sabes de alguna reduccion record (Que no sea perfecta) que te interese retar me dices y lo probamos, de preferencia al 12, 11 o10
Yo las reducidas, ni las comtemplo.

Lo que no entiendo, es porqué reducidas y no condicionadas ???

¿conoces el sitema Winner?

s2.
[b]Nada, que no se puede con esto de los juegos
..................................................................[/b]
Avatar de Usuario
Zeus
15
15
Mensajes: 18069
Registrado: Mar 03 Mar, 2009 6:23 pm

Re: CosiGraficas

Mensaje por Zeus »

cositomayor escribió:Amigos todos:

En el camino de desarrollar ProAuti, desarrolle diversas tecnicasIndice Gini y las CosiGrafias, que son la primera Grafica Hiperbilicas y la segunda Graficas Radiales, que me permiten poner una gran cantidd de datos en un solo grafico.

Estoy trabajando para crear un sistema Grafico Hyperbolico que me permita ver todo el Universo de 14T o al menos mis columnas, reducciones, combinaciones, condiciones etc.

Aqui les dejo la primera Grafica radial, la cual me ayuda a visualizar las ultimos 264 concursos de Quinielas Mexicanas

http://www.slideshare.net/cositomayor/cosi-graficas01

Exito

CM
Me parece, cositomayor, una presentación gráfica de 1ª calidad. Acostumbrándose a los gráficos dieferenciales es una muy buena forma de comprender cosas importantes sobre cualquier conjunto de apuestas.

Saludos y espero avances en este tema.
Imagen
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

Mensaje por cositomayor »

BEPAI escribió:
Si sabes de alguna reduccion record (Que no sea perfecta) que te interese retar me dices y lo probamos, de preferencia al 12, 11 o10
Yo las reducidas, ni las comtemplo.

Lo que no entiendo, es porqué reducidas y no condicionadas ???

¿conoces el sitema Winner?

s2.
Puede ser reducidas o condicionadas, ProAuti funciona casi como un reductor aunque de forma diferente,
Yo lo que digo es que hay ocaciones en las que es mas eficiente usar reducciones Geometricasy buscar los centroides que usar las reducciones regulares.

Imagina el caso de que se tengan las 3 columnas siguientes

22222111111111
11111222221111
111111111XXXXX

Y queremos reducirla al 12, si usas Free o Quiniwi o el que sea te dira que requieres las 3 columnas


22222111111111
11111222221111
111111111XXXXX

Proauti lo que buscara es una columa que reduzca las tres buscando un centroide, el cual muy probablemente sera una columna diferente de las tres anteriores

1111111111111

Como ves la columna anterior reduce al 12 perfectamente a las 3 anteriores pero no forma parte de las columnas inicales.

En cuanto a tu progunta acerca del sistema Winner, no lo conozco, si pudieses indicarme donde puedo encontrar informacion, lo leo y te comento acerca de el.

Exito

CM
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

Re: CosiGraficas

Mensaje por cositomayor »

Zeus escribió:
cositomayor escribió:Amigos todos:

En el camino de desarrollar ProAuti, desarrolle diversas tecnicasIndice Gini y las CosiGrafias, que son la primera Grafica Hiperbilicas y la segunda Graficas Radiales, que me permiten poner una gran cantidd de datos en un solo grafico.

Estoy trabajando para crear un sistema Grafico Hyperbolico que me permita ver todo el Universo de 14T o al menos mis columnas, reducciones, combinaciones, condiciones etc.

Aqui les dejo la primera Grafica radial, la cual me ayuda a visualizar las ultimos 264 concursos de Quinielas Mexicanas

http://www.slideshare.net/cositomayor/cosi-graficas01

Exito

CM
Me parece, cositomayor, una presentación gráfica de 1ª calidad. Acostumbrándose a los gráficos dieferenciales es una muy buena forma de comprender cosas importantes sobre cualquier conjunto de apuestas.

Saludos y espero avances en este tema.
Gracias ZEUS por tus comentarios

Creo que todos nuestro analisis los hacemos de forma abstracta, tratamos de entenderlo y aterrizarlo y creo tambien seria un gran adelanto si pudieramos visualizar lo que hacemos, reduciones, condiciones, etc de esta forma podriamos hacer Observaciones que visualmente podrian ser obvias pero dificiles de deducir si trabajamos solo con abstracciones. De eso se trata.

Exito

CM
Avatar de Usuario
cositomayor
10
10
Mensajes: 261
Registrado: Lun 27 Feb, 2006 7:43 pm

Nueva Utilidad

Mensaje por cositomayor »

He estado usando ProAuti las últimas semanas en las quinielas Mexicanas y me ha dado muy buenos resultados, pero quiero comentar algo que ocurrió y se me hace muy interesante.

ProAuti como comento funciona parecido a un Reductor, primero filtro y condiciono y me quedo con aproximadamente 20,000 columnas y ya después le pido a ProAuti que me reduzca estas 20,000 a digamos 50 columnas; pues ben, ProAuti usa un algoritmo conocido como Clustering o Racimos y se usa mucho en astronomía, para encontrar agrupamiento de estrellas y así decidir que estrellas pertenecen a que galaxia; pues bien; lo que pasa es que se inicializa con columnas de forma aleatoria y poco a poco van evolucionando hasta posicionarse en e4l centro de algún racimo,

Lo que encontré es que a veces cuando se inicializan las columnas semilla, algunas caen tan lejos de los racimos que nunca evolucionan y al final del algoritmo no reducen a ninguna de las 20,000; al principio simplemente las eliminaba, pero la semana pasada tenía mucha prisa y deje una columna que no evoluciono y la compre, capaz que gana algo por ser totalmente distinta a las otras reductoras. Lo mas increíble que paso es que esa columna que compre tuvo CERO aciertos, es decir no le atino a ningún juego de los 14, las probabilidades de que eso suceda son muy pequeñas, y esto me puso a pensar aunque sabía que este caso sería altamente complicado de reproducir.

Me puse a simular con ProAuti durante la semana usando concursos anteriores y me di cuenta que es bastante raro que las columnas Espurias tengan más de 5 aciertos, por lo que a continuación se me ocurrió incluir estas columnas en mis filtros iníciales pidiendo que se eliminen aquellas columnas que tengan 6 o más similitudes.
Después volví a correr ProAuti y si salían columnas espurias volvía a hacer el mismo protocolo, es decir incluía estas columnas en mis filtros,

Lo que obtuve fue utilizando una técnica parecida llamada Resampling (Bootstrap) un sistema el cual eliminaba el ruido (Noise) y me dejaba 50 columnas que cubren muy eficientemente el espacio.
Falta seguir experimentando pero los resultados hasta hoy se ven promisorios.

Éxito

CM
BEPAI
10
10
Mensajes: 173
Registrado: Lun 01 Ene, 2007 5:17 pm
Ubicación: SALAMANCA

Mensaje por BEPAI »

Curioso, Cositomayor!!!!!

Se ha comentado, algunas veces, que NO ACERTAR es UN GRAN PASO para conseguir el EXITO.

Un gran FRACASO=Gran EXITO.

No sé cual es tu correo, ponmeló en un mensaje personal, pues te voy a mandar algo.



s2.
[b]Nada, que no se puede con esto de los juegos
..................................................................[/b]
Avatar de Usuario
krematorio
11
11
Mensajes: 779
Registrado: Jue 31 Mar, 2005 9:43 am
Ubicación: SEVILLA

Mensaje por krematorio »

hola, he estado probando el programa y a veces me da error 9 subindice fuera del intervalo,porque puede ser?
Responder