toto ennustusmalli

[juha7]

Tein aikani kuluksi toto ennustusmalleja. Siis keräämäni data ei ole kovin monipuolista, kuin se voisi olla kaupallisista apeista hankittuna ja data on aika reikästä, mutta kuitenkin yltää lähes ammattitason validaatiolukuihin (AUC 0,76). Ei siis ole hevosten terveystietoja taikka kierrosaikoja. Mallit laskevat todennäköisyyden sijoittua top 3 joukkoon. Ja tulos esitetään paremmuusjärjestyksessä, niin siitä voi yrittää päätellä sijoituksen (ndcg@3 arvo voisi olla parempi - mittaa sijoittumisjärjestyksen onnistumista).

sovellus online: https://toto-kesm.onrender.com/ (sovellus pyörii Renderin ilmaisversiossa, jos testaajia ilmaantuu runsaasti, saattaa tulla jokin käyttökatto vastaan)

Siellä on 3 neuroverkkomallia ja artikkelin https://www.scribd.com/document/7054693 ... 0-20230930 innoittamana lisäsin Random Forest - päätöspuun lisäksi. Toisinaan se yllättää tehokkuudessa. Huom. se päätöspuumalli lataa sitä n. 30s, koska malli on n. 300M iso. Välillä lähdön data on todella suppeaa varsinkin, jos on uusia hevosia, niin ennustukset ovat epävarmempia. Eli kannattaa silmäillä sitä "review input data", niin saa käsityksen minkä perusteella ennustus ajetaan (oikeassa reunassa näkyy historiatiedot). Mallit tuntuvat tukeutuvan aika voimakkaasti peliprosenttiin, jos se on datassa saatavilla. Eli se on todettu malleissa voimakkaaksi signaaliksi voittajien luokittelussa. Toiminto "without betting percentage" on välillä yllättänyt positiivisesti. Ei nyt kannata yksinomaan tuijottaa tätä ja hävitä rahoja, mutta tämä voi toimia referenssinä, jos haluaa tietää todennäköisyyksiä.

[juha7]

Nyt se on päivitetty vedonlyönti ja analytiikka ratkaisuksi, joka ennustaa, analysoi poolia, optimoi pelejä ja skannaa arvokkaat pelit eli pelit, joita on pelattu vähän ja joilla on järkevä osumatodennäköisyys. Lisäksi kun XAI on päällä, ennustuksesta voi lukea (suurennuslasi) mitkä ominaisuusryhmät ovat vaikuttaneet ennustukseen. Siitä voi tehdä päätelmiä esimerkiksi dominoiko peliprosentti. Joskus se dominoi harhaisesti ja without betting percentage - ominaisuus päällä betting optimizer optimoi parempia pelejä. Palautetta voi antaa info-tooltipistä löytyvään sähköpostiin. Eli se on edelleen https://toto-kesm.onrender.com/

[juha7]

@justus67 Kiitos huomiosta. Voitko tarkentaa, mitä tarkoitat? Tarkoitatko, että kun lasket placement-mallissa kaikkien hevosten P(1.) + P(2.) + P(3.) -todennäköisyydet yhteen, summa ei ole noin 300 %? Jos mahdollista, laita esimerkki lähdöstä, niin voin tarkistaa mistä ero tulee. Siis mixed-mallin ja random forestin tuottamat todennäköisyydet placement-modessa pitäisi olla normeerattu niin, että sarakkeiden summa on 100/sarake ja P(1.), P(2.) ja P(3.) sarakkeiden summien summa 300. Ei niitä muita ole normalisoitu 100:aan.

[juha7]

@justus67 Ai niin varmaan meinaat niitä top-3 ennustuksia binary modeleissa. Joo summan pitäisi olla 300%, kun top-3 hevosia on kolme. Sigmoid arvioi jokaisen hevosen itsenäisesti — ei mitään ristikkäisrajoitetta lähdön sisällä. Joten raakasumma ei ole tarkalleen 300 %. Kalibrointi vaikuttaa siihen, mutta voisinkin normeerata summan 300:aan, niin prosentteja voi tulkita "aitoina todennäköisyyksinä". Kiitos vielä kommentista.

[juha7]

Näköjään toi Render on alhaalla. Deployasin sen Netlify-palveluun: https://marvelous-duckanoo-146c90.netlify.app/

[juha7]

Nyt toimii taas Renderissä! Eli: https://toto-kesm.onrender.com/ Yritin konffata tuloksetta Cloudflareen, kun toi Netlify ei suostunutkaan toimimaan. Oli vähän haasteita mallien latauksessa kaiken maailman cache/net-worker viritysten kanssa Cloudflaressa.

[Ravinero]

Tein itse vähän samanlaiset; ravinero.fi - sen suuremmin kehumatta osumaprosenttia niin etusivulle nousee joitakin viime aikojen osumia. Pienen maksumuurin takana koska mallien pyöritys maksaa mutta eipä tuolla rikastumaan pääse; itse sitä käyttänyt muutaman kuukauden suoran Veikkaus-APIn läpi.

Tekniikkana tiivistetysti: Ennuste katsoo lähdön olosuhteet (rata, matka, lähtötapa, sarja ja palkintotaso, radan virallinen kunto sekä sääennuste lähtöhetkelle), hevosen perustiedot (ikä, sukupuoli, ennätykset, ohjastaja, lähtörata, tasoitus, suku) ja uratilastot (voitto-%, sija-%, laukka- ja hylkäys-%, ansiot, kuluva ja edellinen kausi, ohjastajan tilasto).

Ja sen pohjalta rakentelee sitten ennusteita ja tarvittaessa hajotusta lähtö- ja pelikohtaisesti.

https://www.ravinero.fi

[Ravinero]

... vielä puuttuu hajotuspelien tallennus ja sovittaminen mutta tänään lähti tällaiset porukat veikkaukselle (porukat pitää tehdä vielä käsin, apin kautta ei onnistu - vain 'soolopelit').

Ennusteet päivittyy vielä 2h, 1h ja 30min ennen lähtöä säätietoineen mutta nyt hyvissä ajoin sisään.

Toto65 – Färjestad
2. lähtö — A: 10, 3 · C: 6, 9 · D: 4
3. lähtö — A: 2 · B: 4 · C: 5 · D: 1
4. lähtö — A: 2 · B: 3, 10, 14 · C: 7, 1 · D: 5
5. lähtö — A: 3 · C: 7 · D: 6, 8, 1
6. lähtö — A: 2, 8 · C: 1, 5 · D: 7
7. lähtö — A: 9 · B: 5 · C: 2 · D: 1

Toto75 – Teivo · lähdöt 4–10
4. lähtö — A: 7 · B: 10 · C: 12, 11 · D: 4
5. lähtö — A: 1 · B: 5 · C: 9, 7 · D: 8
6. lähtö — A: 4 · B: 1 · C: 3, 2 · D: 11
7. lähtö — A: 10 · B: 11, 12 · C: 2 · D: 7
8. lähtö — A: 1 · B: 2 · C: 4 · D: 3
9. lähtö — A: 7 · B: 9, 3 · C: 2
10. lähtö — A: 12 · C: 2, 6 · D: 5

[Ravinero]

Nappasi pirulainen hyvän troikan kiinni, ei vaan ollut automaattipeli päällä.

Kunhan testattua saadaan niin tulee kaikille käyttäjille suunnilleen tämän näköinen käyttöliittymä jossa voi robo vedellä vedot automaattisesti 30min ennen starttia ja sähköpostiin ilmoitus asiasta; testissä pelataan senttipeliä:



---
RaviNero-robotti jätti vedon:

Peli: Toto64
Kohde: Solvalla
Rivejä: 1
Hinta: 0,10 €

MIKSI NÄIN
AI rakensi systeemin. Konsensus merkitsee osakohteisiin hevoset, joista analyysi on yhtä mieltä, sekä kertoimien suosikin (markkinapohja).

Osakohteet:
Lähtö 4: #5 Naranja Mearas* (SE) (2,12 · 2/2 mallia)
→ Naranja Mearas (2.24) on ylivoimainen suosikki, mutta 56% peliä vihjaa ylipelatuiksi osingon kannalta; kerroin matala osumista huolimatta. Nickel Curve (5.73) nouseva muoto, viime voitto äskettäin (14.9a), ohjastaja 18%. Mellby Orkide (7.3…
Lähtö 5: #3 Magnification* (SE) (2,86 · 2/2 mallia)
→ Magnification (3.3) kylmin rekordiaika (13.0a), vahva 37.8% peliä, voitto 1.34-kertoimella äskettäin, mutta viime gallop ja laskeva suunta vaativat varovaisuutta. Royal Steel (2.73) vakaa, 3/3 Solvallalla top-3, kerroin matala mutta päätök…
Lähtö 6: #3 Gunpoint* (SE) (3,54 · 2/2 mallia)
→ Gunpoint (3.58) keskeinen suosikki (35.9% peliä), 2.58-kerroin äskettäin, hyvä muoto ja ohjastaja-tilastot, mutta laskeva suunta ja yksi häiriö vaativat pohjan. Okocha Boko (5.02) nouseva (14.6a tuore), kylmin rekordiaika (13.6a), 31.6% pe…
Lähtö 7: #7 Keep Asking* (US) (2,09 · 2/2 mallia)
→ Keep Asking (2.04) dominantti suosikki, 69.6% peliä, vakaa voittohistoria (1-1-3-2-1), kahsi voittoa 4 startissa favoriiteissa (50%), ohjastaja 16.8%, kaikki kerroin, raha ja peli-signaalit yhtenäisiä. Lando Mearas (3.73) varavarma — voitt…
Lähtö 8: #7 Pixen* (SE) (6,63 · 2/2 mallia)
→ Elliott (7.31) nouseva, voitto 13.6a äskettäin, kylmin rekordiaika (13.6a), ohjastaja 14.1%, kerroin siedettävä, reissut selitä toimintaa (tempogynn). Hedda (10.43) nouseva, äskettäin voitti (16.0a), kerroin matala (2.05), mutta epävarmuus…
Lähtö 9: #5 Kodiak Zet* (SE) (4,03 · 2/2 mallia)
→ Kodiak Zet (4.0) vahva suosikki (26.9% peliä), 3 voittoa 4 startissa, 1-1-1-1-kl muoto, voittaa ajaen, ohjastaja 16.8%; kerroin siedettävä mutta peli% korkea. In Fine Fettle (5.94) nouseva, 4 voittoa 9 startissa, äskettäin voitti (12.5a), …
(Rivi kavennettu perusriviksi: täysi konsensus 243 riviä → pelattu 1.)

MITOITUS
Perusrivi päällä: pelataan yksi rivi (kaikki kohteet varmoja) — panos-% ei vaikuta hintaan.
Varmoja: perusrivi — kaikki kohteet varmoja (yksi rivi)

Näet vedon Omat pelit -sivulta.

[juha7]

#Ravinero

Mielenkiintoisen oloinen projekti. Kiinnostaa erityisesti tuo data- ja validointipuoli, koska omassa järjestelmässä suurin haaste on ollut historiallisten ravitietojen puutteellisuus.

Mainitsit käyttäväsi mm. radan virallista kuntoa sekä laukka-, hylkäys- ja sija-% -tilastoja. Omissa Veikkauksen API -datan keräyksissä nuo kentät ovat historiallisesti hyvin epätäydellisiä (esim. laukka-% löytyy vain pieneltä osalta juoksijoista ja radan kunto vain harvoista lähdöistä).

Miten olet ratkaissut puuttuvien arvojen käsittelyn? Käytätkö jotain imputointia / default-arvoja vai onko sinulla käytössä jokin laajempi historiallinen tietolähde Veikkauksen API:n lisäksi?

Olisi myös kiinnostavaa kuulla, miten olet validoinut mallin ennusteita. Seuraatko esimerkiksi:

* val_auc
* val_ndcg@3
* log loss / Brier score
* hit@1 / top-3 osumat

ja mitä saat näiksi luvuiksi? Olen itse käyttänyt validointiin blokin uusinta dataa ja muun datan koulutukseen, joten validointi ei ole korruptoitunutta.

Vai seuraatko lähinnä osumaprosenttia ja palautusta?

Sivulla näkyi myös kuva, jossa mainitaan **"Osumatarkkuus, ROI ja mallien vertailu — oikeista, arvostelluista tuloksista"** ja mittarina **84 %**. Kiinnostaisi ymmärtää tarkemmin, mitä tuo 84 % tarkoittaa käytännössä:

* voittajan osumatarkkuutta,
* top-3-osumaa,
* järjestelmän osumaa (esim. Toto75/Toto65),
* vai jotain muuta yhdistelmämittaria?

Kysyn tätä puhtaasti teknisestä mielenkiinnosta, koska omassa järjestelmässä **järjestelmien osumatodennäköisyys lasketaan puhtaasti matemaattisesti sijoitustodennäköisyyksistä P(1.), P(2.) ja P(3.)** eikä jälkikäteen toteutuneista osumista. Taustaksi kiinnostukselleni ROI-mittareista: olen itse saanut joissakin yksittäisissä raveissa optimizerin tuottamille peleille yli 100 % toteutuneen ROI:n (esim. eräässä ravissa noin 125 %), mutta en pidä sitä vielä kovin informatiivisena ilman riittävän suurta otosta ja selkeää backtest-menetelmää. Siksi olisi kiinnostavaa kuulla, miten teillä ROI lasketaan ja minkä kokoiseen historiallisesti arvioituun aineistoon tuo sivulla näkyvä vertailu perustuu.

Yksi terminologiaan liittyvä kysymys vielä: viittaatte sivulla useassa kohdassa **tekoälyyn** ja **AI:n rakentamiin systeemeihin**. Tarkoitatteko tällä käytännössä neuroverkko-/ML-malleja (esim. gradient boosting, random forest, MLP, LSTM tms.), vai onko mukana myös jotain generatiivista tai agenttipohjaista analyysiä? Kysyn siksi, että omassa projektissa olen käyttänyt TensorFlow-neuroverkkoja ja olen itse ollut aika varovainen käyttämään niistä termiä *tekoäly* ilman tarkempaa määrittelyä.

Mainitsit myös, että mallien pyöritys maksaa. Tarkoititko lähinnä palvelin-/GPU-kuluja vai käytätkö jotain maksullista data- tai säärajapintaa Veikkauksen API:n lisäksi? Veikkauksen oma API vaikuttaa ainakin omien kokeilujen perusteella aika rajalliselta historiallisten olosuhde- ja tilastotietojen osalta, joten kiinnostaisi tietää mistä nuo lisäfeaturet tulevat käytännössä.

[Ravinero]

Moro, se mikä maksaa on tietenkin infra mutta pyöritetään laskentaa alustavasti omien parametrien mukaan ja sen jälkeen tyrkätään vielä Claude/OpenAI/Kiwi (mitkä nyt on käyttöön konffattu) pureksittavaksi. Se maksaa muutamia senttejä per setti. Perusideahan tässä on se, että ihmiset tekevät aina biased-päätöksiä. Kun porukka veikkaa konia x niin sen voitto-olettama nousee ja taas tulee lisää vetäjiä koska sehän voittaa ja katsotaan saisiko siihen hieman 'tarkkuutta'. 100% osumatarkkuutta ei tietenkään saa mutta jos edes kohtuullisen.

Datalähteistä Veikkauksen API on runko; täydennetään kotimaisen ravitietokannan ja pohjoismaisten julkisista rajapinnoista (matkakommentit menneistä starteista, kenkä-/kärrymuutokset, myöhäiset ohjastajavaihdot, ohjastaja-/valmentajaprosentit) sekä säädatasta. Historiapohja on oma: jokainen raakahaku arkistoidaan pysyvästi. Osa ulkomaanraveista myydään kahtena korttina, joista systeemikortilta puuttuu pelijakaumat ja starthistoria. Se täytetään sisarkortista rakenteellisella tunnistuksella (päivä + maa + lähtönro + lähtöaika ms:n tarkkuudella + matka) ja hevosittain nimellä, vain tyhjiin kenttiin.

Taustalla on tosiaan kielimalleja rinnakkain rajapinnan yli, ja niiden tuotokset taitetaan konsensukseksi koodilla + kevyt markkinapriorisointi kertoimista. Kuponkipuoli (hajotusluokittelu, rivimäärä, varmat, budjetin trimmaus) on puhdasta koodia ilman mallikutsua. Laskennallinen yksikköpanos-ROI on ylläpidon näkyvissä: se hinnoittelee jokaisen tallennetun vihjeen kuin se olisi pelattu, myös ne joita kukaan ei pelaisi, joten pitkällä välillä se näyttää tappiota silloinkin kun analyysi toimii. Ulos näytetään osuvuus.

Näin lyhyellä analyysilla aika hyvin osaa ennustaa sijoitusta. Voittajaa kohtuullisesti.

Katsotaan tuleeko tästä mitään vai pitääkö vuoden päästä todeta että ei kannata, yksi analyysipalvelu muiden joukossa kuitenkin.

[juha7]

Kiitos tarkennuksista. Kuulostaa siltä, että meillä on itse asiassa aika erilaiset vahvuudet: teillä vaikuttaa olevan rikkaampi olosuhde- ja täydennysdata sekä LLM-pohjainen analyysikerros, kun taas olen itse käyttänyt viimeiset kuukaudet erityisesti placement-jakaumien, troikka/kaksari-todennäköisyyksien, kalibroinnin ja vedonlyöntioptimoinnin kehittämiseen.

Tuli mieleen, että voisi joskus olla kiinnostavaa vaihtaa ajatuksia myös yhteistyömielessä, jos projektit etenevät pidemmälle. En tarkoita mitään välitöntä kaupallista sopimusta, mutta esimerkiksi datan täydentäminen, todennäköisyysmallit ja kuponkioptimointi voisivat olla alueita, joissa voisi löytyä synergiaa.

Jos kiinnostaa joskus jatkaa keskustelua teknisemmällä tasolla, voidaan hyvin vaihtaa yhteystiedot yksityisemmin.

[Ravinero]

Jees, katsotaan. Päivityksiähän tulee kokoajan kun hommat etenee, UI-puolella on vielä paljon tekemistä mutta taustalogiikka alkaa olla aika hyvin kondiksessa.

[Tietäjä]

Jonkin näköiset yhteystiedot ongelmatilanteissa saisi olla tuossa Ravinero sivustolla. Jos ne siellä ovat niin en ainakaan löydä. Tällä hetkellä en ainakaan saa kirjautumislinkkiä lainkaan.

[Ravinero]

Pitää laittaa; jos posti on oikein niin kyllä pitäisi linkki tulla - ja tosiaan kehitystä tehdään kokoajan. Kannattaa ekana tsekata roskapostit, voipi olla että joku tunnistaa ne roskapostiksi.

Suosittelen tietysti Google-kirjautumista, kaikista helpoin.

[Tietäjä]

Ok. Joo ei ole roskaposteissakaan. Kyllä se oikein on. Jokin postikin sivustolta oli saapunut.

[ptets2]

Laitoin ketjun aloittajalle sähköpostitse palautetta totomodelsista.

[Ravinero]

Tänään tullee pelilomake eli vähän veikkausmalliin ennuste täyttää lomakkeen jota voi sitten halutessaan muokata.

Eilinen oli hankala päivä, ainoastaan Rättvikin 85:sta jäi 7 oikein taskuun pikkuhilujen lisäksi. Mutta niin se näytti kertoimien valossa olleen aika monelle muullekin.... Katsotaas mitä sunnuntai tuo tullessaan.

[Tietäjä]

Onko nyt varma ettei ravinero sivuston päässä ole mitään ongelmaa kun ei kirjautumislinkkejä tule sähköpostiin? Sähköposti kyllä muuten toimii. Ei ole tullut tänäänkään.

[Ravinero]

Kyllä posteja lähtee kokoajan, todistettavasti muitankin kuin minä on sisällä.

On myös mahdollista että koska ravinero.fi -domain on uusi niin jotkut palveluntuottajat blokkaavat uusia domaineja ettei tule spämmiä ja vapauttavat ne. Joskus on tullut vastaan keissi, jossa 1kk tuoreempien domainien surffailu yms. ei ole sallittua.

Tämännäköinen posti tuli itselle gmailiin magic link-kirjautumisella.

Pistänpä sen lähettämään toisestakin domainista "tuplaviestin" toistaiseksi jos tuo 'uutuusarvo' blokkaa sitä tai on joku muu "turvatarkastus".