Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja jone
Olisi varmaan aika päivittää tulosten ja 1x2-kertoimien kirjaaminen käsin naputtelusta vähän automaattisemmaksi. Olen vuosia kirjannut päivittäin edellisen päivän tulokset ja kertoimet käsin ylös veto-ohjelmaani Oddsportalista. Ja alkaa pikku hiljaa tympiä tämä osuus. Ohjelmointitaitoa löytyy jonkin verran (c# ja c++), mutta netistä datan haku on jäänyt opiskelematta. Joskus oon vähän koittanut opetella, mutta on vaikuttanut niin hankalalta, että ei ole jaksanut liiemmin perehtyä asiaan. Ja viime vuosina jäänyt aika vähälle muutenkin koodailut, lähinnä pientä ylläpitoa tuohon ohjelmaani.
Onko kuinka helppo lähteä koodaamaan suht yksinkertaista ohjelmaa, jolla saisi haettua tulokset ja 1x2-kertoimet (keskiarvo tai korkeimmat kertoimet) tekstitiedostoon haluttuun muotoon? Ja mistä voisi lähteä liikkeelle ja millä kielellä tämä olisi helppo toteuttaa? Joko tuolta Oddsportal.comista tai Betexplorer.comista, kun niistä löytyy moniin/kaikkiin jääkiekkosarjoihin datat. Olisiko jotain hyvää sivustoa, mistä lähteä liikkeelle opiskelemaan?
Toinen vaihtoehto on, jos joltain löytyy valmiina jo moinen ohjelma ja olisi halukas tuon jakamaan vaikka pientä korvausta vastaan. Ja jos tuollainen löytyy, niin mielellään koodit mukana, niin pääsee tarvittaessa muokkaamaan sitä. Kun ei nuo nettisivut tunnu kovin pitkään olevan samanlaisia vaan päivityksiä tulee usein ja varmaan niitä hyödyntävät ohjelmat tarvitsevat koodiin muokkauksia myös.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Toinen vaihtoehto on, jos joltain löytyy valmiina jo moinen ohjelma ja olisi halukas tuon jakamaan vaikka pientä korvausta vastaan. Ja jos tuollainen löytyy, niin mielellään koodit mukana, niin pääsee tarvittaessa muokkaamaan sitä. Kun ei nuo nettisivut tunnu kovin pitkään olevan samanlaisia vaan päivityksiä tulee usein ja varmaan niitä hyödyntävät ohjelmat tarvitsevat koodiin muokkauksia myös.
Onko kuinka helppo lähteä koodaamaan suht yksinkertaista ohjelmaa, jolla saisi haettua tulokset ja 1x2-kertoimet (keskiarvo tai korkeimmat kertoimet) tekstitiedostoon haluttuun muotoon? Ja mistä voisi lähteä liikkeelle ja millä kielellä tämä olisi helppo toteuttaa? Joko tuolta Oddsportal.comista tai Betexplorer.comista, kun niistä löytyy moniin/kaikkiin jääkiekkosarjoihin datat. Olisiko jotain hyvää sivustoa, mistä lähteä liikkeelle opiskelemaan?
On se helppoa, uskoisin että saat väsättyä itse. (Jos oot kuitenkin oman softankin onnistunut C:llä koodaamaan niin tuollainen on helpompaa). Varsinkin jos haluat keskiarvon ja korkeimman closesta etkä esim avauksia/päivän sisäistä korkeinta kerrointa. Noihin pitää feikkihiirellä aktivoida ne kerroinliikkeet esim molemmissa noista sivuista. Mutta kaikki noi datat mitkä tuossa sivulla suoraan näkyy löytyy sieltä lähdekoodista. Jos esim klikkaat jotain kerrointa hiiren oikealla chromessa ja valitset inspect niin näet tarkemmin. Jos et siis yhtään tiedä mistä kyse niin ideana että tuo lähdekoodi ladataan sivulta ja sieltä etsitään halutut html-elementit ja otetaan tiedot talteen.
Henkkoht suosittelen tuollaiseen jotain Python/R Scriptiä. Varmaan C-taustalla voi Python olla helpompi. Sitä on helppo muokata ja ajaa komentoriviltä tai suoraan IDE:stä. Oon ite oddsportalia pythonilla screipannut, mut ei suoraan tollaseen löydy koodeja. Lähinnä kun pitäis tietää et mitä haluat hakea. Täähän siis onnnistuu hyvin silleen et haet vaikka kaikki päivän tai liigan tai minkä tahansa otteluiden linkit (ne löytyy kanssa lähdekoodista) ja sit looppaat nuo läpi tms.
Mutta tällainen onnistuu kyllä kaikilla kielillä. Tarvitset jonkin html-parser -paketin (+ ehkä jonkin millä sen lähdekoodin lataat). C# voi olla paremmat kirjastot tähän mutta uskoisin että onnistuu myös ++. Varmaan paras opetusmateriaali löytyy youtubesta. Sinne vaan {kieli} web scraping. Tarvittaessa 'html' mukaan.
Toinen vaihtoehto on tietenkin lukea suoraan Pinnyn APIa. Mut tietenkin jos haluat noi muutkin bookkerit mukaan niin ei riitä. Mut siihen sekä R että Python valmiit kirjastot (Python ei tosin ainakaan 'virallinen'). Ja onnistuu tuon APIn lukeminen tietty muillakin kielillä.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja jone
Pikaisella tutustumisella tuo Webharvy ei ole ihan semmoinen, mitä haluan. Mutta pidetään edelleen mielessä tuokin.
Viimeksi, kun noihin datan hakuihin yritin tutustua joku pari vuotta sitten, vaikutti turhan hankalalta päästä alkuun. Ehkä ei tullut etsittyä oikeasta paikasta apuja. Eipä kyllä tullut silloin mieleen etsiä apuja Youtubesta. Pitää tutkia löytyisikö noista apuja ja tällä kertaa yrittää vähän paremmin perehtyä aiheeseen. Tuo nykyinen ohjelmani on C#-kielellä tehty (aiemmin C++), joten pitänee ensin tutkia nuo, jos saisi tuohon ohjelmaan lisäiltyä suoraan noi datan haut.
Niin ja se mitä haen on yksinkertaisuudessaan helpoin toteuttaa niin, että haetaan yksittäisen sarjan (jääkiekko) kuluvan kauden ottelut tuloksineen ja 1x2-kertoimineen (keskiarvo tai korkeimmat) ja toki päivämäärät myös. Ja nämä sitten parseroidaan haluttuun muotoon. Ja tämä on siis päivittäin toistuva toiminto, jotta pysyy data ajantasalla. Toki muitakin tapoja olisi tuo toteuttaa, mutta varmaan helpoin noin.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja jone
Hakeeko kukaan kerroindataa oddsportalista ohjelmallisesti? Itse haen kertoimia oddsportalista kirjautuneena, mutta nyt ollut muutaman päivän ongelmana hitaus. Aamupäivällä kertoimien haku on toiminut normaalisti, mutta päiväsaikaan/illalla kertoimien haku on ollut tuhottoman hidasta. Tänäänkin onnistui eka ajo aamupäivällä, mutta nyt päivällä ei taas tunnu toimivan. Selaimella ei tunnu olevan mitään tökkimistä havaittavissa, joten onkohan oddsportalin päästä jotain rajoituksia lyöty käyttöön? Itsellä ei ole nyt aikaa alkaa koodailemalla testaamaan, että löytyisikö jotain bugia tai muuta. Auttaisi ainakin tietää, että onko muilla samoja ongelmia.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Hakeeko kukaan kerroindataa oddsportalista ohjelmallisesti? Itse haen kertoimia oddsportalista kirjautuneena, mutta nyt ollut muutaman päivän ongelmana hitaus. Aamupäivällä kertoimien haku on toiminut normaalisti, mutta päiväsaikaan/illalla kertoimien haku on ollut tuhottoman hidasta. Tänäänkin onnistui eka ajo aamupäivällä, mutta nyt päivällä ei taas tunnu toimivan. Selaimella ei tunnu olevan mitään tökkimistä havaittavissa, joten onkohan oddsportalin päästä jotain rajoituksia lyöty käyttöön? Itsellä ei ole nyt aikaa alkaa koodailemalla testaamaan, että löytyisikö jotain bugia tai muuta. Auttaisi ainakin tietää, että onko muilla samoja ongelmia.
Samoja havaintoja. Seleniumilla kun hakee niin jää jumiin 30+ sekunniksi yksittäiseen otteluun. Ei niin kriittinen toiminto itselleni, mutta jos löydän ylimääräistä aikaa niin katson mikä siinä jumittaa.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Samoja havaintoja. Seleniumilla kun hakee niin jää jumiin 30+ sekunniksi yksittäiseen otteluun. Ei niin kriittinen toiminto itselleni, mutta jos löydän ylimääräistä aikaa niin katson mikä siinä jumittaa.
Okei, ei sitten ole vain mulla vika. Mun koodaustaidoilla vian etsimiseen menee todennäköisesti aika kauan, jos nyt semmoisen sattuisin löytämään. Tosi kiva, jos löydät aikaa tuohon. Itselle tuo on hyvinkin kriittinen toiminto automatiikan kannalta. Toki manuaalisesti pystyy käymään ottelut läpi ja lätkässä onneksi jo aika vähän matseja päivittäin.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja hk_
Joo mä ilmoittelen jos jotain löytyy. Ja tarkoitin tuolla kriittisyydellä sitä, että ei sinällään ole ongelma, että kestää pidempään, koska skripti kuitenkin toimii.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Joo mä ilmoittelen jos jotain löytyy. Ja tarkoitin tuolla kriittisyydellä sitä, että ei sinällään ole ongelma, että kestää pidempään, koska skripti kuitenkin toimii.
Jeps, mun väsäämä ohjelma on sen verran tehottomasti tehty, että saattaa mennä yhden isomman sarjan vetojen etsiskelyyn jo tunti/tunteja. Nopeammin saa manuaalisesti käytyä kaikki ottelut läpi. Pitäisi jossain vaiheessa koittaa optimoida tuota, mutta ajanpuute/osaaminen/motivaatio rajoittaa tuota vahvasti.
PS. tänään taas on toiminut normaalisti näin aamupäivästä.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja hk_
Minulla menee parhaimmillaan ehkä 1min ison sarjan yhden päivän ottelujen kertoimien hakuun (ML/1x2 + totals).
Ensin haen kaikkien otteluiden linkit ja sen jälkeen availen otteluiden sivut ja haen Pinnclen päätöskertoimet.
Minulla menee parhaimmillaan ehkä 1min ison sarjan yhden päivän ottelujen kertoimien hakuun (ML/1x2 + totals).
Ensin haen kaikkien otteluiden linkit ja sen jälkeen availen otteluiden sivut ja haen Pinnclen päätöskertoimet.
Jos haluat voin jakaa koodin (Excel VBA + Selenium).
Samaan tyyliin mäkin haen noita kertoimia, joskin käytössä eri kieli (c#).
Kiitoksia tarjouksesta, mutta ehkä menen omalla ohjelmalla, kun siinä kaikki muukin toiminnallisuus mukana. Ei mullakaan siis tunteja mene normaalisti, vaan ehkä semmoinen yhteensä ½ - 1 tunti(a) saattaa mennä melkein kaikkien lätkäsarjojen lataukseen ja todennäköisyyksien laskentaan. Nyt meni 10min ja mukana 14 sarjaa. Ainakin yksi kehitysidea tuohon nopeuteen olisi, mutta toteutus sitten joskus.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja hk_
Aah okei, sulla siis mukana muuta laskentaa ja useampi sarja samalla. Se selittää
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja Dangler
Oddsportalissa ja flashscoressa pyörii otteluiden aikana live-kertoimet. Tiedättekö, onko tuota kerroindataa saatavissa jostain? Taitaa tosin olla, että siellä pyörii jokin looppi, joka vain hakee bet365-/unibet-kertoimet(flashscore) suoraan niiden sivuilta.
Re: Tulosten ja kertoimien automaattinen haku netistä?
Lähetetty:
Kirjoittaja Tappi
Näpyttelin omaan käyttöön R-skriptin, joka hakee oddsportalista pinnyn päätöskertoimet (tai voimassa olevat, jos kohde vielä auki). Tällä hetkellä NHL, mutta toki modattavissa muihin sarjoihin. Voin jakaa koodin ja opastaa käyttöön pientä korvausta vastaan jos jollain tarvetta.
