Sivu 1/1

Tulosten ja kertoimien automaattinen haku netistä?

Lähetetty:
Kirjoittaja jone
Olisi varmaan aika päivittää tulosten ja 1x2-kertoimien kirjaaminen käsin naputtelusta vähän automaattisemmaksi. Olen vuosia kirjannut päivittäin edellisen päivän tulokset ja kertoimet käsin ylös veto-ohjelmaani Oddsportalista. Ja alkaa pikku hiljaa tympiä tämä osuus. Ohjelmointitaitoa löytyy jonkin verran (c# ja c++), mutta netistä datan haku on jäänyt opiskelematta. Joskus oon vähän koittanut opetella, mutta on vaikuttanut niin hankalalta, että ei ole jaksanut liiemmin perehtyä asiaan. Ja viime vuosina jäänyt aika vähälle muutenkin koodailut, lähinnä pientä ylläpitoa tuohon ohjelmaani.

Onko kuinka helppo lähteä koodaamaan suht yksinkertaista ohjelmaa, jolla saisi haettua tulokset ja 1x2-kertoimet (keskiarvo tai korkeimmat kertoimet) tekstitiedostoon haluttuun muotoon? Ja mistä voisi lähteä liikkeelle ja millä kielellä tämä olisi helppo toteuttaa? Joko tuolta Oddsportal.comista tai Betexplorer.comista, kun niistä löytyy moniin/kaikkiin jääkiekkosarjoihin datat. Olisiko jotain hyvää sivustoa, mistä lähteä liikkeelle opiskelemaan?

Toinen vaihtoehto on, jos joltain löytyy valmiina jo moinen ohjelma ja olisi halukas tuon jakamaan vaikka pientä korvausta vastaan. Ja jos tuollainen löytyy, niin mielellään koodit mukana, niin pääsee tarvittaessa muokkaamaan sitä. Kun ei nuo nettisivut tunnu kovin pitkään olevan samanlaisia vaan päivityksiä tulee usein ja varmaan niitä hyödyntävät ohjelmat tarvitsevat koodiin muokkauksia myös.

Re: Tulosten ja kertoimien automaattinen haku netistä?

Lähetetty:
Kirjoittaja 911
jone kirjoitti:
09.01.2020, 11:34


Toinen vaihtoehto on, jos joltain löytyy valmiina jo moinen ohjelma ja olisi halukas tuon jakamaan vaikka pientä korvausta vastaan. Ja jos tuollainen löytyy, niin mielellään koodit mukana, niin pääsee tarvittaessa muokkaamaan sitä. Kun ei nuo nettisivut tunnu kovin pitkään olevan samanlaisia vaan päivityksiä tulee usein ja varmaan niitä hyödyntävät ohjelmat tarvitsevat koodiin muokkauksia myös.
Tuollainen https://www.webharvy.com/articles/scrap ... ortal.html saattaisi auttaa. Eikä tuo nyt kovin kalliskaan ole.

Re: Tulosten ja kertoimien automaattinen haku netistä?

Lähetetty:
Kirjoittaja HR Juz
jone kirjoitti:
09.01.2020, 11:34
Onko kuinka helppo lähteä koodaamaan suht yksinkertaista ohjelmaa, jolla saisi haettua tulokset ja 1x2-kertoimet (keskiarvo tai korkeimmat kertoimet) tekstitiedostoon haluttuun muotoon? Ja mistä voisi lähteä liikkeelle ja millä kielellä tämä olisi helppo toteuttaa? Joko tuolta Oddsportal.comista tai Betexplorer.comista, kun niistä löytyy moniin/kaikkiin jääkiekkosarjoihin datat. Olisiko jotain hyvää sivustoa, mistä lähteä liikkeelle opiskelemaan?
On se helppoa, uskoisin että saat väsättyä itse. (Jos oot kuitenkin oman softankin onnistunut C:llä koodaamaan niin tuollainen on helpompaa). Varsinkin jos haluat keskiarvon ja korkeimman closesta etkä esim avauksia/päivän sisäistä korkeinta kerrointa. Noihin pitää feikkihiirellä aktivoida ne kerroinliikkeet esim molemmissa noista sivuista. Mutta kaikki noi datat mitkä tuossa sivulla suoraan näkyy löytyy sieltä lähdekoodista. Jos esim klikkaat jotain kerrointa hiiren oikealla chromessa ja valitset inspect niin näet tarkemmin. Jos et siis yhtään tiedä mistä kyse niin ideana että tuo lähdekoodi ladataan sivulta ja sieltä etsitään halutut html-elementit ja otetaan tiedot talteen.

Henkkoht suosittelen tuollaiseen jotain Python/R Scriptiä. Varmaan C-taustalla voi Python olla helpompi. Sitä on helppo muokata ja ajaa komentoriviltä tai suoraan IDE:stä. Oon ite oddsportalia pythonilla screipannut, mut ei suoraan tollaseen löydy koodeja. Lähinnä kun pitäis tietää et mitä haluat hakea. Täähän siis onnnistuu hyvin silleen et haet vaikka kaikki päivän tai liigan tai minkä tahansa otteluiden linkit (ne löytyy kanssa lähdekoodista) ja sit looppaat nuo läpi tms.

Mutta tällainen onnistuu kyllä kaikilla kielillä. Tarvitset jonkin html-parser -paketin (+ ehkä jonkin millä sen lähdekoodin lataat). C# voi olla paremmat kirjastot tähän mutta uskoisin että onnistuu myös ++. Varmaan paras opetusmateriaali löytyy youtubesta. Sinne vaan {kieli} web scraping. Tarvittaessa 'html' mukaan.

Toinen vaihtoehto on tietenkin lukea suoraan Pinnyn APIa. Mut tietenkin jos haluat noi muutkin bookkerit mukaan niin ei riitä. Mut siihen sekä R että Python valmiit kirjastot (Python ei tosin ainakaan 'virallinen'). Ja onnistuu tuon APIn lukeminen tietty muillakin kielillä.

Re: Tulosten ja kertoimien automaattinen haku netistä?

Lähetetty:
Kirjoittaja jone
Pikaisella tutustumisella tuo Webharvy ei ole ihan semmoinen, mitä haluan. Mutta pidetään edelleen mielessä tuokin.

Viimeksi, kun noihin datan hakuihin yritin tutustua joku pari vuotta sitten, vaikutti turhan hankalalta päästä alkuun. Ehkä ei tullut etsittyä oikeasta paikasta apuja. Eipä kyllä tullut silloin mieleen etsiä apuja Youtubesta. Pitää tutkia löytyisikö noista apuja ja tällä kertaa yrittää vähän paremmin perehtyä aiheeseen. Tuo nykyinen ohjelmani on C#-kielellä tehty (aiemmin C++), joten pitänee ensin tutkia nuo, jos saisi tuohon ohjelmaan lisäiltyä suoraan noi datan haut.

Niin ja se mitä haen on yksinkertaisuudessaan helpoin toteuttaa niin, että haetaan yksittäisen sarjan (jääkiekko) kuluvan kauden ottelut tuloksineen ja 1x2-kertoimineen (keskiarvo tai korkeimmat) ja toki päivämäärät myös. Ja nämä sitten parseroidaan haluttuun muotoon. Ja tämä on siis päivittäin toistuva toiminto, jotta pysyy data ajantasalla. Toki muitakin tapoja olisi tuo toteuttaa, mutta varmaan helpoin noin.