| banjalukaforum.com https://banjalukaforum.com/ |
|
| Povlačenje podataka sa veb sajta? https://banjalukaforum.com/viewtopic.php?f=18&t=69035 |
Stranica 1 od 1 |
| Autoru: | white eagle [ 07 Sep 2020, 10:34 ] |
| Tema posta: | Povlačenje podataka sa veb sajta? |
Pozdrav da li postoji način da se povuku podaci sa veb sajta u exel. U pitanju je http://bizreg.esrpska.com/Home/Pretraga ... ogSubjekta. Znači da li ima način da putem nekog programa ukucam pretragu preduzeća i kada ga nađe, da povučem relevantne podatke u excel. Možda sam malo nejasno pitao, al nadam se da me suštinski razumijete. Unaprijed se zahvaljujem. |
|
| Autoru: | giometar [ 07 Sep 2020, 10:36 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
postoji nacin napravis web scraper |
|
| Autoru: | Besparica [ 07 Sep 2020, 10:51 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Koristis npr. Selenium... |
|
| Autoru: | white eagle [ 07 Sep 2020, 12:20 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Da li postoji neki tutorijal, potpuno mi je nepoznata materija. |
|
| Autoru: | Piro [ 07 Sep 2020, 12:27 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Tesko da ces moci ako ti je nepoznata materija, ali mogu ti ja napraviti scraper da uneses sta ti treba i on ti da u tvom formatu, samo je pitanje koliko ti vrijedi to  @Besparica Ne treba selenium, sad sam radio request fiddle, moze se preko njihovog internog apija malo modifikovati request i dobiti json object nazad sa rezultatima. |
|
| Autoru: | white eagle [ 07 Sep 2020, 12:38 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Potrebno mi je da napravim bazu pravnih lica, za potrebe knjigovodstva, sa tačnim podacima. E sad nalazio sam neke addone za chrome, ali nije to ono baš što mi treba. Može li neki primjer scrapera, da vidim kako funkcioniše, naravno ako ne oduzima puno vremena. |
|
| Autoru: | Besparica [ 07 Sep 2020, 12:43 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Koji jezik koristis? Koje okruzenje? Koji browser? |
|
| Autoru: | white eagle [ 07 Sep 2020, 12:50 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Browser: Firefox Pod jezikom mislis na programski ili lingvistički Okruženje ? |
|
| Autoru: | Besparica [ 07 Sep 2020, 12:53 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Druze, plati Sehxoru.
|
|
| Autoru: | white eagle [ 07 Sep 2020, 12:55 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Pošteno Mislio sam da to može nešto jednostavnije Hvala na pomoći |
|
| Autoru: | filozof sa vrbasa [ 10 Sep 2020, 03:38 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Ehej braćo evo i mene. Probao sam da napravim, valjda je to to, kad klijent nije iznio više informacija o tome šta je zamislio. http://mojprviscraper.epizy.com/scraper.php Ako upišete u polje Osnivač Igor Dodik ili Gorica Dodik npr, izlistaće neke firme.  Polje pretežna djelatnost ne radi, ovaj radi ako korisnika zna koji je id, ja ne znam kako izvući value toga inputa. Napatio me kodni raspored Excela i PHP, a onda sam za naša slova umetnuo hex vrijednost i vozi. I Excel se nešto buni kod otvaranja fajla, ali treba samo kliknuti yes i sve će fino raditi, barem radi kod mene na 2019. |
|
| Autoru: | Castra [ 10 Sep 2020, 06:50 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Ja sam prije koristio BeautifulSoup za ovo. Zanimljivo za igranje...
|
|
| Autoru: | Piro [ 10 Sep 2020, 07:12 ] |
| Tema posta: | Re: Povlačenje podataka sa veb sajta? |
Prebaci character encoding na UTF-8 i prikazace ti nasa slova, ovo je endpoint http://bizreg.esrpska.com/Home/SearchPo ... ageSize=10 Posaljes POST request na taj url sa parametrima search formulara, mozes promjeniti jtPageSize=10 na 2000, sve preko kako sam skontao daje timeout i dobijes json object nazad, parsujes ga i dobijes isto koliko konacno rezultata ima i onda mozes uraditi offset konacno - 2000 i podesis StartIndex pa uradis opet jos jedan query, a prije toga sve snimas u variajablu i onda sa konacnim rezultatima uradis echo u CSV format, posesis PHP header na: header("Content-type: text/csv"); header("Content-Disposition: attachment; filename=file.csv"); header("Pragma: no-cache"); header("Expires: 0"); I trebao bi dobiti odmah sve sa pretrage eksportovano fino u csv jedno ispod drugog, ovo sam testirao samo sa slovo A u pretrazi pa je bilo oko 3600 rezultata  Edit: nisam siguran da li se smije ovo raditi, ali "for educational purposes"
|
|
| Stranica 1 od 1 | Sva vremena su u UTC [ DST ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|