banjalukaforum.com

Ponukan ovom temom, pokrenuo bih ovu temu tako da se nadam da ima zainteresovanih.
Proslo je cca 10 godina od kada sam poceo da njuskam oko programiranja pa sam u medjuvremenu prije par mjeseci presao na data mada ne vidim mnogo neke razlike izmedju back end dijela oko baze i data engineeringa osim sto se ovamo koriste specificni tool-ovi i fokus je iskljucivo na baz(u|e). Moguce da imam takvo misljenje jer sam tek zagazio tu.

Sa druge strane imam utisak da je DE trenutno hyped na trzistu, a da je web dev zasicen poprilicno. Ili se mozda varam.

Da li je jos neko cuo za dbt btw i ima li kakva iskustva s njim?

_________________
Ako si najbolji u sobi u pogresnoj si sobi

Hajp je svake godine sve veci i veci, sto je posljedica hajpa koji je bio oko data sciencea i ML-a prije toga. Svi bi da rade ML ali su im podaci u k**cu, a odgovor na to je da unajme ljude koji ce ti napraviti dobru infrastrukturu kako bi mogli izvuci nesto korisno iz tih podataka.

Sto se backenda tice, ima odredjenih preklapanja, ali ne toliko koliko se na prvu cini. Kako je DE jos mlada oblast, dosta stvari jos nije standardizovano, a takodje se mogu naci raznoliki profili ljudi, od hard core developera, preko bivsih DBA, do cistih SQL madjionicara.

Alatke i stackovi koji se koriste su takodje raznoliki, s jedne strane postoje firme i ljudi koje koriste samo low code/no code alatke poput SSIS, Informatica i sl, preko pandas samuraja, do Spark nindzi. Od jezika najzastupljeniji je SQL, ubjedljivo, a pocasno drugo mjesto drzi Python. Nesto malo ide na Scalu, jos manje na Javu. Takodje, DE ce uglavnom raditi sa cloud tehnologijama, po mom iskustvu AWS i Azure prednjace u odnosu na GCP sto se tice poslova. I naravno Snowflake, tesko je danas u jednom trenutku ne naletjeti na Snowflake.

Neko moje vidjenje "idealnog" DE bi bilo - solidno programira, SQL ima u malom prstu, dobro zna sisteme baza podataka, zna pokoju o networkingu te poznaje osnove DevOps praksi.

_________________
Umro je Džimi Hendriks iz Sijetla,
Klepton i Pejdž su dva matora pijetla,
al' budućnost je ipak svijetla
sve dok nam je Popokatepetla...

Da dosta sam vidjao da se data infrastruktura na snowflake gradi preko teraforma.
Ali sumnjam da nije bilo podataka u k*rcu i ranije btw.

A gdje je sada Hadoop u svemu tome?

_________________
Ako si najbolji u sobi u pogresnoj si sobi

Ne vidjam cesto Hadoop u DE opisima posla, veliki dio alatki iz njegovog sistema su zamijenila novija i bolja rjesenja, prvenstveno Spark.

_________________
Umro je Džimi Hendriks iz Sijetla,
Klepton i Pejdž su dva matora pijetla,
al' budućnost je ipak svijetla
sve dok nam je Popokatepetla...

Svako malo se stvori hype oko neke tehnologije - prije 10-ak godina se pocelo aktivnije sa Cloudom, pa se onda preslo na mikroservise, istovremeno navodeci BigData (Hadoop, Spark, Data Lake), a zacinilo se Blockchainom, potom su dosli Kubernetes, Cassandra, Kafka i trenutno Machine Learning/AI.
Meni je najfascinantniji bio jedan kvazi "Enterprise arhitekta" u Erste banci, koji je svakodnevno pratio najnovije trendove i odmah zagovarao koristenje najnovijih tehnologija - a svaki put kad bih ga pitao:"Ok, ajd mi navedi neki Use case za tu tehnologiju", on se stilta sa upitnikom iznad glave... Radili smo tad na ogromnom projektu baziranom na Oracle bazi (DataWareHouse sa oko 50 Terabajta), a on kaze:"Ajmo prebaciti sve poslovne procese da pozivaju mikroservise", a vrhunac je bila provala:"Zasto ne bismo prebacili Oracle bazu na Docker container?", nakon cega smo ga bukvalno ismijali.

Ja pri radu na svakom projektu pokusavam da shvatim Use case poslovnih procesa, pa tek onda da vidim koja tehnologija je najprikladnija. Ihahaj puta sam shvatio da je krajnjim korisnicima bio dovoljan i Excel, a ne Oracle baza u sklopu projekta vrijednog nekoliko miliona evra.

Da se osvrnem i na konkretna pitanja: Hadoop sam na par projekata vidjao samo u svrhu Data Lakea, gdje se trpalo sve i svasta - od XML i CSV fajlova, preko slika, Avro i "parket" fajlova, pa do PDF-ova. Sve se "parsiralo" preko Sparka i onda procisceno i uredjeno trpalo u Oracle bazu.

Data Engineer je u sustini sinonim za nekog ko zna SQL i ima domensko znanje u nekoj bransi.

Ako neko zeli da se prekvalifikuje, trenutno je velika potraznja u Austriji i Njemackoj, a bome i u Banjaluci za Oracle APEX developerima -> apex.oracle.com , pa ucite. Kad naucite, javite se za posao.

_________________
Sve sto sam napisao, slucajno je namjerno ...

Konačno smislen post.

Jedino, možda malo precizirati nivo domenskog znanja Data Engineer-a. OK, slažem se, treba da ga ima, ali ne na nivou Data Scientist-a, recimo. Više je fokus na tehničkim skilovima, nego na domenu.

Mora se priznati, u poredjenju sa svim novim fensi tehnologijama razvoj aplikacije u APEX i PL/SQL je makar pet puta brzi.

_________________
Eins, zwei, eins, zwei build an empire, very Prussian!
Exhaust gasses go into the turbocharger and spin it, witchcraft happens, and you go faster.

Ne bas, ovo bi bio neki business ili data analyst. Iako je SQL "kru i maslac" i jednima i drugima, DE se vise bavi pripremom podataka za analiticare, (migracije, postavljanje i odrzavanje infrastrukture i sl).

_________________
Umro je Džimi Hendriks iz Sijetla,
Klepton i Pejdž su dva matora pijetla,
al' budućnost je ipak svijetla
sve dok nam je Popokatepetla...

Iz iskustva znam - dzaba SQL i tehnicko znanje, ako se ne poznaje domen/bransa za koju se obradjuju podaci. Pa moja firma zaradjuje na tome, sto dobri programeri ne znaju da barataju podacima kako treba.

Radio sam na jednom projektu sa jednim stvarno dobrim ekonomistom, ali je isuvise vremena i zivaca gubio da sam nakuca SQL upite, kako bi dobio zeljeni rezultat. Nakon sto smo sjeli zajedno i obavili analizu Use casea, zavrsili smo sve upite za nekoliko dana. Ja bez njega ne bih uspio sam, kao ni on bez mene (ili nekog drugog SQL-aša). Naći ove skillove u jedonj osobi je praktično nemoguće, a ako ga i nađeš, misliš da će se on zadržati kod tebe u firmi!? Jok, ode on dalje, ganjati privatne projekte sa ciljem otvaranja svoje firme.

A najjači su mi oglasi za posao, u kojem se za tu poziciju navede hrpa skillova, kao da traže čitav IT department, a ne jednu osobu... Bullshit.

_________________
Sve sto sam napisao, slucajno je namjerno ...

Kao što rekoh, mora se znati nešto iz domena, međutim, nije to fokus data engineer-a (https://www.altexsoft.com/blog/what-is-data-engineer-role-skills/).

To što ti pričaš se veže za male projekte na kojima radi mali broj ljudi. Tada je neminovno da jedna osoba igra više uloga.

Takođe, mislim da znanje SQL-a ne čini nekoga data engineer-om. Primjer koji navodiš više asocira na to da si ti bio u ulozi data analyst-a zajedno sa tim ekonomistom, koji je bio u ulozi domenskog stručnjaka.