After Hours: Data Mesh i praksis
Torsdag 27. januar arrangerte vi digital After Hours! Tema for kvelden var Data Mesh i praksis. Data Mesh og distribuert dataforvaltning har vært en tydelig trend ved etablering av dataplattformer de siste årene. I løpet av kvelden belyste vi hva Data Mesh egentlig er, samt andre konsepter for dataforvaltning som tradisjonelle datavarehus og datasjø. Du lærte også hvordan din virksomhet kan lage treffsikre og brukerorienterte tjenester med smart bruk av data.
Kvelden startet med en introduksjon til tema av Per Axel Aamot, en av våre erfarne rådgivere innenfor Data Science, før fellesforedrag med Max Schultze, Data Engineering Manager hos Zalando. I sitt fellesforedrag snakket han om erfaringer rundt Data Mesh og hvordan Europas ledende online plattform for mote jobber med dette. Deretter hadde vi to spor med foredrag. Track 1 med fokus på forretningssiden og brukeropplevelse, samt et mer teknisk Track 2. Se opptak og les mer om de ulike foredragene nedenfor.
Faglig program
Introduksjon og fellesforedrag
17.00-17.20: Velkomst og introduksjon til kveldens tema
Velkomst og introduksjon til kveldens tema. Hva vil det si å være datadrevet og hvilke hindringer finnes? Og hva er Data Mesh egentlig?
Per Axel Aamot er rådgiver innenfor datavarehus-løsninger og datadrevet utvikling med lang fartstid fra prosjekter i offentlig sektor. Han har jobbet mye i krysningspunktet mellom teknologi og fag, og er opptatt av nye trender som Data Mesh.
Kl. 17.20 – 18.00: How Europe’s Leading Online Platform for Fashion Goes Beyond the Data Lake
The Data Lake paradigm is often considered the scalable successor of the more curated Data Warehouse approach when it comes to democratization of data. However, many who went out to build a centralized Data Lake came out with a data swamp of unclear responsibilities, a lack of data ownership, and sub-par data availability.
At Zalando – europe’s biggest online fashion retailer – we realized that accessibility and availability at scale can only be guaranteed when moving more responsibilities to those who pick up the data and have the respective domain knowledge – the data owners – while keeping only data governance and metadata information central. Such a decentralized and domain focused approach has recently been coined a Data Mesh. This talk will take you on a journey of how we went from a centralized Data Lake to embrace a distributed Data Mesh architecture backed by Spark and build on Delta Lake, and will outline the ongoing efforts to make creation of data products as simple as applying a template.
Max Schultze is a lead data engineer working on building a data lake at Zalando, Europe’s biggest online platform for fashion. His focus lies on building data pipelines at petabytes scale and productionizing Spark and Presto on Delta Lake inside the company. He graduated from the Humboldt University of Berlin, actively taking part in the university’s initial development of Apache Flink.
Track 1: Forretning og brukeropplevelse
Kl. 18.00 – 18.30 «Vi deler data via vår datamarkedsplass» – NAVs dataambisjon og ny tilnærming til Data Mesh
En av NAVs IT-ambisjoner handler om data, og representerer en ny retning for hvordan NAV vil jobbe med data. Cathrine vil fortelle om den nye tilnærmingen til data, som er sterkt inspirert av Data Mesh, og hvordan NAV jobber med operasjonalisering av den nye tilnærmingen.
Cathrine Pihl Lyngstad leder dataseksjonen i NAV, og brenner for verdiskapende og ansvarlig deling og bruk av data i offentlig sektor. Hun er utdannet siv.ing. i industriell økonomi ved NTNU og har i mange år jobbet i grenselandet forretning / teknologi / data – først i software- og konsulentbransjen og siden 2018 i NAV.
Kl. 18.30 – 19.00 Vi har data – men forstår vi dem?
Virksomheter jobber iherdig med å bli datadrevet og skyen blir viktigere og viktigere, men når vi nå har tilgang på all denne dataen – klarer vi å skape verdi ut av den? Du har nok også hørt ordet datavisualisering blitt slengt rundt, men hva betyr det i praksis? Gjennom foredraget går vi nærmere inn på visualisering av data og hvordan man kan jobbe med dette for å skape «verdi». Vi skal se på hvilke utfordringer man kan møte på og hvordan du raskt kan bruke enkle prinsipper til å skape gode visualiseringer enten du er designer, utvikler, data manager eller rett og slett nysgjerrig.
Marte Rimer er UX-designer i Computas og er spesielt opptatt av å skape engasjement og ny innsikt hos brukere gjennom utarbeidelse av meningsfulle visualiseringer.
Track 2: Teknologi og data
Kl. 18.00 – 18.30 Datadrevet framtid i offentlig sektor
I dette foredraget vil Hans-Jacob Melby fortelle om sine erfaringer med Data Mesh-prinsipper hos en kunde i offentlig sektor. Han vil gi innsikt i hvordan de strømmer data ved bruk av Kafka og erfaringer med de løsningene som i dag finnes i markedet.
Hans Jacob Melby har lang erfaring med utvikling og forvaltning av arkitektur og applikasjoner. Han har hatt flere type roller – løsningsarkitekt, tech lead, Scrum master og utvikler. Hans Jacob har jobbet hos flere store offentlige virksomheter som Domstolene, NAV, SPK og Skatt Øst. Som arkitekt har han jobbet mye med optimalisering av leveranser og samspillet mellom utvikling og arkitektur.
Kl. 18.30 – 19.00 Datasjø i Azure
Flere virksomheter ønsker å modernisere sin dataforvaltning ved å gå fra et tradisjonelt datavarehus til en datasjø. Men hvilke konkrete fordeler gir det? I dette foredraget vil vi belyse de effektene virksomheter kan ta ut ved etablering av datasjø, og hva som skal til av arbeid for å få det til. Gjennom et praktisk case med en kunde i offentlig sektor, vil vi vise hvordan en datasjø kan etableres ved hjelp av Azureplattformen.
Peder Lång Skeidsvoll er en erfaren arkitekt og systemutvikler som har erfaring fra flere store og komplekse systemer med et mangfold av teknologiske og funksjonelle utfordringer. Han har gjennomført flere ekspert-oppdrag hvor han har rådgitt kunder på deres dataforvaltning og gjennomført proof of concepts for å teste ut teknologi.
