Bouw een volledige end-to-end Analytics oplossing gebaseerd op een Data Lake in de cloud. Dat was de stageopdracht aangeboden door Ordina, een van de grote IT-consultancy bedrijven in de Benelux, waar ik me aan gewaagd heb. Hierbij lag de focus zowel op data ingestion als transformatie en rapportering. Dit platform moest eindgebruikers in staat stellen om nieuwe rapporten te bouwen en data scientists in staat stellen om modellen te trainen en data te hergebruiken.

In deze oplossing ondersteunde ik een fictief bedrijf Vision Airport in het bouwen van een nieuw Analytics platform. Het nieuwe platform bevond zich volledig in de Amazon Web Services cloud en had een Data Lake als fundament. Ik was zowel betrokken bij de ontwerpfase van dit project als de implementatie ervan. In deze oplossing diende ik rekening te houden met vereisten rond schaalbaarheid, performantie en kost-efficiëntie.

De tools die ik gebruikt heb mocht ik zelf kiezen, uitgezonderd het gebruik van de AWS cloud. Python was aangeraden als programmeertaal, maar ook andere waren toegelaten. Het uitzoeken van de geschikte tools was dan ook een belangrijk onderdeel van deze opdracht. Doorheen deze opdracht leerde ik ook werken met DevOps principes, zoals source control en Infrastructure as Code. Deze waren uiteindelijk wel nog vrij beperkt omdat ik alleen aan het project werkte en hier niet al te vaak rekening met moest houden.

Het uiteindelijke doel van deze opdracht was dat de stagiair met alle belangrijke onderdelen van Big Data eens aan de slag zou gaan.

Als u graag meer wil weten over de stageopdracht, verwijs ik u graag door naar mijn plan van aanpak waarin een meer gedetailleerde opdrachtbeschrijving -en situering in staat, in het realisatiedocument kan u een walktrough doorheen mijn stage terugvinden (wat ik dus exact gerealiseerd heb), en tenslotte in het reflectieverslag kan u mijn verhaal vinden hoe ik de stage persoonlijk ervaren heb.

-> Terug naar Stage & Projecten