Introductie
De data enigneering opleiding bestaat uit presentaties, cursusmateriaal, interactieve notebooks, voorbeelden en opdrachten. Je krijgt een introductie in de concepten die er toe doen in het data engineering vakgebied. De modules die dan volgen zijn een mix van theorie en praktijkopdrachten. Met behulp van voorbeeldcode kun je de eerste stappen maken als data engineer, daarna ga je al snel zelf aan de slag om je eigen code te ontwikkelen. Alle voorbeelden en het cursusmateriaal zijn direct bruikbaar. Ook na de cursus is al het materiaal een waardevolle asset waardevolle asset als ‘snel starter’ voor je nieuwe data engineering projecten! Een onmisbare tool box voor een snelle start van je project bij elke klant of in elk project.
Waarom CDEP? Wat maakt CDEP een unieke data engineering opleiding? Deze opleiding bestaat al sinds 2020. Er zijn al vele mensen u voorgegaan. De cursus wordt door de studenten altijd als “zeer goed” gewaardeerd! Het succes van deze opleiding is de eindpresentatie van de case van de cursus waarin alles samenkomt.
Een belangrijk onderdeel is de praktijkopdracht. De laatste weken ga je onder begeleiding van de ervaren DIKW docenten je eigen data engineering project vormgeven. Je zult niet de eerste zijn die hiermee een daverende businesscase voor de investering in deze cursus realiseert!
De praktijkopdracht kun je als businesscase gebruiken naar je leidinggevende voor de investering in deze opleiding!
Waarom kiezen voor DIKW Academy? Bij DIKW Academy werken docenten met jarenlange praktijkervaring in het vakgebied van data science. Onze docenten werken dagelijks in de praktijk aan uitdagende data engineering projecten bij onze belangrijke klanten.
In DIKW's visie zullen succesvolle organisaties van de toekomst transformeren naar een meer en meer data gedreven organisatie. Vanuit een informatievoorziening perspectief vindt een transformatie plaats naar een meer hybride omgeving in termen van gestructureerde en niet gestructureerde database systemen en services verdeeld en geschaald over verschillende cloud diensten. Data flexibiliteit staat daarbij centraal.
Data engineering is een breed vakgebied. Om je dit vakgebied eigen te maken zul je moeten investeren in verschillende concepten, tools en technologieën. Deze opleiding gaat je helpen om de data in de juiste vorm op de juiste plaats en op het juiste tijdstip te krijgen, zodat je eindgebruikers worden voorzien in hun informatiebehoefte.
Deze data systemen kunnen op verschillende wijzen worden gevoed: streaming, batch-georiënteerd, near-realtime via micro-services. Hiervoor zijn infrastructuren nodig die de moderne vorm en snelheden van dataverwerking aan kunnen. Je zult een gedegen basis krijgen in de beginselen van data management, zodat je de continu veranderende datastromen in goede banen kunt leiden. Daarnaast is het van belang dat gegevens goed beveiligd worden opgeslagen en tegelijkertijd goed en snel benaderbaar zijn voor de gebruikers. Tegelijkertijd dient de data gemodelleerd te worden zodat de eindgebruiker deze data op een efficiënte manier kan consumeren op de manier die zij wenst. De complete pipeline die voldoet aan alle vooraf gestelde eisen zul jij ontwerpen en ontwikkelen.
Deze opleiding zorgt voor een brede basis in het vakgebied. Je bent natuurlijk niet gelijk een doorgewinterde specialist maar de certificering garandeert een gedegen kennis van de huidige stand van zaken zoals je dat van DIKW Academy verwacht.
DIKW Academy, een hoogwaardig opleidingsinstituut, heeft sinds 2012 als eerste in Nederland, een volwaardig en uniek gecertificeerd programma ontwikkeld voor de nieuwe generatie data gedreven professionals.
We leven in de tijd van algoritmes, Artificial Intelligence en machine learning. Het data engineering landschap is enorm in beweging. Door een modulaire opbouw van het curriculum kunnen wij het programma optimaal afstemmen op nieuwe trends en ontwikkelingen. Deze opleiding is opgebouwd rond modules, iedere module levert een stuk theoretische achtergrond en een werkend stuk code waarmee je ook na de opleiding een vliegende start kunt maken op dat specifieke data engineering thema.
Inhoud
Leerdoelstelling In DIKW's visie zullen succesvolle organisaties van de toekomst transformeren naar een meer en meer data gedreven organisatie. Hierin speelt het analyseren en toepassen van algoritmes en statistiek een steeds belangrijkere rol.
Data engineering is een breed vakgebied. Om je dit vakgebied eigen te maken zul je moeten investeren in verschillende concepten, tools en technologieën. Deze opleiding gaat je helpen om de data in de juiste vorm op de juiste plaats en op het juiste tijdstip te krijgen, zodat je eindgebruikers worden voorzien in hun informatiebehoefte.
De opleiding data engineering zorgt voor een brede basis in het vakgebied. Je bent natuurlijk niet gelijk een doorgewinterde specialist maar de certificering garandeert een gedegen kennis van de huidige stand van zaken zoals je dat van DIKW Academy verwacht.
Programma Week 1: Introductie Hieronder wordt het hele programma wordt kort doorlopen, zodat je weet wat je kunt verwachten. We duiken zo snel mogelijk in de wereld van data engineering. We behandelen wat (big)data engineering is. Welke skills heeft een data engineer nodig? Hoe werken gedistribueerde datastores?
Week 2: Data Management Proces & Big Data Infrastructure Je wordt meegenomen in de beginselen van DAMA waarbij je meer inzicht krijgt in (big) data Management, (big) data Architecture en (big) data Infrastructure. In deze module gaan we zelf aan de slag. Je zal eerst inzicht krijgen in de verschillende vormen van een data-pipeline en daarna werk je de code voor diverse data-pipelines verder uit. Je leert hoe je een bestand moet uitlezen van HDFS, een transformatie uitvoeren in Spark. Een REST API uitlezen (met authenticatie) en de data manipuleren. Ook komt stateless v.s. stateful processing aanpassen in een Python implementatie van een Apache Kafka en een Apache Flink streaming proces aan bod.
Week 3: Data-Quality, Security, Storage, Operations & Spark We geven weer een mix zijn van theorie en praktijk. Vanuit de DAMA optiek zal je de beginselen gedoceerd krijgen van Data Quality, Data Security en Data Storage. Waarom bestaat het en waarom is het zo belangrijk? Het praktische gedeelte zal bestaan uit het transformeren van data in Spark. Hierbij zal vooral aandacht besteed worden aan dataselectie, data cleansing en het aggregeren van data.
Week 4: Data- Ethics, Governance, Integration, Interoperability, MDM, MRM, & Hadoop Opnieuw is er een mix van theorie en praktijk. Je gaat vanuit de DAMA optiek aan de slag met Data Ethics om er voor te zorgen dat je snapt waar grenzen liggen en wanneer deze dreigen overschreden te worden. Hoe je in Data Governance de lijnen neerlegt en de piketpaaltjes slaat zodat je de betrouwbaarheid van data kunt waarborgen. Data Integration en Data Interoperability zullen ook aan bod komen. Je zult ook een overzicht krijgen van de verschillende databases/datastores (SQL en NoSQL) die er zijn, wanneer en hoe je ze inzet. Tijdens de les komen producten zoals Hadoop, MongoDB, Neo4J, MarkLogic, etc. aan bod. Tijdens het praktijkgedeelte ga je onder meer aan de slag met het bouwen van een Pipeline naar Hadoop, tabellen aanmaken in Hive, een node toevoegen in een HDFS Cluster, etc.
Week 5: Data Modelling and Design, DWH, BI, Metadata Management & ELK We starten met de theorie uit DAMA over Data modelling en design, de principes van data warehousing, business intelligence en metadata management. Al snel ga je weer met praktijkcases aan de slag. Je gaat deze keer een pipeline bouwen in de ELK stack (Elasticsearch, Logstash, Kibana) en de ingelezen data query-en en visualiseren.
Week 6: Data Modelling & Data Logistics & Big Data Infrastructure Deze module gaat over de architectuur en componenten van een Logical Data Warehouse (Data Lake, Landing Zone, Raw Data Layer, Cleaned Data Layer, Business Data Layer, etc). Hoe kun je het best de verschillende intelligence ontwikkelstijlen hier op plotten ter ondersteuning van BI & Analytics vraagstukken? Tijdens het praktijkgedeelte gaan we dieper in op containerization en hoe je dit doet met behulp van Docker. Je gaat pipelines uitrollen en connecties leggen tussen verschillende Docker containers. Als je dit redelijk onder knie hebt gaan we door met het zogenaamde “container orchestration” met behulp van Kubernetes.
Week 7: Data Modelling, Data Logistics & Cloud Services We gaan dieper in op de integratie van de data uit de bronsystemen. Er wordt kort ingegaan op een aantal data vault concepten, om vervolgens twee vormen van een integratiemodel te bespreken: OMARIC en OMAFIC. In het praktijkgedeelte introduceren we de cloud: de architectuur, services, belangrijkste cloud providers en de voor- en nadelen. De relatie met het reeds onderwezen kader in eerdere modules met de aangeboden services in de cloud: Containers, Kubernetes, Hadoop, Databases, Kafka, etc. En de manieren van interactie met de cloud: opdrachtregel, API, web-UI, etc. Je gaat in Azure aan de slag om dit allemaal in de praktijk te brengen.
Week 8: Data Modelling & Data Logistics & Start Case We gaan het hebben over de presentatie-laag. In deze laag staat typisch de data zoals deze aan de eindgebruikers wordt gepresenteerd. In de meeste gevallen wordt deze gemodelleerd als een ster model (dimensional modeling) omdat deze vorm eenvoudig te begrijpen is voor de eindgebruiker, in tegenstelling tot bijvoorbeeld een relationeel model. Hier leer je de dimensionele modelleertechniek van Kimball en kun je deze afzetten tegen de relationele en Data Vault modelleertechnieken die eerder in deze cursus zijn behandeld. Als praktijkopdracht geldt in deze module dat je in staat bent om zelf een eenvoudig dimensioneel model te ontwerpen en bouwen. Op deze dag zullen ook de cases opgestart worden waar jij je de komende weken mee bezig gaat houden.
Week 9: Introductie Case In overleg stellen we een opdracht samen per cursist, eventueel in teamverband wordt er gewerkt aan een opdracht, een belangrijk onderdeel van de certificering als data engineer. De deelnemers hebben deze dag de tijd om onder begeleiding om aan de opdracht te werken.
Week 10: Data Logistiek Verwerking onder Architectuur Je gaat aan de slag met de organisatorische aspecten van data logistiek. Gegevensverzamelingen voor datawarehouse en data engineering toepassingen dienen regelmatig of continu betrouwbaar te worden aangevuld of ververst. Indien er (on)geplande verstoringen zijn, dient dit zo efficiënt mogelijk te worden behandeld. Hiervoor zijn twee instrumenten die tegelijkertijd nodig zijn: Service Level Agreements en Data Delivery Agreements (GegevensLeverings Overeenkomsten). In deze module komt de relevantie van deze overeenkomsten en de relatie met de cursus serie aanbod.
Week 11: Examen Een kort oefenexamen wordt afgenomen als voorbereiding op het examen over theorie. De deelnemers hebben deze dag de tijd om onder begeleiding aan de opdracht te werken.
Week 12: Voordracht & Borrel Het resultaat van de opdracht wordt gepresenteerd in een voordracht van maximaal 20 minuten. De presentatie is voor de andere cursus deelnemers en de examen commissie. De presentatie wordt beoordeeld op analytische diepgang en de commerciële businesscase. Na een evaluatie van de training door de cursisten en de beoordeling van de presentaties gaan we over tot de feestelijke uitreiking van de certificaten Certified Data Engineering Professional.
Locatie
Leren en studeren in ons Academy lokaal in Nieuwegein is door de inrichting zeer prettig. Je bent van alle gemakken voorzien als aankomend data engineer. Koffie en fris is binnen handbereik en er wordt dagelijks gezorgd voor versnaperingen en een lunch of diner. In het direct aanpalende restaurant kun je een potje poolen of racen op onze Playseat ter ontspanning.
In het lokaal kun je op het grote scherm de presentatie goed volgen en alle uitleg die gegeven wordt op het elektronische whiteboard, kun je toegestuurd krijgen. Het lokaal is ruim opgezet waarbij het mogelijk blijft om genoeg interactie te hebben tussen de docent en de cursist.
Het is ook mogelijk om de lessen op afstand te volgen. Door middel van het cameravolgsysteem in het lokaal kun je meekijken vanuit huis en heb je dezelfde ervaring als wanneer je in het lokaal zit. Wanneer je je camera aanzet kunnen de docent en cursisten je ook zien en verhoog je de interactie met je medecursisten. Vanaf je werkplek thuis of op kantoor kan je gewoon meepraten met de andere cursisten in het lokaal.
Investering
Investering De investering voor de gehele CDEP zijn EUR 6600,- (excl. BTW)
In de cursus zijn inbegrepen:
12 lesdagen op locatie of vanaf je werkplek Lesmateriaal & studieboeken Lunch of diner op de lesdagen Koffie, thee, fris en versnaperingen tijdens de lesdagen
Fiscale aftrekbaarheid Vanaf 1 januari 2022 zijn studiekosten niet meer aftrekbaar. In plaats hiervan komt het STAP-budget .
DIKW Alumni krijgen 10% korting. Heb je al eens een opleiding, cursus of training bij ons gevolgd dan krijg je van ons 10% korting op de volgende cursus, training of opleiding.
Hiervoor dien je je wel aangemeld te zijn als DIKW Academy Alumni.
Ben je nog niet aangemeld?
Doe dat dan via deze link .
Aanmelden
Toelating Er is geen specifieke voorkennis nodig. Het helpt natuurlijk wel als je al ervaring hebt met bepaalde onderdelen van de opleiding. Bij de Certified Data Engineering Professional (CDEP) is het bijvoorbeeld handig als je je kennis van beschrijvende en toetsende statistiek hebt opgefrist of als je al ervaring hebt in een scriptingtaal.
Aanmelden Je kan je aanmelden door het formulier in te vullen.
Na je aanmelding:
Krijg je de bevestiging dat je ingeschreven bent Je wordt geïnformeerd over het verder verloop van de aanloop naar de cursus 3 weken voor aanvang van de cursus krijg je alle informatie toegestuurd die je nodig hebt om aan de slag te gaan.
Routebeschrijving De data van de de lesdagen (i.v.m. vakanties, etc.) De studiewijzer
Carrière
Wat levert het je op? Als gecertificeerd data engineer ben je klaargestoomd voor de toekomst. De opleiding CDEP zorgt voor een brede basis in het vakgebied. Je bent natuurlijk niet gelijk een doorgewinterde specialist maar de certificering garandeert een gedegen kennis van de huidige stand van zaken zoals je dat van DIKW Academy verwacht.
Door de eindopdracht die je uitvoert gedurende de cursus zorg je ervoor dat al het geleerde in de praktijk wordt gebracht en de kennis op zijn plek valt.
Je zult niet de eerste zijn die hiermee een daverende businesscase voor de investering in deze cursus realiseert!
Bekijk ook wat de gecertificeerde data engineer nu doet op onze Alumni pagina op Linkedin
FAQ
Q: Hoeveel werk-, studie- en contacturen zijn er?
A: We hebben opleidingen van een dag tot een half jaar. De studiebelasting is zo gekozen dat je de opleiding naast je werk kunt doen. Dat wil zeggen dat je naast de opleidingsdag/middag/ avond er vanuit moet gaan dat je nog een avond (3 uur) bezig bent met studeren, opdrachten, etc.
Q: Hoeveel tijd besteedt een cursist gemiddeld aan individueel werk en groepsopdrachten?
A: Veel van de opleidingen bij DIKW Academy zijn praktisch ingestoken. Dat wil zeggen dat je hands-on aan de bak moet. Tools installeren, dingen uitzoeken en aan de praat krijgen. Algorithms proberen, testen of dingen werken en of je snapt wat er gebeurt. Daarnaast is in veel opleidingen een praktijkcase die je als team of als individu uitvoert. Als je dat een beetje handig aanpakt zul je zien dat je die opdracht heel mooi kunt gebruiken om een eerste Minimal Viable Product (MVP) op het gebied van data science of data engineering kunt maken voor jouw opdrachtgever. Daarin willen mensen nogal eens erg enthousiast worden en er meer tijd in steken dan zo vooraf hadden gedacht. Maar wel met vaak een heel mooi resultaat.
Q: Op welke locatie worden de lessen gegeven?
A: DIKW Academy heeft een opleidingsruimte in Nieuwegein
Q: Bieden jullie ook online lessen aan?
A: Ja, we hebben een eigen video conferencing service (Jitsi) en een e-learning platform (Moodle) waar al het materiaal beschikbaar is.
Q: Wat voor voorkennis heb ik nodig?
A: Tenzij anders aangegeven bij de opleiding is er geen specifieke voorkennis nodig. Het helpt natuurlijk wel als je al ervaring hebt met bepaalde onderdelen van de opleiding. Bij de opleiding Certified Data Engineering Professional (CDEP) is het bijvoorbeeld handig als je je kennis hebt in een scriptingtaal. Ook voor CDEP is er echter geen specifieke voorkennis nodig, bij inschrijving ontvang je een document waarin staat hoe je je optimaal kan voorbereiden op de opleiding.
Q: Heb ik eigen data nodig om de praktijkopdracht uit te voeren?
A: Je hoeft geen eigen data te hebben om de praktijkopdracht uit te voeren. Ook met een dataset die online te vinden is kun je een mooie praktijkcase maken. De docent zal je begeleiden bij het zoeken naar een geschikte dataset.
