Quina diferència hi ha entre un arquitecte de dades, desenvolupador de bases de dades, enginyer de dades i desenvolupador ETL?


Resposta 1:

Totes són designacions i rols definits per l’organització individual i de manera tradicional. Permeteu-me respondre al paper i responsabilitat tradicional d’aquests rols i del que passa ara:

Desenvolupador d’ETL: qui escriu el mapeig de dades i la transformació, el flux de treball i el flux de processos d’una tasca ETL iniciada principalment en l’eina com Informatica, PL / SQL, Datastage, ODI, Ab Initio

Desenvolupador de bases de dades: qui escriu els SQL, PL / SQL, els procediments emmagatzemats, els activadors per realitzar un treball específic dins de la base de dades i scripts de Shell i executar-los a través de tasques de Scheduler o CRON

Data Architect: qui dissenya el model de dades, l’arquitectura i l’estratègia de gestió de dades d’una organització; normalment per a qualsevol eina de gestió de dades a tota la indústria

El terme actual és Data Engineer: expert en adquisició de dades de diverses fonts (estructurades o no estructurades), diversos tipus de format de dades, volums i velocitat i emmagatzemar les dades a la plataforma Big Data / plataforma Data Lake (plataforma relacional o Hadoop) o de qualsevol altra manera), realitzeu la integració de dades mitjançant fonts ETL / Open, assegureu la qualitat de les dades i la programació de la gestió i la compartició de dades en temps real. Es tracta d’un 60–70% de l’esforç en una plataforma analítica organitzativa.

Espero que això s’esborri


Resposta 2:

l'arquitecte de dades dissenya el flux de final a extrem dels missatges des de l'origen al destination.what protocol a utilitzar, quines característiques de seguretat cal considerar, totes les NFR com alta disponibilitat, DR, etc., l'arquitecte decideix.

El desenvolupador de bases de dades s'ocupa de crear la base de dades, taules, esquemes, etc., juntament amb les restriccions d'accés, manteniment, etc.

un enginyer de dades gestiona el flux de dades d’origen a destí, quan les dades són grans. ajuden a les funcionalitats informàtiques distribuïdes (per exemple, xispa a hadoop) per gestionar l’entrada de dades grans juntament amb la neteja, transformació i emmagatzematge en bases de dades en format Hdf.

Els desenvolupadors d’ETL utilitzen eines sofisticades de la indústria (en la seva majoria inclouen un cost elevat de llicència) com abinitio, datastage per extreure dades de la font-> transformar les dades a l’estructura desitjada-> carregar a destinació específica.