Quina diferència hi ha entre el desenvolupador i l'administrador d'Hadoop?


Resposta 1:

No podeu comparar Big Data i Hadoop perquè el Big Data és un problema i la solució proporcionada per Hadoop. El desenvolupador d'Hadoop i l'administrador d'Hadoop són fitxers de Hadoop.

Big Data és una enorme col·lecció de dades, ja que el nom es refereix a "BIG DATA". No es pot processar mitjançant mètodes tradicionals, ja que la major part de la generació de dades és de forma no estructurada. Així doncs, Hadoop va sorgir com a solució a aquest problema.

Per tant, estudiem en detall sobre Big Data i Hadoop, de manera que pugueu tenir una idea completa sobre el big data i Hadoop.

Segons Gartner: Big data és un gran volum, una velocitat ràpida i diferents actius d’informació de diferents varietats que demanen una plataforma innovadora per a una perspectiva i una presa de decisions més millorades.

El volum es refereix a Escala de dades

La velocitat es refereix a l'anàlisi de la transmissió de dades

Les varietats es refereixen a formes de dades

  • La segona pregunta sorgeix per què hauríem d’aprendre Big Data

Big Data és una manera de resoldre tots els problemes no resolts relacionats amb la gestió i el maneig de dades. Es va utilitzar una indústria anterior per viure amb aquests problemes. Amb l’analítica Big Data, podeu desbloquejar patrons ocults i conèixer la visió de 360 ​​graus dels clients i comprendre millor les seves necessitats.

Mireu a continuació el vídeo per a una introducció al Big Data.

Si teniu interès per conèixer l’historial de dades grans, consulteu l’enllaç següent per a Història de dades grans

Historial de Big Data

Avança ara Hadoop,

Hadoop és una eina de codi obert d’ASF. HDFS emmagatzema l'enorme volum de dades de manera fiable.

Ara anem a veure com HDFS va proporcionar la solució

A Hadoop, HDFS divideix grans fitxers en petits trossos coneguts com a blocs. Es tracta de la unitat de dades més petita d’un sistema de fitxers. Nosaltres (client i administrador) no tenim cap control sobre el bloc com la ubicació del bloc. Namenode decideix totes aquestes coses.

HDFS emmagatzema cada fitxer com a blocs. Tanmateix, la mida del bloc en HDFS és molt gran. La mida predeterminada del bloc HDFS és de 128 MB que podeu configurar segons les vostres necessitats. Tots els blocs del fitxer són de la mateixa mida, excepte l’últim bloc, que pot ser de la mateixa mida o més petit. Els fitxers es divideixen en blocs de 128 MB i es guarden al sistema de fitxers Hadoop. L’aplicació Hadoop s’encarrega de distribuir el bloc de dades a diversos nodes.

Ara, des de l’exemple superior on la mida del fitxer és de 518 MB suposem que estem utilitzant la configuració predeterminada de la mida del bloc 128 MB. Aleshores es creen 5 blocs, els primers quatre blocs seran de 128 MB, però l'últim bloc només serà de 6 MB. A partir de l’exemple anterior es desprèn que no és necessari que en HDFS, cada fitxer emmagatzemat hagi de tenir el múltiple exacte de la mida del bloc configurat 128mb, 256mb, etc., de manera que el bloc final per al fitxer utilitza només l’espai que calgui

Per a més detalls de HDFS consulteu l’enllaç següent:

HDFS: una guia completa

Anem ara cap al desenvolupador i administrador de Hadoop.

Hadoop Desenvolupador

Les responsabilitats laborals dels desenvolupadors d'Hadoop són escriure programes segons els dissenys del sistema i han de tenir un coneixement just sobre la codificació i la programació. El desenvolupador de la tasca de Hadoop és similar al desenvolupador de programari però en el domini Big Data. El desenvolupador de Hadoop també inclou comprendre i treballar per trobar solucions a problemes, dissenyar i arquitecturar, juntament amb una forta capacitat de documentació.

Administrador d’Hadoop

Les responsabilitats de treball d'administració de Hadoop són similars a les de l'administrador del sistema. Les funcions i responsabilitats d'administració de Hadoop inclouen la configuració de clústers Hadoop, còpia de seguretat, recuperació i manteniment dels mateixos. L’administrador de Hadoop requereix un bon coneixement dels sistemes de maquinari i de l’arquitectura Hadoop.

Per tant, per conèixer més perfils d'Hadoop, consulteu l'enllaç següent:

Diferents camps a Hadoop i els seus rols laborals

Espero que hagi respost la teva consulta.


Resposta 2:

Consulteu la descripció següent per comprendre les funcions de desenvolupador i administrador de Hadoop.

Desenvolupador Big Data Hadoop:

Un desenvolupador de Hadoop és responsable de la codificació / programació real de les aplicacions Hadoop. Aquest paper és sinònim de desenvolupador de programari o desenvolupador d'aplicacions; fa referència al mateix paper però al domini Big Data. Un dels components d’Hadoop és MapReduce on cal escriure programes Java. Per tant, si teniu coneixements bàsics de Java hauria de ser suficient. Però, si no coneixeu Java, però coneixeu qualsevol altre llenguatge de programació, podeu posar-vos al dia ràpidament.

Habilitats necessàries:

  •  Capacitat d’escriure treballs MapReduce Experiència en l’escriptura de scripts de llatí Pig Els coneixements sobre HiveQL Familiaritat amb eines de càrrega de dades com Flume i Sqoop Coneixement de fluxos de treball / planificadors com OozieBig Data Hadoop Administrador:

L'administrador d'Hadoop és responsable de la implementació i l'administració permanent de la infraestructura Hadoop. El rol requereix coordinar-se amb l'equip d'enginyeria de sistemes per proposar i desplegar nous entorns de maquinari i programari necessaris per a Hadoop i ampliar els entorns existents.

Cal treballar amb els equips d’entrega de dades per configurar nous usuaris d’Hadoop. Aquest treball inclou la configuració de Linux, la configuració dels principals Kerberos i la prova de HDFS, Hive, Pig i MapReduce accés per als nous usuaris. Manteniment de clústers, així com creació i eliminació de nodes mitjançant eines com Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage i altres eines.

Habilitats necessàries:

  •  Implementació i administració permanent de la infraestructura Hadoop. Manteniment de clústers, creació i eliminació de nodes mitjançant eines com Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage i altres eines. Gestiona i revisa els fitxers de registre Hadoop. Gestió i control del sistema d’arxius. Suport i manteniment de HDFS Configuració d’ecosistemes Hadoop com Pig, Hive, HBase, Oozie, etc. Ajustament de les rutines Hadoop i Hadoop MapReduce

Resposta 3:

Hola Shekhar,

Per al desenvolupador de Hadoop, heu d'escriure codi en mapreduceu o realitzeu consultes i script latin en rusc i porc respectivament.

Per a administrador teniu una ullada a diferents nodes del servidor linux i manteniu la tasca de mapreduceu. També heu de mantenir el maquinari de les mercaderies per executar correctament els nodes hadoop.


Resposta 4:

És important entendre que Big Data i Hadoop no són exactament el mateix.

Big Data és un concepte, més que com un facilitador per a la transformació empresarial, en termes de l’enorme volum i varietat de conjunts de dades disponibles.

Hadoop és una infraestructura tecnològica per emmagatzemar, gestionar i analitzar aquesta enorme quantitat de dades.

La diferència entre un desenvolupador i administrador de Hadoop (o qualsevol altra variació comercial de Hadoop) és la mateixa que dir un desenvolupador de núvols i un administrador de núvols. El desenvolupador crearia les aplicacions i les instàncies necessàries per a aspectes de gestió i infraestructura de Big Data en una organització. Això implicaria la codificació i el treball amb MapReduce, Hive, Sqoop, Oozie, Spark, etc. Un administrador, d’altra banda, implementaria, mantindria i controlaria la infraestructura en curs, configuraria i desplegarà diverses eines i comptes, manteniment, clúster. gestió, ajustament al rendiment i molt més.

Poseu-vos en contacte amb nosaltres a [email protected] per obtenir més informació.