ENGENHEIRO DE DADOS EMPRESA DE TECNOLOGIA CENTRO RJ


Descrição das atividades

– Participar nas investigações das causas de problemas do sistema Big Data, através de análise técnica dos requisitos operacionais e negócios.

– Contribuir na análise dos impactos nos sistemas com base em uma solicitação de correção, mediante ferramenta específica de controle destas tarefas.

– Propor ou implementar ações para automatização de atividades executadas manualmente, gerando maior produtividade.

– Fazer gestão de erros recorrentes em processos, propondo ou implementando soluções definitivas (atacar causa raiz).

– Elaboração de documentações com instruções operacionais;

– Manutenção de códigos referentes a scripts construídos pelas ferramentas/linguagens Big Data e shell unix;

– Garantir o andamento das cargas do Big Data, investigando os códigos de scripts e acertando se necessário;

– Implantação objetos/códigos no ambiente Big Data;

-Manutenção do ambiente, evitando por exemplo, estouro de filesystems e abends nas cargas por qualquer problema de infra e baixa qualidade dos códigos Big Data.

– Análise Jobs no control-m, investigando problemas, e realizando o andamento das cargas.

Requisitos

– Conhecimento da Infraestrutura para Big Data (plataforma Hadoop): Map Reduce, HDFS, Name node, Data node;

– Conhecimento principais Ferramentas Big Data (Hive, HBase, Pig, Oozie, Flume, Scoop, impala, spark);

– Conhecimento linguagem Python;

– Conhecimento shell script unix;

– Conhecimento control-m.



EmoticonEmoticon