Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 5467 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Autor do systemd propõe nova forma de criar e organizar distribuições Linux

Publicado em: 02/09/2014 às 15:10 | leituras |

Pela proposta, passa a existir um esquema unificado para instalar e atualizar as imagens de sistema operacional, os aplicativos, seus runtimes e frameworks.

Conheça a integração do Linux com System Center 2012 R2

Publicado em: 02/09/2014 às 14:41 | leituras |

Integração do Linux com System Center 2012 R2 para gerenciamento unificado em ambientes on-promise do Microsoft Azure.

Maratona PHP Linux Magazine

Publicado em: 01/09/2014 às 16:54 | leituras |

Participe da Maratona PHP Linux Magazine: envie seus artigose divulgue seu trabalho!

Projeto de Lei no Senado pretende alterar o Marco Civil da Internet

Publicado em: 01/09/2014 às 13:33 | leituras |

A Lei 12.965/2014 não completou sequer o aniversário de vigência e no Senado Federal já existe um projeto de lei destinado à alteração da mesma.

Tecnologia do IBM Watson auxilia cientistas em pesquisas médicas e farmacêuticas

Publicado em: 29/08/2014 às 17:40 | leituras |

O projeto Watson da IBM promete mudar e criar uma nova era de "computação cognitiva" com desenvolvimento para utilização em áreas médicas e farmacêuticas. Atualmente, o sistema é utilizado com enfoque para os games, que exigem uma melhor capacidade de gerenciamento. Porém, já era hora de vermos uma tecnologia desse porte a serviço de outras áreas.

AWSome Day Rio de Janeiro será na próxima semana

Publicado em: 28/08/2014 às 17:28 | leituras |

O evento é gratuito e terá duração de 1 dia inteiro, sendo conduzido por instrutores qualificados da equipe técnica da AWS.

A Linux Magazine convida você para o WHD.brazil 2014

Publicado em: 28/08/2014 às 11:36 | leituras |

Fornecedores do mercado internacional de hospedagem e computação em nuvem vão se encontrar na América Latina para o WHD.brazil, evento anual que sera realizado no Tivoli São Paulo Mofarrej no dia 11/09/2014. Como convidado da Linux Magazine, você vai de graça!

Brasil 4D, com Ginga, é premiado por inovação em interatividade

Publicado em: 28/08/2014 às 10:39 | leituras |

A iniciativa, da Empresa Brasil de Comunicação, EBC, já levou este ano o prêmio Frida, do Lacnic e da Internet Society, em reconhecimento pela ‘criação e desenvolvimento de capacidades e conteúdos’.

Aluguel de datacenter no exterior passa a pagar impostos

Publicado em: 18/08/2014 às 14:12 | leituras |

Publicado hoje (18) no Diário Oficial, o Ato informa que serão cobrados os seguintes impostos e contribuições no pagamento pelo aluguel de datacenter:

Novo cabo USB mais potente encaixa dos dois lados

Publicado em: 15/08/2014 às 16:28 | leituras |

Está pronta uma nova especificação para cabos USB menores, mais rápidos e com maior potência na transmissão de energia elétrica. O plug Tipo-C terá design que permite encaixá-lo de qualquer lado nos dispositivos, semelhante ao plug Lightning, da Apple.

Apple é uma das empresas mais desiguais do setor de tecnologia

Publicado em: 15/08/2014 às 10:57 | leituras |

A Apple divulgou um relatório com estatísticas sobre a diversidade de gênero e raça na empresa. Ao publicar as informações Tim Cook, o CEO da companhia, declarou-se insatisfeito com os resultados.

Crackers brasileiros e gangue europeia criam nova técnica para alterar boletos

Publicado em: 14/08/2014 às 14:16 | leituras |

Algumas das táticas mais comuns usadas por cibercriminosos é enviar e-mails em nome de instituições oficiais que, no final das contas, são verdadeiras armadilhas para usuários mais desatentos.

Homem mais procurado do mundo, Snowden diz que o pior da NSA ainda está por vir

Publicado em: 14/08/2014 às 12:12 | leituras |

As revelações feitas por Edward Snowden sobre a NSA (Agência de Segurança Nacional dos Estados Unidos) ainda repercutem em toda a imprensa mesmo um ano após o ex-técnico ter divulgado centenas de documentos secretos da entidade americana.

Pesquisadores da Dinamarca estabelecem novo recorde de transferência de dados

Publicado em: 01/08/2014 às 9:54 | leituras |

Um grupo de pesquisadores da Technical University of Denmark (DTU) anunciou nesta quinta-feira (31) que bateu o novo recorde mundial de transmissão de dados por uma única fibra óptica, que registrou uma velocidade de 43 terabits por segundo – o equivalente a 5,4 Terabytes por segundo.

Mulheres X homens no mercado de TI

Publicado em: 30/07/2014 às 12:04 | leituras |

Para qualquer um que considere uma carreira em TI, caminhos e oportunidades de emprego são abundantes. No entanto, as mulheres só contam com 24% das ocupações.

Easy Taxi recebe aporte de R$ 90 milhões

Publicado em: 29/07/2014 às 9:45 | leituras |

O aplicativo de taxis Easy Taxi recebeu aporte de R$ 90 milhões de reais de dois grupos de investimento em companhias de tecnologia iniciantes, elevando o total de injeção de recursos na empresa brasileira lançada em 2012, a R$ 145 milhões.

Startups podem ganhar até R$ 1 milhão em Concurso

Publicado em: 28/07/2014 às 12:05 | leituras |

O concurso será realizado por meio da parceria entre Confederação Nacional dos Jovens Empresários (Conaje), Anjos do Brasil, ABStartups e Brazil Innovators.

Governo usa análise de dados no combate à lavagem de dinheiro

Publicado em: 28/07/2014 às 9:53 | leituras |

Foi assinado nesta quarta-feira, 23/07, o acordo de cooperação entre Ministério da Justiça e o Ministério Público Federal (MPF) para viabilizar a instalação da 43ª unidade da Rede Nacional de Laboratórios contra Lavagem de Dinheiro (REDE-LAB) na Procuradoria-Geral da República, em Brasília.

No Brasil, maioria das empresas não tem documentação original dos mainframes

Publicado em: 28/07/2014 às 9:28 | leituras |

A maioria dos líderes de TI reconhece que o conhecimento original sobre seus aplicativos de mainframe e da estrutura de suporte de dados não pode ser recuperado nos arquivos de suas respectivas organizações. Um levantamento global mostrou que 55% dos líderes em TI têm essa percepção.

Empresa de segurança cria portal baseado em rede neural

Publicado em: 25/07/2014 às 10:32 | leituras |

A PSafe Tecnologia SA, empresa de segurança digital em nuvem, anunciou o lançamento do mais novo portal de Internet com conteúdo personalizável de acordo com a navegação de cada usuário.

Relatório faz previsões 'sombrias' sobre futuro da internet

Publicado em: 24/07/2014 às 11:45 | leituras |

Diferentes estudiosos têm feito previsões para compreender como será a internet no futuro, mas muitas acabam influenciadas principalmente pelo momento em que vivemos.

Bug em produtos da Cisco permite acesso remoto de invasores

Publicado em: 18/07/2014 às 9:15 | leituras |

Foi identificado um bug de segurança em gateways de rede residencial da Cisco que permite o acesso aos dispositivos remotamente e o sequestro deles. Uma atualização de firmware foi lançada para ISPs visando corrigir a vulnerabilidade.

Dois brasileiros estão em Comitê que vai definir futuro da Internet

Publicado em: 17/07/2014 às 11:04 | leituras |

Passado o evento NetMundial, agora, representantes de grupos setoriais trabalham juntos para formar comitê que vai elaborar uma proposta para nortear a migração dos trabalhos da Iana, sigla em inglês para Autoridade para Designação de Números da Internet, para, ao que tudo indica, uma entidade multissetorial.

Lei de Informática é prorrogada até 2029

Publicado em: 17/07/2014 às 9:27 | leituras |

O Plenário do Senado aprovou nesta quarta-feira, 16/07, o projeto (PLC 61/2014) que prorroga o prazo dos benefícios garantidos ao setor de informática pela Lei 8.248/1991, a Lei de Informática.

Em nome da segurança, 'NSA alemã' voltará a usar máquinas de escrever

Publicado em: 16/07/2014 às 14:37 | leituras |

A piada parece estar prestes a se tornar literal também na Alemanha. Patrick Sensburg, diretor de um grupo do parlamento alemão responsável por investigar o escândalo de espionagem da NSA, afirmou que a equipe pode voltar a usar máquinas de escrever como forma de evitar o vazamento de informação, seja por meio de vigilância digital de governos ou ataques hackers.


Mais notícias


lançamento!

LM 113 | OpenStack




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 210480 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 121206 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 110833 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 103183 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 82034 leituras

  1. Torque 3D finalmente livre

    Publicado em 25/09/2012 às 9:49 | 10276 leituras

  1. Exame para certificação de segurança da CompTia ganha versão em português

    Publicado em 22/02/2013 às 13:04 | 4727 leituras

  1. Primeiro candidato de versão do Slackware 14

    Publicado em 13/08/2012 às 17:48 | 6032 leituras

  1. O progresso do Hurd

    Publicado em 15/07/2011 às 19:51 | 7868 leituras

  1. Depois de aquisição, GlusterFS ganha impulso da Red Hat

    Publicado em 01/02/2012 às 13:10 | 5524 leituras

whitepapers

mais whitepapers