Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 5705 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

HP vai adquirir Eucalyptus, startup de software em cloud computing

Publicado em: 16/09/2014 às 5:22 | leituras |

Os valores da negociação não foram divulgados.

A Linux Magazine convida você para o WHD.brazil 2014

Publicado em: 08/09/2014 às 16:04 | leituras |

Fornecedores do mercado internacional de hospedagem e computação em nuvem vão se encontrar na América Latina para o WHD.brazil, evento anual que sera realizado no Tivoli São Paulo Mofarrej no dia 11/09/2014. Como convidado da Linux Magazine, você vai de graça!

Mandriva lança no Brasil solução para virtualização e nuvem

Publicado em: 08/09/2014 às 12:48 | leituras |

Ferramenta chamada de Mandriva MBS eVA chega com capacidade para realizar a gestão de até 6 mil máquinas virtuais

Webinar gratuito: por dentro do Apache CloudStack

Publicado em: 05/09/2014 às 14:04 | leituras |

Evento online acontece dia 16 de setembro às 17h e será ministrado por Marco Sinhoreli, líder das comunidades CloudStack-BR e Xen-BR.

Skype ganha serviço concorrente criado por hackers

Publicado em: 04/09/2014 às 11:12 | leituras |

Ainda em fase experimental, o produto está em desenvolvimento por várias pessoas e não se limita mais à participação dos membros do site de fóruns.

A importância do Linux na Nuvem

Publicado em: 03/09/2014 às 17:24 | leituras |

Brad Anderson, CVP da Microsoft, escreveu um texto em seu blog “In The Cloud” destacando um recente artigo da revista Linux Pro sobre Linux Integration Services (LIS) e o suporte da Microsoft para profissionais de TI em Linux.

Alibaba abre novo centro de dados de computação em nuvem

Publicado em: 03/09/2014 às 11:27 | leituras |

Setor de armazenamento na nuvem pode gerar indústria de até US$ 100 bilhões, prevê consultoria.

Autor do systemd propõe nova forma de criar e organizar distribuições Linux

Publicado em: 02/09/2014 às 15:10 | leituras |

Pela proposta, passa a existir um esquema unificado para instalar e atualizar as imagens de sistema operacional, os aplicativos, seus runtimes e frameworks.

Conheça a integração do Linux com System Center 2012 R2

Publicado em: 02/09/2014 às 14:41 | leituras |

Integração do Linux com System Center 2012 R2 para gerenciamento unificado em ambientes on-promise do Microsoft Azure.

Maratona PHP Linux Magazine

Publicado em: 01/09/2014 às 16:54 | leituras |

Participe da Maratona PHP Linux Magazine: envie seus artigose divulgue seu trabalho!

Projeto de Lei no Senado pretende alterar o Marco Civil da Internet

Publicado em: 01/09/2014 às 13:33 | leituras |

A Lei 12.965/2014 não completou sequer o aniversário de vigência e no Senado Federal já existe um projeto de lei destinado à alteração da mesma.

Tecnologia do IBM Watson auxilia cientistas em pesquisas médicas e farmacêuticas

Publicado em: 29/08/2014 às 17:40 | leituras |

O projeto Watson da IBM promete mudar e criar uma nova era de "computação cognitiva" com desenvolvimento para utilização em áreas médicas e farmacêuticas. Atualmente, o sistema é utilizado com enfoque para os games, que exigem uma melhor capacidade de gerenciamento. Porém, já era hora de vermos uma tecnologia desse porte a serviço de outras áreas.

AWSome Day Rio de Janeiro será na próxima semana

Publicado em: 28/08/2014 às 17:28 | leituras |

O evento é gratuito e terá duração de 1 dia inteiro, sendo conduzido por instrutores qualificados da equipe técnica da AWS.

Brasil 4D, com Ginga, é premiado por inovação em interatividade

Publicado em: 28/08/2014 às 10:39 | leituras |

A iniciativa, da Empresa Brasil de Comunicação, EBC, já levou este ano o prêmio Frida, do Lacnic e da Internet Society, em reconhecimento pela ‘criação e desenvolvimento de capacidades e conteúdos’.

Aluguel de datacenter no exterior passa a pagar impostos

Publicado em: 18/08/2014 às 14:12 | leituras |

Publicado hoje (18) no Diário Oficial, o Ato informa que serão cobrados os seguintes impostos e contribuições no pagamento pelo aluguel de datacenter:

Novo cabo USB mais potente encaixa dos dois lados

Publicado em: 15/08/2014 às 16:28 | leituras |

Está pronta uma nova especificação para cabos USB menores, mais rápidos e com maior potência na transmissão de energia elétrica. O plug Tipo-C terá design que permite encaixá-lo de qualquer lado nos dispositivos, semelhante ao plug Lightning, da Apple.

Apple é uma das empresas mais desiguais do setor de tecnologia

Publicado em: 15/08/2014 às 10:57 | leituras |

A Apple divulgou um relatório com estatísticas sobre a diversidade de gênero e raça na empresa. Ao publicar as informações Tim Cook, o CEO da companhia, declarou-se insatisfeito com os resultados.

Crackers brasileiros e gangue europeia criam nova técnica para alterar boletos

Publicado em: 14/08/2014 às 14:16 | leituras |

Algumas das táticas mais comuns usadas por cibercriminosos é enviar e-mails em nome de instituições oficiais que, no final das contas, são verdadeiras armadilhas para usuários mais desatentos.

Homem mais procurado do mundo, Snowden diz que o pior da NSA ainda está por vir

Publicado em: 14/08/2014 às 12:12 | leituras |

As revelações feitas por Edward Snowden sobre a NSA (Agência de Segurança Nacional dos Estados Unidos) ainda repercutem em toda a imprensa mesmo um ano após o ex-técnico ter divulgado centenas de documentos secretos da entidade americana.

Pesquisadores da Dinamarca estabelecem novo recorde de transferência de dados

Publicado em: 01/08/2014 às 9:54 | leituras |

Um grupo de pesquisadores da Technical University of Denmark (DTU) anunciou nesta quinta-feira (31) que bateu o novo recorde mundial de transmissão de dados por uma única fibra óptica, que registrou uma velocidade de 43 terabits por segundo – o equivalente a 5,4 Terabytes por segundo.

Mulheres X homens no mercado de TI

Publicado em: 30/07/2014 às 12:04 | leituras |

Para qualquer um que considere uma carreira em TI, caminhos e oportunidades de emprego são abundantes. No entanto, as mulheres só contam com 24% das ocupações.

Easy Taxi recebe aporte de R$ 90 milhões

Publicado em: 29/07/2014 às 9:45 | leituras |

O aplicativo de taxis Easy Taxi recebeu aporte de R$ 90 milhões de reais de dois grupos de investimento em companhias de tecnologia iniciantes, elevando o total de injeção de recursos na empresa brasileira lançada em 2012, a R$ 145 milhões.

Startups podem ganhar até R$ 1 milhão em Concurso

Publicado em: 28/07/2014 às 12:05 | leituras |

O concurso será realizado por meio da parceria entre Confederação Nacional dos Jovens Empresários (Conaje), Anjos do Brasil, ABStartups e Brazil Innovators.

Governo usa análise de dados no combate à lavagem de dinheiro

Publicado em: 28/07/2014 às 9:53 | leituras |

Foi assinado nesta quarta-feira, 23/07, o acordo de cooperação entre Ministério da Justiça e o Ministério Público Federal (MPF) para viabilizar a instalação da 43ª unidade da Rede Nacional de Laboratórios contra Lavagem de Dinheiro (REDE-LAB) na Procuradoria-Geral da República, em Brasília.

No Brasil, maioria das empresas não tem documentação original dos mainframes

Publicado em: 28/07/2014 às 9:28 | leituras |

A maioria dos líderes de TI reconhece que o conhecimento original sobre seus aplicativos de mainframe e da estrutura de suporte de dados não pode ser recuperado nos arquivos de suas respectivas organizações. Um levantamento global mostrou que 55% dos líderes em TI têm essa percepção.


Mais notícias


lançamento!

LM 113 | OpenStack




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 212798 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 122095 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 111488 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 103873 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 82636 leituras

  1. Em breve, um Android x86

    Publicado em 14/09/2011 às 14:55 | 7110 leituras

  1. Os quatro vetores do desenvolvimento para Ultrabooks

    Publicado em 27/03/2013 às 16:38 | 4431 leituras

  1. Concurso para banner de contagem regressiva do Ubuntu 11.04 é aberto

    Publicado em 23/03/2011 às 17:37 | 6164 leituras

  1. Nova versão do libimobiledevice suporta IOS 4.2.1

    Publicado em 06/12/2010 às 15:48 | 6022 leituras

  1. IBM abre vagas para consultores, gerentes de projetos e desenvolvedores

    Publicado em 29/11/2011 às 18:43 | 6002 leituras

whitepapers

mais whitepapers