Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 9980 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Software Livre e de Código Aberto: uma questão de economia, não de política

Publicado em: 12/11/2016 às 12:36 | leituras |

Os argumentos apresentados neste artigo são todos aspectos econômicos, e não aspectos políticos. Decisões baseadas em política (e não em economia) devem ser lembradas pelos eleitores nas próximas eleições.

Lançamento: E-book E-mail e Colaboração no Século XXI (grátis)

Publicado em: 29/09/2016 às 9:15 | leituras |

A Linux Magazine, em parceria com a Scalix Brasil e a Linux Solutions, acaba de lançar o novo ebook da série "Technology Report": E-mail e Colaboração no Século XXI. Baixe gratuitamente!

Oportunidade na 4Linux - Vaga para Brasília

Publicado em: 25/08/2016 às 9:58 | leituras |

A 4Linux, empresa de consultoria e treinamento especializada em tecnologia Open Source, está em busca de um profissional com o perfil de analista de infraestrutura Linux pleno, para atuar em Brasília.

Lançamento: E-book 101 dicas para usar o Linux como um Profissional (grátis)

Publicado em: 01/08/2016 às 8:19 | leituras |

Baixe gratuitamente o e-book "101 dicas para usar o Linux como um Profissional", contendo os principais conselhos para não se apertar no seu trabalho ao usar e configurar o sistema do pinguim.

Sicoob adota soluções de código aberto e triplica rede de associados

Publicado em: 19/07/2016 às 12:22 | leituras |

A partir do projeto, a empresa pôde substituir mais de 500 servidores físicos de pequeno porte, consolidando todas as transações em três mainframes e 15 máquinas Intel de alto desempenho (high end).

BrodTec é a nova revenda Scalix na Região Sul

Publicado em: 30/03/2016 às 11:20 | leituras |

No mês de março, a Scalix firmou parceria com a BrodTec para que a empresa seja o seu represente oficial no Rio Grande do Sul e em Santa Catarina.

Linux Professional Institute anuncia seu novo Diretor de Desenvolvimento Regional para o Brasil

Publicado em: 21/03/2016 às 18:51 | leituras |

Há muito tempo incentivando softwares livres e de código aberto, Cesar Brod é, agora, o responsável do instituto para ampliar a formação e certificação em Linux no Brasil.

ASL.Org lança campanha de doação para realizar o FISL17

Publicado em: 05/02/2016 às 21:20 | leituras |

A Associação Software Livre (ASL.Org) iniciou nesta quinta-feira (4) uma campanha de arrecadação de fundos para a continuidade de seus trabalhos, entre eles a organização da 17ª edição do Fórum Internacional Software Livre (FISL17), que acontece de 13 a 16 de julho em Porto Alegre.

EMC² acelera mudança para código aberto

Publicado em: 07/01/2016 às 11:47 | leituras |

Projeto open source do RackHD™ e nova versão do CoprHD reforçam os investimentos da EMC² com a comunidade de desenvolvimento e auxiliam nos desafios de gestão em data centers de hiperescala.

Red Hat lança promoção especial de verão para treinamentos virtuais

Publicado em: 06/01/2016 às 11:18 | leituras |

10% de desconto para as aulas de Virtual Training nas turmas dos meses de janeiro e fevereiro. Além disso, os que aderirem à promoção ainda terão 50% de desconto no exame de certificação final.

A produção colaborativa precisa de menos tecnologia e mais gente

Publicado em: 10/12/2015 às 12:32 | leituras |

A produção colaborativa tornou-se uma das grandes vedetes da Internet. Este artigo se propõe a analisar diversos aspectos da produção colaborativa e propor ações necessárias para fortalecê-la e disseminar seu uso no mercado nacional.

Publicada entrevista com Edgar Silva, VP da WSO2 para a América Latina

Publicado em: 13/11/2015 às 17:52 | leituras |

A Linux Magazine conversou com Edgar Silva, Vice-Presidente da WSO2 para a América Latina. A WSO2 é considerada um dos poucos fabricantes de software no mundo a fornecerem uma plataforma de middleware completa (e é o único fabricante a ter aberto o código da plataforma inteira).

Seu Linux pode ser infectado por malware, trojans, worms e web scripts

Publicado em: 11/11/2015 às 17:21 | leituras |

Sim, você leu certo: existem vírus para Linux; contudo, fique tranquilo: a maioria não possui alto poder destrutivo (ainda).

Futuro Digital, The Open Organization e oportunidades da TI Bimodal no Red Hat Forum em SP

Publicado em: 30/09/2015 às 21:44 | leituras |

Com entrada gratuita, evento de inovação open source para empresas do Brasil promete energizar as áreas de tecnologia das organizações. O Red Hat Forum reunirá os principais líderes de TI do país, que poderão experimentar, em sessões ao vivo, as últimas tendências que prometem transformar e reduzir os custos de TI.

MP denuncia Cartorio Virtual por venda de dados sigilosos, inclusive do WhatsApp

Publicado em: 18/09/2015 às 9:34 | leituras |

O Ministério Público denunciou à Justiça, o dono do site 'cartório virtual', que segundo o MP, faz venda de dados considerados sigilosos, entre eles, cópias de contas telefônicas, lista de bens e, até mesmo, conversas mantidas no WhatsApp, aplicativo de mensagem do Facebook, revela reportagem do jornal O Estado de São Paulo, desta sexta-feira, 18/09.

Lançado novo Portal do Software Público Brasileiro

Publicado em: 15/09/2015 às 17:27 | leituras |

Construção da nova versão do portal começou em 2013 e recebeu mais de duzentas contribuições.

Desemprego seletivo

Publicado em: 13/09/2015 às 9:10 | leituras |

Até julho o desemprego cresceu de 4,95 para 7,5%.A situação atual é decorrente de problemas macroeconômicos e sem duvida que o ajuste fiscal empreendido pelo Governo federal contribui significativamente.

Red Hat reúne líderes de tecnologia do Nordeste para ampliar negócios na região

Publicado em: 11/09/2015 às 14:34 | leituras |

Eventos realizados na semana passada em Fortaleza, Salvador e Recife reuniram cerca de 200 profissionais de TI e mostraram como as empresas locais de vários tamanhos podem transformar os desafios atuais da economia em oportunidades por meio de tecnologias que podem refletir em uma redução em até 50 % de seus custos em TI.

Estudantes de SP começam a aprender Internet das Coisas com kit Android da Samsung

Publicado em: 09/09/2015 às 13:52 | leituras |

O programa tem previsão de início prático em 2016, embora algumas escolas já estejam implantando o curso em fase de testes na zona sul paulistana.

FIA e Cloudera fecham parceria para ensinar 'hadoop'

Publicado em: 09/09/2015 às 9:04 | leituras |

Para suprir a carência de profissionais preparados para este fim, a FIA - Fundação Instituto de Administração, em conjunto com a equipe do núcleo Labdata (Laboratório de Análise de Dados), está oferecendo o novo curso de extensão "Aplicações de Hadoop em Big Data".

DevOps: Uma prática ainda pouco explorada no Brasil

Publicado em: 08/09/2015 às 13:50 | leituras |

Garantir agilidade ao processo de desenvolvimento com a premissa de manter a competitividade e atratividade do negócio é um dos grandes desafios da indústria do software.

Wearables são a nova 'onda' dos desenvolvedores de apps

Publicado em: 08/09/2015 às 11:48 | leituras |

Um estudo, feito pela Telerik, da Progress, com 3000 mil profissionais de TI e desenvolvedores, constatou que 57% dos desenvolvedores nunca construíram uma aplicação móvel, mas a grande maioria acredita que a próxima onda no desenvolvimento virá da Internet das Coisas.

Google lança novo visual e revela história do logotipo do buscador

Publicado em: 01/09/2015 às 14:40 | leituras |

Segundo a gigante de buscas, a logo redesenhada representa uma nova linguagem visual que reflete a realidade móvel e mostra "a mágia do Google" mesmo nas pequenas telas de smarts

Dilma estuda a fusão do Serpro com a Dataprev

Publicado em: 31/08/2015 às 12:19 | leituras |

Na reforma administrativa que a presidenta Dilma Rousseff está formulando - e deverá anunciar em setembro - há uma proposta de fusão entre o Serpro, hoje vinculado ao Ministério da Fazenda e a Dataprev, subordinada ao Ministério da Previdência.

IoT e big data 'quebram' as paredes das salas de aulas

Publicado em: 28/08/2015 às 18:16 | leituras |

O conceito ainda é novidade no mundo. Todos ainda estão aprendendo como usar melhor essas ferramentas e a perspectiva é que a aplicabilidade cresça muito nos próximos anos, afirma Milet.


Mais notícias


lançamento!

LM 119 | Backup e Restauração




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 396786 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 170227 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 149876 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 148951 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 117508 leituras

  1. Qt afasta-se da Nokia e torna-se cada vez mais independente

    Publicado em 15/09/2011 às 13:21 | 13031 leituras

  1. Dez oportunidades de adoção de nuvens públicas

    Publicado em 17/04/2014 às 10:39 | 4491 leituras

  1. Nokia anuncia o fim da Fundação Symbian

    Publicado em 09/11/2010 às 12:33 | 7141 leituras

  1. Um mês depois: 300 mil servidores continuam vulneráveis ao Heartbleed

    Publicado em 13/05/2014 às 10:23 | 4440 leituras

  1. Dual O/S: o concorrente direto do Windows

    Publicado em 18/03/2008 às 9:43 | 11845 leituras

whitepapers

mais whitepapers