Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 9596 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Oportunidade na 4Linux - Vaga para Brasília

Publicado em: 25/08/2016 às 9:58 | leituras |

A 4Linux, empresa de consultoria e treinamento especializada em tecnologia Open Source, está em busca de um profissional com o perfil de analista de infraestrutura Linux pleno, para atuar em Brasília.

Lançamento: E-book 101 dicas para usar o Linux como um Profissional (grátis)

Publicado em: 01/08/2016 às 8:19 | leituras |

Baixe gratuitamente o e-book "101 dicas para usar o Linux como um Profissional", contendo os principais conselhos para não se apertar no seu trabalho ao usar e configurar o sistema do pinguim.

Sicoob adota soluções de código aberto e triplica rede de associados

Publicado em: 19/07/2016 às 12:22 | leituras |

A partir do projeto, a empresa pôde substituir mais de 500 servidores físicos de pequeno porte, consolidando todas as transações em três mainframes e 15 máquinas Intel de alto desempenho (high end).

BrodTec é a nova revenda Scalix na Região Sul

Publicado em: 30/03/2016 às 11:20 | leituras |

No mês de março, a Scalix firmou parceria com a BrodTec para que a empresa seja o seu represente oficial no Rio Grande do Sul e em Santa Catarina.

Linux Professional Institute anuncia seu novo Diretor de Desenvolvimento Regional para o Brasil

Publicado em: 21/03/2016 às 18:51 | leituras |

Há muito tempo incentivando softwares livres e de código aberto, Cesar Brod é, agora, o responsável do instituto para ampliar a formação e certificação em Linux no Brasil.

ASL.Org lança campanha de doação para realizar o FISL17

Publicado em: 05/02/2016 às 21:20 | leituras |

A Associação Software Livre (ASL.Org) iniciou nesta quinta-feira (4) uma campanha de arrecadação de fundos para a continuidade de seus trabalhos, entre eles a organização da 17ª edição do Fórum Internacional Software Livre (FISL17), que acontece de 13 a 16 de julho em Porto Alegre.

EMC² acelera mudança para código aberto

Publicado em: 07/01/2016 às 11:47 | leituras |

Projeto open source do RackHD™ e nova versão do CoprHD reforçam os investimentos da EMC² com a comunidade de desenvolvimento e auxiliam nos desafios de gestão em data centers de hiperescala.

Red Hat lança promoção especial de verão para treinamentos virtuais

Publicado em: 06/01/2016 às 11:18 | leituras |

10% de desconto para as aulas de Virtual Training nas turmas dos meses de janeiro e fevereiro. Além disso, os que aderirem à promoção ainda terão 50% de desconto no exame de certificação final.

A produção colaborativa precisa de menos tecnologia e mais gente

Publicado em: 10/12/2015 às 12:32 | leituras |

A produção colaborativa tornou-se uma das grandes vedetes da Internet. Este artigo se propõe a analisar diversos aspectos da produção colaborativa e propor ações necessárias para fortalecê-la e disseminar seu uso no mercado nacional.

Publicada entrevista com Edgar Silva, VP da WSO2 para a América Latina

Publicado em: 13/11/2015 às 17:52 | leituras |

A Linux Magazine conversou com Edgar Silva, Vice-Presidente da WSO2 para a América Latina. A WSO2 é considerada um dos poucos fabricantes de software no mundo a fornecerem uma plataforma de middleware completa (e é o único fabricante a ter aberto o código da plataforma inteira).

Seu Linux pode ser infectado por malware, trojans, worms e web scripts

Publicado em: 11/11/2015 às 17:21 | leituras |

Sim, você leu certo: existem vírus para Linux; contudo, fique tranquilo: a maioria não possui alto poder destrutivo (ainda).

Futuro Digital, The Open Organization e oportunidades da TI Bimodal no Red Hat Forum em SP

Publicado em: 30/09/2015 às 21:44 | leituras |

Com entrada gratuita, evento de inovação open source para empresas do Brasil promete energizar as áreas de tecnologia das organizações. O Red Hat Forum reunirá os principais líderes de TI do país, que poderão experimentar, em sessões ao vivo, as últimas tendências que prometem transformar e reduzir os custos de TI.

MP denuncia Cartorio Virtual por venda de dados sigilosos, inclusive do WhatsApp

Publicado em: 18/09/2015 às 9:34 | leituras |

O Ministério Público denunciou à Justiça, o dono do site 'cartório virtual', que segundo o MP, faz venda de dados considerados sigilosos, entre eles, cópias de contas telefônicas, lista de bens e, até mesmo, conversas mantidas no WhatsApp, aplicativo de mensagem do Facebook, revela reportagem do jornal O Estado de São Paulo, desta sexta-feira, 18/09.

Lançado novo Portal do Software Público Brasileiro

Publicado em: 15/09/2015 às 17:27 | leituras |

Construção da nova versão do portal começou em 2013 e recebeu mais de duzentas contribuições.

Desemprego seletivo

Publicado em: 13/09/2015 às 9:10 | leituras |

Até julho o desemprego cresceu de 4,95 para 7,5%.A situação atual é decorrente de problemas macroeconômicos e sem duvida que o ajuste fiscal empreendido pelo Governo federal contribui significativamente.

Red Hat reúne líderes de tecnologia do Nordeste para ampliar negócios na região

Publicado em: 11/09/2015 às 14:34 | leituras |

Eventos realizados na semana passada em Fortaleza, Salvador e Recife reuniram cerca de 200 profissionais de TI e mostraram como as empresas locais de vários tamanhos podem transformar os desafios atuais da economia em oportunidades por meio de tecnologias que podem refletir em uma redução em até 50 % de seus custos em TI.

Estudantes de SP começam a aprender Internet das Coisas com kit Android da Samsung

Publicado em: 09/09/2015 às 13:52 | leituras |

O programa tem previsão de início prático em 2016, embora algumas escolas já estejam implantando o curso em fase de testes na zona sul paulistana.

FIA e Cloudera fecham parceria para ensinar 'hadoop'

Publicado em: 09/09/2015 às 9:04 | leituras |

Para suprir a carência de profissionais preparados para este fim, a FIA - Fundação Instituto de Administração, em conjunto com a equipe do núcleo Labdata (Laboratório de Análise de Dados), está oferecendo o novo curso de extensão "Aplicações de Hadoop em Big Data".

DevOps: Uma prática ainda pouco explorada no Brasil

Publicado em: 08/09/2015 às 13:50 | leituras |

Garantir agilidade ao processo de desenvolvimento com a premissa de manter a competitividade e atratividade do negócio é um dos grandes desafios da indústria do software.

Wearables são a nova 'onda' dos desenvolvedores de apps

Publicado em: 08/09/2015 às 11:48 | leituras |

Um estudo, feito pela Telerik, da Progress, com 3000 mil profissionais de TI e desenvolvedores, constatou que 57% dos desenvolvedores nunca construíram uma aplicação móvel, mas a grande maioria acredita que a próxima onda no desenvolvimento virá da Internet das Coisas.

Google lança novo visual e revela história do logotipo do buscador

Publicado em: 01/09/2015 às 14:40 | leituras |

Segundo a gigante de buscas, a logo redesenhada representa uma nova linguagem visual que reflete a realidade móvel e mostra "a mágia do Google" mesmo nas pequenas telas de smarts

Dilma estuda a fusão do Serpro com a Dataprev

Publicado em: 31/08/2015 às 12:19 | leituras |

Na reforma administrativa que a presidenta Dilma Rousseff está formulando - e deverá anunciar em setembro - há uma proposta de fusão entre o Serpro, hoje vinculado ao Ministério da Fazenda e a Dataprev, subordinada ao Ministério da Previdência.

IoT e big data 'quebram' as paredes das salas de aulas

Publicado em: 28/08/2015 às 18:16 | leituras |

O conceito ainda é novidade no mundo. Todos ainda estão aprendendo como usar melhor essas ferramentas e a perspectiva é que a aplicabilidade cresça muito nos próximos anos, afirma Milet.

As novidades do Android 6.0 Marshmallow

Publicado em: 25/08/2015 às 12:24 | leituras |

Será que as novidades serão tão saborosas quanto um Marshmallow?

LPI e SUSE reforçam parceria para certificação profissional Linux no Brasil

Publicado em: 05/08/2015 às 22:13 | leituras |

Todos os candidatos que obtiveram a certificação LPIC-1 podem solicitar junto à SUSE a certificação CLA, sem a necessidade de prestar novos exames ou o pagamento de taxas.


Mais notícias


lançamento!

LM 119 | Backup e Restauração




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 390046 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 167011 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 146880 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 144443 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 114639 leituras

  1. Lançado appliance MySQL de alta performance

    Publicado em 17/04/2008 às 11:39 | 6626 leituras

  1. O rap do Facebook

    Publicado em 14/12/2011 às 18:29 | 11383 leituras

  1. São Paulo recebe II Seminário Nacional de Certificação Digital

    Publicado em 13/03/2014 às 11:06 | 4942 leituras

  1. Adobe prevê Flash Player 64 bits

    Publicado em 21/09/2010 às 17:52 | 6572 leituras

  1. W3C nomeia quatro editores-assistentes para trabalhar com a especificação HTML.

    Publicado em 30/07/2012 às 10:15 | 6631 leituras

whitepapers

mais whitepapers