Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 4056 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Encontro global da Cisco tenta atrair mulheres para mercado de TI

Publicado em: 24/04/2014 às 17:46 | leituras |

Empresa realiza evento global “Girls in ICT Day” com versões simultâneas em São Paulo e no Rio de Janeiro, com participação também de outros países da América Latina via telepresença.

Uol cria plataforma online de cursos para empreendedores

Publicado em: 24/04/2014 às 15:51 | leituras |

Serviço lançado em parceria com a Endeavor é voltado para quem quer abrir seu próprio negócio ou busca orientação para o crescimento da sua empresa.

Google cria algoritmo capaz de enganar o CAPTCHA

Publicado em: 24/04/2014 às 13:57 | leituras |

Segundo a empresa, a tecnologia entende os números de casas e prédios 90% das vezes, o que é bastante, visto que os algoritmos têm de superar uma série de questões como iluminação e formato dos objetos a serem traduzidos.

Marco Civil garante privacidade, avalia pioneiro da web no Brasil

Publicado em: 24/04/2014 às 11:40 | leituras |

Segundo o engenheiro Demi Getschko, considerado pioneiro da web no Brasil, o Marco Civil está "a serviço da internet para protegê-la de interferências espúrias de futuros projetos de lei bem-intencionados que podem ser danosos ou de bisbilhotagem adicional".

Malware Android engana usuários do Facebook e rouba dados

Publicado em: 24/04/2014 às 9:07 | leituras |

Vírus instrui usuários da rede a fazer o download e instalar o malware Android que pode roubar códigos de autenticação enviados via SMS.

Heartbleed: 86% dos apps móveis continuam vulneráveis, diz Trend Micro

Publicado em: 23/04/2014 às 16:53 | leituras |

Grande parte dos aplicativos é da categoria 'estilo de vida' e dados como endereço e cartão de crédito dos usuários podem ser expostos.

Rio se prepara para ganhar 50 empreendimentos digitais

Publicado em: 23/04/2014 às 15:20 | leituras |

O Start-up Rio vai destinar um total de R$ 5 milhões para o incentivo desses 50 projetos. O objetivo é expandir a cultura de inovação tecnológica, criatividade e empreendedorismo no Rio de Janeiro, busca transformar o estado em uma vitrine de exportação dessas futuras empresas.

Oracle identifica os produtos afetados pelo Heartbleed

Publicado em: 23/04/2014 às 13:23 | leituras |

Alguns produtos ainda não possuem correções. A empresa informou que está trabalhando em ritmo acelerado para a correção de todos os produtos que apresentaram a vulnerabilidade.

A nuvem pode ficar mais cara!

Publicado em: 23/04/2014 às 12:39 | leituras |

Ao contratar o serviço, é importante contabilizar o recolhimento de impostos, mesmo que o fornecedor esteja fora do país e o pagamento seja feito por cartão de crédito ou transferência bancária internacional.

O e-Social e o fim da informalidade no setor de TI

Publicado em: 23/04/2014 às 10:46 | leituras |

O e-Social é uma iniciativa do Governo Federal para unificar as obrigações fiscais, trabalhistas, e previdenciárias, de todas as empresas, e principalmente torná-las digitais, permitindo ao governo um salto de eficiência na fiscalização dos contribuintes.

Apple busca novos funcionários para trabalhar em sistema de pagamentos móveis

Publicado em: 23/04/2014 às 10:27 | leituras |

De acordo com o site Re/code, duas fontes familiarizadas com o assunto dizem que a entidade tem se reunido com empresários candidatos a dois novos cargos na companhia. As posições seriam de chefe de produto e diretor de cargos de desenvolvimento de negócios, ambas focadas exclusivamente na construção e gerenciamento de uma plataforma voltada para pagamentos móveis.

Falta de profissionais ameaça projetos em TI

Publicado em: 23/04/2014 às 9:59 | leituras |

O setor vive um verdadeiro apagão de mão de obra. A falta de profissionais no mercado de tecnologia da informação (TI) levou o setor a tomar medidas inusitadas: importar mão de obra especializada.

CONSOLINE: Congresso de Software Livre do Nordeste

Publicado em: 22/04/2014 às 17:52 | leituras |

O CONSOLINE será realizado no dia 26/04/2014, em Recife. É um evento gratuito constituído junto com a comunidade Pernambucana para divulgar, debater e fomentar o Software Livre no estado.

Brasil pode se destacar por pequenos projetos de SDN

Publicado em: 22/04/2014 às 15:02 | leituras |

No mercado de Tecnologia da Informação e Comunicação as inovações, o tempo de mudanças e migrações são rápidos. Em cinco anos, processos e formas de lidar com a tecnologia podem ser totalmente diferentes.

Conferência em SP debate internet mais global e segura

Publicado em: 22/04/2014 às 13:13 | leituras |

Documento que será aprovado esta semana no encontro NetMundial condena a espionagem mas defende uma governança multissetorial da internet.

Fundação Gates recebe inscrição de projetos inovadores do Brasil

Publicado em: 22/04/2014 às 12:32 | leituras |

Programa já tem parceria com fundações de amparo à pesquisa de 17 estados do Brasil. Inscrição para interessados em concorrer vaga vai até 06/05.

Equipe do OpenBSD cria fork do OpenSSL chamado LibreSSL

Publicado em: 22/04/2014 às 10:38 | leituras |

Conhecido por sua renomada segurança, o OpenBSD agora ataca o SSL e cria um fork do OpenSSL.

Crackers reutilizam código fonte de malware para ataques virtuais

Publicado em: 22/04/2014 às 8:56 | leituras |

Relatório de Ameaças 2014 da Websense revela a crescente infraestrutura global de serviços apoiando atividades criminosas, incluindo kits de exploração e cadeias de redirecionamento em sites comprometidos.

Novidades do segundo dia de Build Conference

Publicado em: 21/04/2014 às 8:51 | leituras |

Saiba tudo sobre as novidades do segundo dia de Build Conference.

Lançado o Ubuntu 14.04 – baixe agora

Publicado em: 17/04/2014 às 17:51 | leituras |

Saiu o tão aguardado Ubuntu 14.04. Se você estava na expectiva, é hora de baixar a nova versão do Ubuntu.

Chrome Remote Desktop chega ao Android

Publicado em: 17/04/2014 às 16:14 | leituras |

O Google anunciou hoje a chegada ao Chrome Remote Desktop para Android, um novo aplicativo que permite acessar outros computadores e/ou permitir que outro usuário acesse seu computador de forma segura pela internet.

Fire TV: Conheça o media center (e console de games) da Amazon

Publicado em: 17/04/2014 às 16:03 | leituras |

O Fire TV, apesar do nome, parece bem promissor, mesmo custando US$ 99 (lá fora). Este set-top box já conta com suporte aos populares apps Netflix e Hulu, além do serviço de streaming da Amazon, é claro, entre outros serviços.

UOL Host capacita parceiros para avançar nas PMEs

Publicado em: 17/04/2014 às 13:58 | leituras |

Para este ano, informa Ricardo Dutra, diretor da empresa, a capacitação desses parceiros é o mote. Para isso, destaca, há o investimento na oferta de cursos pela Internet. "Precisamos garantir que o atendimento remoto tenha qualidade em qualquer lugar do país. O treinamento é absolutamente crucial para fidelizarmos os clientes".

SP vai usar tecnologia da polícia de Nova York para controlar crimes

Publicado em: 17/04/2014 às 13:36 | leituras |

Sistema de monitoramento inteligente criminal, baseado em ferramentas de Big Data, será implementado na Secretaria de Segurança estadual de São Paulo pela Microsoft.

Infraestrutura de rede antiga é um dos gargalos da SDN

Publicado em: 17/04/2014 às 11:30 | leituras |

Segundo um levantamento apresentado pela Avaya, o tempo médio para uma janela de manutenção na rede é de 27 dias. A demora, no entanto, causa algumas consequências.


Mais notícias


whitepapers

mais whitepapers

  

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 187050 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 110627 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 103532 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 94799 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 75309 leituras

  1. Ubuntu Professional: possibilidade de trabalho com Ubuntu no Brasil

    Publicado em 24/04/2009 às 19:05 | 3840 leituras

  1. Adobe traz de volta o Flash de 64 bits para Linux

    Publicado em 15/07/2011 às 18:19 | 5814 leituras

  1. Empresas de telecomunicações devem liderar cloud computing

    Publicado em 23/08/2010 às 11:40 | 2758 leituras

  1. Google lança gerenciador GPL de servidores virtuais

    Publicado em 01/09/2007 às 22:02 | 6292 leituras

  1. SafeNet mostra alarmante falta de conhecimento sobre riscos da segurança de dados médicos

    Publicado em 21/02/2011 às 15:56 | 3471 leituras