Fazendo ciência de dados na nuvem com o ScraperWiki

Propaganda

Se você tem as habilidades mentais, um talento para programação e narrativa e um olho para o design, pode fazer pior do que entrar na ciência de dados. É a nova grande novidade da tecnologia; altamente moderno e bem remunerado, com cientistas de dados sendo procurados por algumas das maiores empresas do mundo.

ScraperWiki é uma empresa que há muito tempo está associada ao campo da ciência de dados. Nos últimos anos, essa startup com sede em Liverpool ofereceu uma plataforma para os codificadores escreverem ferramentas que obtêm dados, os limpam e analisam na nuvem.

Com uma atualização recente e a crescente demanda por cientistas de dados na empresa, vale a pena dar uma boa olhada no ScraperWiki.

Divulgação completa: Eu fui estagiário no ScraperWiki no verão passado.

O que o ScraperWiki faz?

O ScraperWiki se comercializa como um local para obter, limpar e analisar dados e fornece cada uma dessas contagens. Na sua forma mais simples, permite a você - o usuário - um local onde você pode escrever código que recupera dados de uma fonte, ferramentas para converter em um formato fácil de analisar e em armazenamento para mantê-lo para visualização posterior - com a qual você também pode lidar com o ScraperWiki.

Ele também vem com várias ferramentas pré-criadas que automatizam tarefas repetitivas, incluindo obtendo dados de PDFs, que são notoriamente difíceis de decodificar. Isso além de Pesquisa no Twitter 5 truques legais de busca no Twitter para monitorar o que as pessoas estão dizendo sobre vocêSe você possui um site ou está apenas tentando ganhar dinheiro online como freelancer, é sempre bom saber o que as pessoas estão dizendo sobre você pela Internet. As pessoas podem estar citando ... consulte Mais informação e utilitários de raspagem. Você não precisa de nenhuma experiência em desenvolvimento de software para usá-las.

Custo

Como mencionado anteriormente, o ScraperWiki adota o modelo de preços freemium e oferece um serviço que possui várias camadas. Aqueles que estão apenas começando com a ciência de dados ou com necessidades limitadas podem usar o serviço gratuito. Isso fornece três conjuntos de dados - onde você armazena seus dados e código.

Aqueles que planejam escrever vários raspadores ou que desejam fazer montanhas de análise de dados podem gastar algum dinheiro em uma conta premium. Eles começam em US $ 9 por mês e oferecem 10 conjuntos de dados. Se isso ainda não for suficiente, você sempre poderá atualizar para o nível mais alto, que inclui 100 conjuntos de dados e custa US $ 29 por mês.

Codificação

Os programadores geralmente são bastante específicos quando se trata de como eles codificam. Alguns preferem linguagens de script a linguagens compiladas. Alguns preferem a experiência reduzida de um editor de texto à de um ambiente de desenvolvimento integrado (IDE). O ScraperWiki reconhece isso e oferece ao usuário uma enorme quantidade de opções quando se trata de como você escreve seu código.

Se você quiser, você pode escrever seu código no navegador. Como você esperaria de qualquer nível profissional, baseado na web Os 3 principais IDEs baseados em navegador para codificar na nuvem consulte Mais informação ferramenta de desenvolvimento, ela vem com recursos que qualquer programador consideraria essencial, como realce de sintaxe.

Existem vários idiomas em oferta. Esses incluem Pitão Os 5 melhores sites para aprender programação em PythonDeseja aprender programação Python? Aqui estão as melhores maneiras de aprender Python online, muitas das quais são totalmente gratuitas. consulte Mais informação , uma linguagem de script popular usada por empresas como Google e NASA; Rubi 3 maneiras interativas, divertidas e gratuitas de começar a aprender a linguagem de programação RubyRuby é uma linguagem de script expressiva e de alto nível. Ele é usado na Web principalmente como parte da estrutura de desenvolvimento da web Ruby on Rails, mas também de forma independente. Se você está curioso sobre o que Ruby (não ... consulte Mais informação , que fornece vários sites populares, como Living Social; e a popular linguagem de análise estatística, R.

Além disso, você também pode escrever código na linha de comando usando SSH, Git e qualquer editor de texto que você goste de usar. Sim, você leu certo. SSH O que é SSH e como é diferente do FTP [Tecnologia explicada] consulte Mais informação . Cada caixa usada é sua própria conta Linux e você pode se conectar a ela como faria com um VPS ou qualquer outra conta shell. Existem vários editores de texto disponíveis, incluindo Vim As 7 principais razões para dar uma chance ao editor de texto VimDurante anos, tentei um editor de texto após o outro. Você escolhe, eu tentei. Eu usei cada um desses editores por mais de dois meses como meu principal editor do dia-a-dia. De alguma forma, eu ... consulte Mais informação que pode ser estendido com plugins e editando a configuração. Quem é intimidado pelo Vim pode usar o Nano, que é um editor de texto leve para linha de comando.

As bibliotecas instaladas devem ser suficientes para ferramentas de gravação para recuperar dados e processá-los. Se você precisar de algo um pouco mais obscuro, sempre poderá criar um virtualenv a partir da linha de comando. Como você pode ver, há uma enorme flexibilidade oferecida aos desenvolvedores.

Visualização de dados

Então, você tem seus dados. Você normalizou isso. Você limpou. Você analisou isso. Agora é hora de fazer algumas visualizações e mostrar ao mundo o que você aprendeu.

O ScraperWiki permite que os desenvolvedores exibam seus dados usando páginas da Web construídas a partir da familiar familiar de HTML, CSS e JavaScript. Além disso, os componentes do Bootstrap são suportados imediatamente.

Existem várias visualizações pré-fabricadas disponíveis, incluindo aquelas que plotam seus dados em um mapa e encontram tendências nas suas descobertas. Para usá-las, você precisa garantir que seus dados sejam armazenados como um arquivo SQLite com o nome de arquivo 'scraperwiki.sqlite'. Depois, basta adicionar a visualização em que está interessado. Simples, certo?

Conclusão

ScraperWiki oferece muito aos desenvolvedores que desejam fazer algumas análises de dados sem que o ambiente de desenvolvimento atrapalhe, enquanto têm a flexibilidade de agradar até os usuários mais exigentes. Mas o que você acha? Deixe-me saber nos comentários abaixo.
Crédito da foto: Ciência de foguetes (Dan Brown)