Faça estudos visionários de pesquisa na Web usando dados da Web profundos e consultas na Web do Excel

Propaganda

O que você diria se eu lhe dissesse que você tem as ferramentas à sua disposição para fazer pesquisas inovadoras e revolucionárias? Bem, você faz, e eu vou lhe mostrar como.

Governos, instituições acadêmicas e organizações sem fins lucrativos publicam tabelas cheias de dados ao domínio público. Sem que ninguém use essas informações, seu verdadeiro valor nunca será conhecido. Infelizmente, poucas pessoas têm o insight, as habilidades ou as ferramentas para coletar os dados e fazer correlações interessantes entre informações aparentemente não conectadas.

fundo

Muitas das pesquisas que faço para o meu próprio blog envolvem o que é conhecido como o web invisível Os 12 melhores mecanismos de pesquisa para explorar a Web invisívelGoogle ou Bing não podem procurar por tudo. Para explorar a web invisível, você precisa usar esses mecanismos de pesquisa especiais. consulte Mais informação , para descobrir dados que foram divulgados ao público, mas ocultos motores de busca Os 5 mecanismos de pesquisa mais avançados da Web consulte Mais informação

dentro de um banco de dados online. Isto é o rede profunda TorSearch pretende ser o Google para a Deep WebO Tor é um serviço oculto e parte da Deep Web. O TorSearch é um novo mecanismo de busca anônimo que seu fundador, Chris MacNaughton, quer criar o "Google do Tor". consulte Mais informação , e está repleto de dados valiosos. Muitas vezes, encontro páginas da web repletas de dados mais valiosos sobre tópicos que vão desde dados do censo até estudos epidemiológicos sobre doenças raras. Eu constantemente tenho novas idéias sobre como tentar correlacionar essas fontes de dados diferentes usando vários ferramentas - e uma das ferramentas mais valiosas que eu encontrei é a Consulta da Web dentro da Microsoft Excel.

Localizando correlações de dados interessantes

O que vou mostrar hoje é um exemplo de como você pode usar as Consultas da Web do Excel para extrair dados de sites diferentes, e faça um gráfico entre eles para procurar possíveis correlações entre os dados.

A maneira de iniciar um exercício como esse é apresentar uma hipótese interessante. Por exemplo - para manter as coisas interessantes aqui - vou postular aleatoriamente que as taxas de autismo disparam nos Estados Unidos são causados ​​por inoculações de vacinas ou pela presença crescente de campos eletromagnéticos dentro e ao redor de crianças, como células telefones. É uma hipótese maluca que você encontrará na maioria dos sites de teoria da conspiração, mas é isso que torna isso divertido. Então, vamos começar, sim?

Primeiro, abra o Excel, vá para o item de menu dados e encontre o ícone “Da Web” na faixa de opções.

É isso que você usará para importar as diferentes tabelas de dados dos muitos sites que os publicaram.

Importando dados da Web para o Excel

Portanto, antigamente, era necessário tentar copiar os dados dessa tabela em uma página da Web, colá-los no Excel e lidar com todos os problemas de formatação malucos envolvidos nessa tarefa. Aborrecimento total e muitas vezes não vale a pena a dor de cabeça. Bem, com as consultas da Web do Excel, esses dias se foram. Obviamente, antes de importar os dados, você precisará navegar no Google pela Web para encontrar os dados necessários no formato de tabela. No meu caso, encontrei um site que publicou as estatísticas do Departamento de Educação para o número de estudantes de escolas públicas dos EUA que foram identificados como autistas. Uma boa mesa lá forneceu números desde 1994 até 2006.

Então, basta clicar em “Da Web”, colar o URL da página no campo de endereço da consulta e, em seguida, role a página para baixo até ver a seta amarela ao lado da tabela com os dados que deseja importar.

Clique na seta para que se torne uma marca de seleção verde.

Por fim, informe ao Excel em qual campo você deseja colar os dados da tabela dentro de sua nova planilha.

Então - Voila! Os dados fluem automaticamente para a sua planilha.

Portanto, com uma tendência das taxas de autismo nas escolas públicas de 1996 a 2006, é hora de procurar também as tendências de vacinação e uso de telefones celulares.

Felizmente, encontrei rapidamente tendências para assinantes de telefones celulares nos EUA de 1985 a 2012. Excelentes dados para este estudo em particular. Mais uma vez, usei a ferramenta Consulta da Web do Excel para importar essa tabela.

Importei a mesa para uma nova folha limpa. Então, descobri as tendências de vacinação para a porcentagem de crianças em idade escolar vacinadas por diferentes doenças. Importei essa tabela usando a ferramenta Consulta da Web para uma terceira planilha. Então, finalmente, eu tinha três folhas com as três tabelas preenchidas com os dados aparentemente desconectados que eu havia descoberto na Web.

A próxima etapa é usar o Excel para analisar os dados e tentar identificar quaisquer correlações. É aí que uma das minhas ferramentas favoritas de análise de dados entra em jogo - a Tabela Dinâmica.

Analisando dados no Excel com a tabela dinâmica

É melhor criar sua Tabela Dinâmica em uma folha nova e vazia. Você deseja usar o assistente para o que está prestes a fazer. Para habilitar o assistente de Tabela Dinâmica no Excel, você precisa pressionar Alt-D ao mesmo tempo até que uma janela de notificação seja exibida. Então solte esses botões e pressione a tecla “P”. Então, você verá o assistente aparecer.

Na primeira janela do assistente, você deseja selecionar "Múltiplos intervalos de consolidação", o que permite selecionar os dados de todas as folhas importadas. Ao fazer isso, você pode consolidar todos esses dados aparentemente não relacionados em um único e poderoso pivotável. Em alguns casos, pode ser necessário massagear alguns dos dados. Por exemplo, eu tive que corrigir o campo "Ano" na tabela de autismo para mostrar "1994" em vez de “1994-95” - alinhando-se melhor com as tabelas das outras folhas, que também tiveram o ano primário campo.

Esse campo comum entre dados é o que você precisa para tentar correlacionar informações. Lembre-se disso quando estiver pesquisando seus dados na Web.

Depois que a Tabela Dinâmica estiver concluída e você tiver todos os diferentes valores de dados exibidos em uma tabela, é hora de fazer uma análise visual para verificar se há alguma conexão óbvia que atinja você.

Visualizar dados é essencial

Ter vários números em uma tabela é ótimo se você é economista, mas a maneira mais rápida e fácil de obter que "aha!" momento em que você está tentando encontrar conexões como uma agulha no palheiro, é através de gráficos e gráficos. Depois de colocar o gráfico dinâmico com todos os conjuntos de dados coletados, é hora de criar seu gráfico. Normalmente, um gráfico de linhas se sai melhor, mas depende dos dados. Há momentos em que um gráfico de barras funciona muito melhor. Tente entender para que tipo de dados você está olhando e que comparações de formulário funcionam melhor.

Nesse caso, estou analisando dados ao longo do tempo, portanto, um gráfico de linhas é realmente a melhor maneira de ver tendências ao longo dos anos. Gráfico das taxas de autismo (verde) em relação às taxas de vacinação reduzidas (azul escuro), vacinas contra catapora (azul claro) e uso de telefone celular (roxo), uma correlação estranha apareceu subitamente neste conjunto de dados de amostra que eu estava reproduzindo com.

Curiosamente, a tendência no uso de telefones celulares de 1994 a 2006 quase igualou a subida nas taxas de autismo no mesmo período de tempo. Embora o padrão tenha sido completamente inesperado, é um exemplo perfeito de como a união de dados interessantes pode revelar pistas fascinantes - fornecendo a você maior percepção e motivação para continuar avançando e buscando mais dados que possam reforçar ainda mais sua hipótese.

Uma correlação como essa acima não prova nada. Há muitas tendências que aumentam com o tempo - o padrão pode ser coincidência, mas também pode ser uma pista importante na sua busca contínua por mais dados na Internet. Felizmente, você tem uma ferramenta poderosa chamada Consultas da Web do Excel que facilitará a busca um pouco.

Crédito da foto: Kevin Dooley através da photopincc