Feedly estava roubando seu conteúdo - aqui está a história e seu código

Propaganda

Semana Anterior, Feedly lançou um novo recurso polêmico - seqüestrar links de feed para roubar tráfego de milhões de blogueiros.

Redirecionar links compartilhados com a visão do artigo do Feedly para o próprio Feedly, em vez do artigo em si no site original, é uma preocupação dos criadores de conteúdo original em muitos blogs. Isso não apenas resulta em perda de tráfego, mas também é enganoso para quem segue um blog específico.

Aqui está a história completa de por que as pessoas estão com raiva e como um blogueiro ajudou a corrigir a situação. Eu também mergulhei no código fonte deles para mostrar o quão sujos são seus pequenos truques.

Crédito devido:O Leitor Digital era a fonte original desta notícia - eu apenas decidi investigar um pouco mais e ver exatamente o que eles estavam fazendo.

Primeiro, as boas novas

No momento da redação deste artigo, o comportamento foi um pouco corrigido para que os links encurtados do Feedly fossem realmente enviados ao site de origem, mas um rápido exame do

Código de status HTTP Os 10 principais sites de códigos de erro e solução de problemas consulte Mais informação revelou que o redirecionamento não estava sendo feito da maneira típica no nível do servidor com um redirecionamento 301 ou 302 (200, que o Feedly está enviando, significa "sim, temos essa página, espere"; 404 significa "não encontrado"; 301 significa "redirecionar permanentemente para outro URL; enquanto 302 significa "redirecionamento temporário").

Isso significava que o redirecionamento estava sendo realizado em JavaScript, então eu queria saber mais. Usando uma ferramenta de busca de página da web de linha de comando chamada ondulação, Pude pegar o código-fonte de um link do Feedly de amostra para o Techmeme.com antes do redirecionamento (já que o CURL não executaria JavaScript) - e revelou alguns boatos surpreendentes. Aqui está o que eu encontrei.

(Carreguei o fonte completa aqui se você quiser dar uma olhada, mostrarei apenas alguns trechos interessantes abaixo)

Algumas pessoas estavam preocupadas com as implicações de SEO de basicamente ter seu conteúdo roubado e republicado em outro lugar; a boa notícia é que o Feedly definiu corretamente rel = "canônico" metatag para instruir o Google que todos os valores de links devem ser passados ​​para o site original. No entanto, é impossível verificar se isso foi adicionado depois que as reclamações começaram ou estavam presentes desde o início.

Eles estão retirando anúncios

No que provavelmente foi uma tentativa equivocada de duplicar um Funcionalidade de tipo de legibilidade 6 Bookmarklets que aumentarão sua velocidade e produtividade na navegação na WebOs Bookmarklets são ajudantes pouco suspeitos que ficam na barra de favoritos do seu navegador. Ao contrário dos favoritos comuns, eles não arquivam um URL, mas bookmarklets são pequenos applets java com uma funcionalidade de um clique. Existem centenas de ... consulte Mais informação , que reduz uma página ao essencial, o Feedly reduzia todos os botões de publicidade, rastreamento e compartilhamento social que podem ter sido incorporados ao item de feed original. Aqui está a lista completa de coisas que estão sendo retiradas:

var visualExcludePatterns = ["feedproxy", "feedburner", "/ ~", "feeds.wordpress.com", "stats.wordpress.com", "googleadservices.com", "feedads", "tweet-this", "fmpub", "- ads", "_ ads", "pheedo", "zemanta", "u.npr.org/iserver","openx.org","slashdot-it","smilies","/ico - "," commindo-media.de "," creatives.com dormindo-media "," doubleclick.net "," i.techcrunch "," adview "," / feed.gif ",". ads. "," / avw.php ”," wp-digg-this "," injetor de feed "," / plugins / "," tweetmeme.com "," _ icon _ "," / ad - "," botões de compartilhamento "," feedsportal. com "," buysellads ", "holstee", "musictapp", "/ ad _", "/ button /", "donate.png", "/ sponsors /", "googlesyndication.com", "/ pagead", "/ adx", "recursos / feed-fb "," assets / feed-tw "," feedburner.com/~ff","gstatic.com","feedsportal.com "]; 

A retirada de um botão "doar" parece particularmente irritante, por algum motivo.

Eles estão seqüestrando links

Aqui chegamos ao ponto mais sério, pois não só o Feedly estava retirando o conteúdo do seu site, mas também removendo todos os botões sociais originais e reescrevendo os metadados. Isso significa que, quando alguém posteriormente compartilhou o item, eles seriam de fato compartilhando o link do Feedly e não a postagem original. Qualquer pessoa que clicar nesse link irá diretamente para o Feedly.

Então, você pode perguntar? Quando uma postagem se torna viral, pode ser de grande benefício para o site em questão - aumentando as visualizações de página e as receitas de anúncios e expandindo seu público. O Feedly estava roubando completamente esse benefício específico do site para expandir sua própria base de usuários. O código do Feedly incluía verificações de dispositivos móveis que direcionariam os usuários para a página da loja de aplicativos relevante.

função ação (onde) { var actionName = "follow"; var url = " http://feedly.com/#" + encodeURIComponent ("subscription /" + feedInfo.id); if (/iPhone|iPad/i.test (navigator.userAgent)) { actionName = "instalar"; url = " http://itunes.apple.com/us/app/feedly/id396069556"; } caso contrário, se (/android/i.test (navigator.userAgent)) { actionName = "instalar"; url = "mercado: // detalhes? id = com.devhd.feedly "; } _gaq.push (['_trackEvent', bucket (), actionName + "." + onde, feedInfo.id]); window.setTimeout (function () {document.location.href = url;}, 20); window.event.cancelBubble = true. window.event.stopPropagation (); window.event.preventDefault (); }

Não estava "apenas facilitando a visualização do artigo" - estava roubando tráfego, puro e simples. Isso não é legal.

Sua primeira correção: uma lista de exclusão codificada

Quando o Digital Reader se queixou pela primeira vez de Feedly, sua resposta foi re-codificar o Javascript para incluir um lista de exclusão. Eles literalmente adicionaram uma verificação a cada link do Feedly para ver se era um item do Leitor Digital e, se sim, para ignorar o seqüestro de páginas.

var siteExcludePatterns = ["/ TheDigitalReader /"]; função shouldExcludeSite (url)

Essa é, obviamente, uma maneira absolutamente ridícula de fazer isso - eles estavam planejando adicionar à lista com o passar do tempo e mais blogueiros reclamaram?

Nate, do The Digital Reader, respondeu:

onde você sai exigindo que eu desista do seu seqüestro? É como dizer que eu deveria pedir a alguém para parar de me bater na carteira do rosto. E ainda assim você acha que isso é razoável?

Sua segunda correção: um corte rápido para ignorar todo o código

Depois do que só posso supor que houve um número esmagador de reclamações a seguir, eles ajustaram o filtro de seqüestro da seguinte maneira:

if (kind == "parcial" || shouldExcludeSite (" http://www.techmeme.com/131202/p30#a131202p30" ) || verdade ) { document.body.innerHTML = ""; document.location.href = " http://www.techmeme.com/131202/p30#a131202p30"; }

"Parcial" refere-se ao conteúdo copiado como um feed completo ou parcial - não há sentido em seqüestrar feeds que publicam apenas um trecho, afinal. Presumivelmente, essa função começou como a única verificação que ocorreu ao escolher enviar o usuário ao site original ou não. Você pode ver a primeira correção depois disso, que chama a função para verificar se este site está na lista de sites que optaram por não participar; mas então vemos a correção final no lugar -

|| verdade.

Se você tiver alguma experiência em programação, reconhecerá o hack rápido que diz "o código a seguir sempre será executado" e geralmente é usado apenas na depuração. Se alguma dessas três condições for verdadeira (as duas primeiras não importam mais), o Feedly redirecionará os usuários instantaneamente para o site original.

E é aí que está agora. Então, o que aprendemos?

Basicamente, o Feedly criou uma espécie de experiência de leitura reduzida, mas a maneira como eles continuaram reescrever links para propagar seu próprio serviço por meio de compartilhamentos sociais subsequentes foi bastante danado repugnante. Essa não é a única ação ruim que o Feedly fez recentemente - no mês passado, eles começou a exigir login com contas do Google+ (tendo visto quão bem o login do Google+ está funcionando no YouTube Seção de comentários do YouTube agora limpa, cortesia do Google+O Google limpou o YouTube com um novo sistema de comentários do Google+. Agora você verá os comentários mais votados, de pessoas em seus círculos do Google+ e do proprietário do vídeo. consulte Mais informação , Eu acho), mas isso também foi rapidamente revertido. A lição é: você pode começar a encontrar um leitor alternativo O fim do leitor do Google está próximo: prepare-se com esses leitores de RSS alternativosO Google Reader está morto. Em julho, o principal serviço de RSS da Internet será encerrado para sempre, deixando os usuários a procurarem um substituto por conta própria. Se você está procurando um equivalente ao Google, estes são apenas ... consulte Mais informação , a menos que você já tenha pagado US $ 99 por uma conta Pro.