topic Re: Limpeza de dados - Twitter in Brasil

Limpeza de dados - Twitter

rodrigo_dittric — Tue, 24 Apr 2018 11:27:48 GMT

Bom dia,

Alguém ai já faz busca de dados no Twitter?

Estou fazendo algumas análises e estou querendo achar um método para limpar os twetts, pois vem com muito "lixo" na frase.

Exemplo: RT @PessoaqueRetwetou: ¿Aqui está o texto limpo do tweeter? ⚽️ @xxxxx https://t.co/xxxxxxxxx

Qual melhor método que eu poderia utilizar para limpar cada frase, no exemplo acima eu só quero manter a frase: "Aqui está o texto limpo do tweeter?". O restante precisaria eliminar na busca.

Estou fazendo isso no Qlik Sense Cloud (Obs: Ainda não permite extensões)

Re: Limpeza de dados - Twitter

Thiago_Justen_ — Tue, 24 Apr 2018 16:51:18 GMT

Dá uma olhadinha nisso:

Qlik Sense Cloud Business and the Web Connectors

Twitter - Qlik Sense Cloud Business Web Connectors - Video 2

Re: Limpeza de dados - Twitter

rodrigo_dittric — Tue, 24 Apr 2018 17:20:47 GMT

Opa,

Essa parte eu já domino.

Já tenho a estrutura do twitter extraída.

O que preciso é "limpar" as frases.

Re: Limpeza de dados - Twitter

mario_sergio_ti — Fri, 27 Apr 2018 00:25:27 GMT

Poderá fazer a limpeza dos dados utilizando uns recursos como: Prefixo Mapping e a função MapSubstring, por exemplo.

Veja um exemplo:

Re: Abreviar valor de uma coluna

Re: Limpeza de dados - Twitter

rodrigo_dittric — Fri, 27 Apr 2018 11:18:56 GMT

Bom dia,

Eu esqueci de avisar, eu já tinha conseguido resolver exatamente com esse recurso:

TW_TMP:

LOAD Recno() as ID,

Type,

FROM

[$(vteste)\twetts.xlsx]

(ooxml, embedded labels, table is Sheet1);

CARACTERES:

LOAD ID, Iterno() as CharNo, Ord(Mid(Tweet,Iterno(),1)) as Ord, Mid(Tweet,Iterno(),1) as Char

RESIDENT TW_TMP

While iterno() <= Len(Tweet);

MAPA_CARACTERES:

MAPPING LOAD

Char as Char,

'' as x

Resident CARACTERES

where Ord > 255;

TW:

LOAD Recno() as ID,

Tweet,

mapsubstring('MAPA_CARACTERES',Tweet) as Changed

Resident TW_TMP

WHERE Type = 'Tweet';

Obrigado por complementar com a resposta, assim tenho certeza que usei o que tinha de mais próximo.:)

Re: Limpeza de dados - Twitter

mario_sergio_ti — Fri, 27 Apr 2018 11:29:37 GMT

Perfeito, parabéns;

Abraços e sucesso.

Re: Limpeza de dados - Twitter

rodrigo_dittric — Fri, 27 Apr 2018 11:34:38 GMT

Obrigado!

Abraço e sucesso ai também!