Limpeza de dados - Twitter

[rodrigo_dittric]

Bom dia,

Alguém ai já faz busca de dados no Twitter?

Estou fazendo algumas análises e estou querendo achar um método para limpar os twetts, pois vem com muito "lixo" na frase.

Exemplo: RT @PessoaqueRetwetou: ¿Aqui está o texto limpo do tweeter? ⚽️     @xxxxx https://t.co/xxxxxxxxx

Qual melhor método que eu poderia utilizar para limpar cada frase, no exemplo acima eu só quero manter a frase: "Aqui está o texto limpo do tweeter?". O restante precisaria eliminar na busca.

Estou fazendo isso no Qlik Sense Cloud (Obs: Ainda não permite extensões)

[Thiago_Justen_]

Dá uma olhadinha nisso:

Qlik Sense Cloud Business and the Web Connectors

Twitter - Qlik Sense Cloud Business Web Connectors - Video 2

[rodrigo_dittric]

Opa,

Essa parte eu já domino.

Já tenho a estrutura do twitter extraída.

O que preciso é "limpar" as frases.

[mario_sergio_ti · Accepted solution]

Poderá fazer a limpeza dos dados utilizando uns recursos como: Prefixo Mapping e a função MapSubstring, por exemplo.

Veja um exemplo:

Re: Abreviar valor de uma coluna

[rodrigo_dittric]

Bom dia,

Eu esqueci de avisar, eu já tinha conseguido resolver exatamente com esse recurso:

TW_TMP:

LOAD Recno() as ID,

     Type,

     Tweet

FROM

[$(vteste)\twetts.xlsx]

(ooxml, embedded labels, table is Sheet1);

CARACTERES:

LOAD ID, Iterno() as CharNo, Ord(Mid(Tweet,Iterno(),1)) as Ord, Mid(Tweet,Iterno(),1) as Char

RESIDENT TW_TMP

While iterno() <= Len(Tweet);

MAPA_CARACTERES:

MAPPING LOAD

Char as Char,

'' as x

Resident CARACTERES

where Ord > 255;

TW:

LOAD Recno() as ID,

     Tweet,

     mapsubstring('MAPA_CARACTERES',Tweet) as Changed

Resident TW_TMP

WHERE Type = 'Tweet';

Obrigado por complementar com a resposta, assim tenho certeza que usei o que tinha de mais próximo.:)

[mario_sergio_ti]

Perfeito, parabéns;

Abraços e sucesso.

[rodrigo_dittric]

Obrigado!

Abraço e sucesso ai também!