How can I speedup my loading process? - Qlik Community

brunolelli87 · ‎2020-05-06

Hello guys,

My script is taking around 25 minutes to load, and after loading I'm getting some $Syn, as you can see in the attached picture (export.png).

So, how can I speed up my loading process? and,
How can I remove all those Syncs?

Please, check the loading scripts I have in 3 different Tabs:

Tab Cotacao

SET ThousandSep='.';
SET DecimalSep=',';
SET MoneyThousandSep='.';
SET MoneyDecimalSep=',';
SET MoneyFormat='R$ #.##0,00;-R$ #.##0,00';
SET TimeFormat='hh:mm:ss';
SET DateFormat='DD/MM/YYYY';
SET TimestampFormat='DD/MM/YYYY hh:mm:ss[.fff]';
SET MonthNames='jan;fev;mar;abr;mai;jun;jul;ago;set;out;nov;dez';
SET DayNames='seg;ter;qua;qui;sex;sáb;dom';
SET LongMonthNames='janeiro;fevereiro;março;abril;maio;junho;julho;agosto;setembro;outubro;novembro;dezembro';
SET LongDayNames='segunda-feira;terça-feira;quarta-feira;quinta-feira;sexta-feira;sábado;domingo';
SET FirstWeekDay=6;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='pt-BR';

//Esta sessão lê todos, incluindo os bancos

//Lê todas as empresas
//For each Sticker in  'AZUL4', 'GOLL4'
For each Sticker in 'BBDC4', 'BPAC11','BBAS3', 'ITUB4','SANB4', 'BBDC3','ITSA4', 'BBSE3', 'B3SA3', 'BRAP4', 'WEGE3', 'LCAM3', 'EMBR3', 'MRVE3', 'HAPV3', 'LIGT3', 'BRFS3', 'AMAR3', 'USIM5', 'HGTX3', 'MEAL3', 'JBSS3', 'CEAB3', 'COGN3', 'AZUL4', 'GOLL4', 'PETR4', 'GGBR4', 'RENT3', 'MOVI3', 'VALE3', 'CMIG4', 'CIEL3', 'ELET6', 'CVCB3', 'IGTA3', 'CCRO3', 'DTEX3', 'CSMG3', 'CPFE3', 'ABEV3', 'LREN3', 'MRFG3', 'RLOG3', 'RAIL3', 'POMO4', 'BRDT3', 'ELET3', 'BRKM5', 'SMLS3', 'GUAR3', 'VVAR3', 'TOTS3', 'BTOW3', 'CYRE3', 'HYPE3', 'QUAL3', 'SBSP3', 'LAME4', 'NTCO3', 'UGPA3', 'VIVT4', 'ECOR3',  'SUZB3', 'TIMP3', 'KLBN11', 'GNDI3', 'MGLU3', 'YDUQ3', 'PETR3', 'FLRY3', 'CSNA3', 'RADL3', 'PCAR3', 'BRML3', 'ENBR3', 'TAEE11', 'CSAN3', 'GOAU4', 'EQTL3', 'MULT3', 'CRFB3'


// Recebe as informações de Cotação do site da Yahoo Finanças
	LOAD 
		 '$(Sticker)' as Sticker,		 
		 Date(Date#(replace(Data,' de ','/'),'DD/MMM/YYYY')) as [DataCotacao],
	     [Abrir] as [ValorAçãoAbertura], 
	     [Alto] as [ValorAltoAção], 
	     [Baixo] as [ValorBaixoAção], 
	     [Fechamento*] as [ValorAçãoFechamento],
		 [Fechamento ajustado**] as [ValorAçãoFechamentoAjustado],
	     [Volume] as [VolumeNegociado]
	FROM
	
		[https://br.financas.yahoo.com/quote/$(Sticker).SA/history?p=$(Sticker).SA]
		(html, utf8, embedded labels, table is @1, filters(
		Remove(Row, RowCnd(CellValue, 2, StrCnd(contain, 'Dividendo'))),
		Remove(Row, RowCnd(CellValue, 2, StrCnd(contain, '-'))),
		Remove(Row, RowCnd(CellValue, 2, StrCnd(contain, 'desdobramento'))),
		Remove(Row, RowCnd(CellValue, 1, StrCnd(contain, 'fechamento')))
	));

//Lê os dados da primeira coluna do site Fundamentus
	LOAD ?Papel as Sticker, 
		 ?Papel as Papel,
	     ?Tipo as [Tipo da Ação], 
	     ?Empresa as [NomeEmpresa], 
	     ?Setor as [SetorEmpresa], 
	     ?Subsetor as [SubsetorEmpresa]
	FROM
		[https://www.fundamentus.com.br/detalhes.php?papel=$(Sticker)]
		(html, codepage is 1252, embedded labels, table is @1, filters(
		Transpose(),
		Unwrap(Row, Pos(Bottom, 2))
	));
	
//Lê os dados da segunda parte do site Fundamentus	
	LOAD '$(Sticker)' as Sticker,
		 @1 as [ValorDeMercado], 
	     @2 as [ValorDeFirma], 
	     @3 as [ÚltimoBalançoProcessado], 
	     @4 as [NumeroDeAções]
	FROM
		[https://www.fundamentus.com.br/detalhes.php?papel=$(Sticker)]
		(html, codepage is 1252, no labels, table is @2, filters(
		Transpose(),
		Unwrap(Row, Pos(Bottom, 2)),
		Remove(Row, Pos(Top, 1))
	));



//Lê os dados de oscilações do site Fundamentus
	LOAD '$(Sticker)' as [Sticker], 
		 Dia as [VariaçãoDia], 
	     Mês as [VariaçãoMes], 
	     [30 dias] as [Variação30dias], 
	     [12 meses] as [Variação12Mo], 
	     [2020] as [Variação2020], 
	     [2019] as [Variação2019], 
	     [2018] as [Variação2018], 
	     [2017] as [Variação2017], 
	     [2016] as [Variação2016], 
	     [2015] as [Variação2015], 
	     [?P/L] as [P/L], 
	     [?P/VP] as [P/VP], 
	     [?P/EBIT] as [P/EBIT], 
	     ?PSR as [PSR], 
	     [?P/Ativos] as [P/ATIVOS], 
	     [?P/Cap. Giro] as [P/CAP.GIRO], 
	     [?P/Ativ Circ Liq] as [P/ATIV CIRC LIQ], 
	     [?Div. Yield] as [Dividend Yield], 
	     [?EV / EBITDA] as [EV/EBITDA], 
	     [?EV / EBIT] as [EV/EBIT], 
	     [?Cres. Rec (5a)] as [CAGR 5a], 
	     ?LPA as [LPA], 
	     ?VPA as [VPA], 
	     [?Marg. Bruta] as [Margem Bruta], 
	     [?Marg. EBIT] as [Margem EBIT], 
	     [?Marg. Líquida] as [Margem Líquida], 
	     [?EBIT / Ativo] as [EBIT / Ativo], 
	     ?ROIC as [ROIC], 
	     ?ROE as [ROE], 
	     [?Liquidez Corr] as [Liquidez Corrente], 
	     [?Div Br/ Patrim] as [DB/PL], 
	     [?Giro Ativos] as [Giro Ativos]
	FROM
		[https://www.fundamentus.com.br/detalhes.php?papel=$(Sticker)]
		(html, codepage is 1252, embedded labels, table is @3, filters(
		Transpose(),
		Remove(Col, Pos(Top, 1)),
		Unwrap(Row, Pos(Bottom, 4)),
		Unwrap(Row, Pos(Bottom, 2)),
		Remove(Col, Pos(Top, 11)),
		Remove(Col, Pos(Top, 26)),
		Remove(Col, Pos(Top, 25)),
		Remove(Col, Pos(Top, 24)),
		Remove(Col, Pos(Top, 23)),
		Remove(Col, Pos(Top, 22)),
		Remove(Col, Pos(Top, 26)),
		Remove(Col, Pos(Top, 25)),
		Remove(Col, Pos(Top, 24)),
		Remove(Col, Pos(Top, 23)),
		Remove(Col, Pos(Top, 22)),
		Remove(Col, Pos(Top, 22))
	));



	
//Lê os dados da Suno Investimentos
	LOAD '$(Sticker)' as [Sticker],
		 @1 as [P/L SUNO], 
	     @2 as [P/ATIVO TOTAL SUNO], 
	     @3 as [P/ATIV. CIRC. LIQ. SUNO], 
	     @4 as [DPA SUNO], 
	     @5 as [VPA SUNO], 
	     @6 as [EBIT/ATIVO SUNO], 
	     @7 as [DB/PL SUNO], 
	     @8 as [MARGEM BRUTA SUNO], 
	     @9 as [ROE SUNO], 
	     @10 as [ROA SUNO], 
	     @11 as [CAGR 5A SUNO], 
	     @12 as [LIQUIDEZ CORRENTE SUNO], 
	     @13 as [DIV. YIELD SUNO], 
	     @14 as [VALOR DE MERCADO SUNO], 
	     @15 as [CAPEX/FCO SUNO], 
	     @16 as [CAPEX/LL SUNO]
	FROM
		[https://www.sunoresearch.com.br/acoes/$(Sticker)/]
		(html, utf8, no labels, table is @1, filters(
		Transpose(),
		Remove(Row, Pos(Top, 1))
	));
	

	LOAD '$(Sticker)' as [Sticker],
		 @1 as [P/VP SUNO], 
	     @2 as [P/EBIT SUNO], 
	     @3 as [P/CAP. GIRO SUNO], 
	     @4 as [PSR SUNO], 
	     @5 as [LPA SUNO], 
	     @6 as [EV/EBIT SUNO], 
	     @7 as [DIV LIQ./ PL SUNO], 
	     @8 as [MARGEM LIQ. SUNO], 
	     @9 as [MARGEM EBIT SUNO], 
	     @10 as [ROIC SUNO], 
	     @11 as [GIRO DO ATIVO SUNO], 
	     @12 as [DIV. BRUTA SUNO], 
	     @13 as [PAYOUT SUNO], 
	     @14 as [VALOR DA FIRMA SUNO], 
	     @15 as [P/FCO SUNO], 
	     @16 as [FCI / LL SUNO]
	FROM
		[https://www.sunoresearch.com.br/acoes/$(Sticker)/]
		(html, codepage is 1252, no labels, table is @2, filters(
		Transpose(),
		Remove(Row, Pos(Top, 1))
	));

Next

Tab Empresas

SET ThousandSep=',';
SET DecimalSep='.';
SET MoneyThousandSep=',';
SET MoneyDecimalSep='.';
SET MoneyFormat='R$ #,##0.00;-R$ #,##0.00';
SET TimeFormat='hh:mm:ss';
SET DateFormat='DD/MM/YYYY';
SET TimestampFormat='DD/MM/YYYY hh:mm:ss[.fff]';
SET MonthNames='jan;fev;mar;abr;mai;jun;jul;ago;set;out;nov;dez';
SET DayNames='seg;ter;qua;qui;sex;sáb;dom';
SET LongMonthNames='janeiro;fevereiro;março;abril;maio;junho;julho;agosto;setembro;outubro;novembro;dezembro';
SET LongDayNames='segunda-feira;terça-feira;quarta-feira;quinta-feira;sexta-feira;sábado;domingo';
SET FirstWeekDay=6;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='pt-BR';

//Esta sessão lê todos menos bancos

//Lê todas as empresas menos a 'IRBR3' devido a um problema no arquivo da Fundamentus.com.br
//For each Sticker in  'AZUL4', 'GOLL4'
For each Sticker in 'B3SA3', 'BRAP4', 'WEGE3', 'LCAM3', 'EMBR3', 'MRVE3', 'HAPV3', 'LIGT3', 'BRFS3', 'AMAR3', 'USIM5', 'HGTX3', 'MEAL3', 'JBSS3', 'CEAB3', 'COGN3', 'AZUL4', 'GOLL4', 'PETR4', 'GGBR4', 'RENT3', 'MOVI3', 'VALE3', 'CMIG4', 'CIEL3', 'ELET6', 'CVCB3', 'IGTA3', 'CCRO3', 'DTEX3', 'CSMG3', 'CPFE3', 'ABEV3', 'LREN3', 'MRFG3', 'RLOG3', 'RAIL3', 'POMO4', 'BRDT3', 'ELET3', 'BRKM5', 'SMLS3', 'GUAR3', 'VVAR3', 'TOTS3', 'BTOW3', 'CYRE3', 'HYPE3', 'QUAL3', 'SBSP3', 'LAME4', 'NTCO3', 'UGPA3', 'VIVT4', 'ECOR3',  'SUZB3', 'TIMP3', 'KLBN11', 'GNDI3', 'MGLU3', 'YDUQ3', 'PETR3', 'FLRY3', 'CSNA3', 'RADL3', 'PCAR3', 'BRML3', 'ENBR3', 'TAEE11', 'CSAN3', 'GOAU4', 'EQTL3', 'MULT3', 'CRFB3'


//Lê o Balanço Patrimonial
LOAD 	'$(Sticker)' as [Sticker],  
	    Date#(F1, 'DD/MM/YYYY') as [Periodo],
	    [Ativo Total],
	    [Ativo Circulante], 
	    [Caixa e Equivalentes de Caixa], 
	    [Aplicações Financeiras],
		[Contas a Receber],
		[Estoques], 
		[Ativos Biológicos],
		[Tributos a Recuperar], 
		[Despesas Antecipadas],
		[Outros Ativos Circulantes], 
		[Ativo Realizável a Longo Prazo], 
		[Aplicações Financeiras Avaliadas a Valor Justo], 
		[Aplicações Financeiras Avaliadas ao Custo Amortizado], 
		[Contas a Receber1], 
		[Estoques1],
		[Ativos Biológicos1], 
		[Tributos Diferidos],
		[Despesas Antecipadas1], 
		[Créditos com Partes Relacionadas], 
		[Outros Ativos Não Circulantes], 
		[Investimentos], 
		[Imobilizado],
		[Intangível], 
		[Diferido],
		[Passivo Total], 
		[Passivo Circulante], 
		[Obrigações Sociais e Trabalhistas],
		[Fornecedores],
		[Obrigações Fiscais], 
		[Empréstimos e Financiamentos], 
		[Passivos com Partes Relacionadas],
		[Dividendos e JCP a Pagar],
		[Outros], 
		[Provisões], 
		[Passivos sobre Ativos Não-Correntes a Venda e Descontinuados], 
		[Passivo Não Circulante],
		[Empréstimos e Financiamentos1],
		[Passivos com Partes Relacionadas1],
		[Outros1],
		[Tributos Diferidos1], 
		[Adiantamento para Futuro Aumento Capital], 
		[Provisões1], 
		[Passivos sobre Ativos Não-Correntes a Venda e Descontinuados1], 
		[Lucros e Receitas a Apropriar], 
		[Participação dos Acionistas Não Controladores] as [Part. de Acionistas Não Controladores BP],
		[Patrimônio Líquido], 
		[Capital Social Realizado], 
		[Reservas de Capital], 
		[Reservas de Reavaliação],
		[Reservas de Lucros], 
		[Lucros/Prejuízos Acumulados], 
		[Ajustes de Avaliação Patrimonial],
		[Ajustes Acumulados de Conversão], 
		[Outros Resultados Abrangentes],
		[Adiantamento para Futuro Aumento Capital1]

FROM
[http://lelli.000webhostapp.com/InvestmentsCSV/$(Sticker).csv]
(txt, utf8, embedded labels, delimiter is ',', msq, filters(
Remove(Row, Pos(Top, 1)),
Transpose()
));


//Lê as informações de DR
LOAD '$(Sticker)' as [Sticker],  
	 Date#(@1, 'DD/MM/YYYY') as [Periodo],
     @2 as [Receita Bruta de Vendas e/ou Serviços],
     @3 as [Deduções da Receita Bruta],
     @4 as [Receita Líquida de Vendas e/ou Serviços],
     @5 as [Custo de Bens e/ou Serviços Vendidos],
     @6 as [Resultado Bruto],
     @7 as [Despesas Com Vendas],
     @8 as [Despesas Gerais e Administrativas],
     @9 as [Perdas pela Não Recuperabilidade de Ativos],
     @10 as [Outras Receitas Operacionais],
     @11 as [Outras Despesas Operacionais],
     @12 as [Resultado da Equivalência Patrimonial],
     @13 as [Financeiras],
     @14 as [Receitas Financeiras],
     @15 as [Despesas Financeiras],
     @16 as [Resultado Não Operacional],
     @17 as [Receitas],
     @18 as [Despesas],
     @19 as [Resultado Antes Tributação/Participações],
     @20 as [Provisão para IR e Contribuição Social],
     @21 as [IR Diferido],
     @22 as [Participações/Contribuições Estatutárias],
     @23 as [Reversão dos Juros sobre Capital Próprio],
     @24 as [Part. de Acionistas Não Controladores DR],
     @25 as [Lucro/Prejuízo do Período]

FROM
[http://lelli.000webhostapp.com/InvestmentsDR/$(Sticker).csv]
(txt, utf8, no labels, delimiter is ',', msq, filters(
Remove(Row, Pos(Top, 1)),
Transpose(),
Remove(Row, Pos(Top, 1))
));

next

Tab Bancos

SET ThousandSep=',';
SET DecimalSep='.';
SET MoneyThousandSep=',';
SET MoneyDecimalSep='.';
SET MoneyFormat='R$ #,##0.00;-R$ #,##0.00';
SET TimeFormat='hh:mm:ss';
SET DateFormat='DD/MM/YYYY';
SET TimestampFormat='DD/MM/YYYY hh:mm:ss[.fff]';
SET MonthNames='jan;fev;mar;abr;mai;jun;jul;ago;set;out;nov;dez';
SET DayNames='seg;ter;qua;qui;sex;sáb;dom';
SET LongMonthNames='janeiro;fevereiro;março;abril;maio;junho;julho;agosto;setembro;outubro;novembro;dezembro';
SET LongDayNames='segunda-feira;terça-feira;quarta-feira;quinta-feira;sexta-feira;sábado;domingo';
SET FirstWeekDay=6;
SET BrokenWeeks=1;
SET ReferenceDay=0;
SET FirstMonthOfYear=1;
SET CollationLocale='pt-BR';

//Lê somente os bancos, pois possuem campos diferentes.
//For each Sticker in  'BBDC4'
For each Sticker in  'BBDC4', 'BPAC11','BBAS3', 'ITUB4', 'SANB4', 'BBDC3'


LOAD '$(Sticker)' as [Sticker], 
	 Date#(F1, 'DD/MM/YYYY') as [Periodo], 
     [Ativo Total],
     [Ativo Circulante], 
     [Disponibilidades], 
     [Aplicações Interfinanceiras de Liquidez], 
     [Títulos e Valores Mobiliários], 
     [Relações Interfinanceiras], 
     [Relações Interdependências], 
     [Operações de Crédito], 
     [Operações de Arrendamento Mercantil], 
     [Outros Créditos], 
     [Outros Valores e Bens], 
     [Ativo Realizável a Longo Prazo], 
     [Aplicações Interfinanceiras de Liquidez1], 
     [Títulos e Valores Mobiliários1], 
     [Relações Interfinanceiras1], 
     [Relações Interdependências1], 
     [Operações de Crédito1], 
     [Operações de Arrendamento Mercantil1], 
     [Outros Créditos1], 
     [Outros Valores e Bens1], 
     [Ativo Permanente], 
     [Investimentos], 
     [Imobilizado de Uso], 
     [Imobilizado de Arrendamento], 
     [Intangível], 
     [Diferido], 
     [Passivo Total], 
     [Passivo Circulante], 
     [Depósitos], 
     [Captações no Mercado Aberto], 
     [Recursos de Aceites e Emissão de Títulos], 
     [Relações Interfinanceiras2], 
     [Relações Interdependências2], 
     [Obrigações por Empréstimos], 
     [Obrigações por Repasse do País], 
     [Obrigações por Repasse do Exterior], 
     [Outras Obrigações], 
     [Passivo Exigível a Longo Prazo], 
     [Depósitos1], 
     [Captações no Mercado Aberto1], 
     [Recursos de Aceites e Emissão de Títulos1], 
     [Relações Interfinanceiras3], 
     [Relações Interdependências3], 
     [Obrigações por Empréstimos1], 
     [Obrigações por Repasse do País1], 
     [Obrigações por Repasse do Exterior1], 
     [Outras Obrigações1], 
     [Resultados de Exercícios Futuros], 
     [Part. de Acionistas Não Controladores] as [Part. de Acionistas Não Controladores BP], 
     [Patrimônio Líquido], 
     [Capital Social Realizado], 
     [Reservas de Capital], 
     [Reservas de Reavaliação], 
     [Reservas de Lucro], 
     [Ajustes de Avaliação Patrimonial], 
     [Lucros/Prejuízos Acumulados]
FROM
[http://lelli.000webhostapp.com/InvestmentsCSV/$(Sticker).csv]
(txt, utf8, embedded labels, delimiter is ',', msq, filters(
Remove(Row, Pos(Top, 1)),
Transpose()
));


LOAD 
	'$(Sticker)' as [Sticker],
	Date#(@1, 'DD/MM/YYYY') as [Periodo], 
	@2 as [Receitas da Intermediação Financeira],
	@3 as [Despesas da Intermediação Financeira],
	@4 as [Resultado Bruto Intermediação Financeira],
	@5 as [Outras Despesas/Receitas Operacionais],
	@6 as [Receitas de Prestação de Serviços],
	@7 as [Despesas de Pessoal],
	@8 as [Outras Despesas Administrativas],
	@9 as [Despesas Tributárias],
	@10 as [Outras Receitas Operacionais],
	@11 as [Outras Despesas Operacionais],
	@12 as [Resultado da Equivalência Patrimonial],
	@13 as [Resultado Operacional],
	@14 as [Resultado Não Operacional],
	@15 as [Receitas],
	@16 as [Despesas],
	@17 as [Resultado Antes Tributação/Participações],
	@18 as [Provisão para IR e Contribuição Social],
	@19 as [IR Diferido],
	@20 as [Participações/Contribuições Estatutárias],
	@21 as [Reversão dos Juros sobre Capital Próprio],
	@22 as [Part. de Acionistas Não Controladores DR],
	@23 as [Lucro/Prejuízo do Período]

FROM
[http://lelli.000webhostapp.com/InvestmentsDR/Sticker.csv]
(txt, utf8, no labels, delimiter is ',', msq, filters(
Remove(Row, Pos(Top, 1)),
Transpose(),
Remove(Row, Pos(Top, 1))
));

Next

Thanks
Bruno