8 Replies Latest reply: Jul 25, 2014 11:48 AM by Roberto Gomes RSS

    Problemas com volume de dados

    Juliana Campagnolo

      Bom dia,

       

      Estou tentando fazer a carga de uma tabela que contem 23.000.000 de registros, no postgres, porém, não estou conseguindo chegar ao final do processamento aparece o seguinte erro:

      SQL##f - SqlState: S1001, ErrorCode: 4, ErrorMsg: Out of memory while reading tuples.

      Pedido_Vendas_Itens:

      SQL SELECT *

      FROM  xxx."public"."itens_pedido_venda"

      where d_e_l_e_t_ <> '*'

       

      Para fazer a carga, estou usando a seguinte expressão:

      Pedido_Vendas_Itens:

      SQL SELECT *

      FROM  xxx."public"."itens_pedido_venda";

      STORE Pedido_Vendas_Itens into Pedido_Vendas_Itens.qvd;

      //DROP Table Pedido_Vendas_Itens;


      Fiz uma carga usando o comando Limit, e carreguei apenas 1000 registros. O qvd gerado ficou com 120KB.

       

       

      Alguém tem alguma ideia de como poderei fazer a carga dessa tabela??

        • Re: Problemas com volume de dados
          Paulo Dantas

          Você pode tentar fazer com cargas incremental. Dividindo em vários QVD. Nessa tabela tem algum campo de data, para que você possa utilizar no where e separar por anos, meses ou dias?

          • Re: Problemas com volume de dados
            Hamilton Junior

            Acredito que assim como o Paulo falou, é interessante você usar um Inner Join direto no SQL juntando as duas tabelas, fazendo isso você consegue criar um QVD para cada mes (isso faria o QVD ficar pequeno e de leitura rápida) e no projeto basta Concatenar eles. Tome cuidado com outro fator, a quantidade de informações não é tão importante quanto o tamanho do QVD, tente deixar o menor possível. Uma opção é ao invez de dar um select *, você selecionar os campos necessários (caso possa desconsiderar alguns), as vezes fazendo apenas isso você ja consiga criar esse arquivo. Faça um teste com apenas um campo.