De Python a Clickhouse: Parquet ETL com GO

Ei desenvolvedores 👋, se você está explorando pilhas de engenharia de dados modernas ou deseja experimentar o Clickhouse com Go e Python – este post é para você! Eu queria experimentar algo leve, mas real: gerando um arquivo parquet usando o python e carregando -o no clickhouse usando go. Aqui está o que eu construí, como funciona e o que aprendi 🔗 🔗 github repo 📦 o que este projeto faz, isso é um mini-projeto de contêiner e amigável para iniciantes: 🧪 gera dados de amostra usando um script de python-o pico de píorna, converte-o em um arquivo de parquet para compor a tabela de cliques usando um aplicativo de gênero-usando o tipo de staack, usando-se, usando o script de um satack para que o script usem um script para o uso de um pitão, usando o script que é o script de um pitão, usando o script de um staack, usando o tipo de staack, usando o tipo de píorno, usando o tipo de stating, com o script de um pitão. Parquet e inserção no clickhouse clickhouse-lightning-fast-fast db docker compor-para simplificar o parquet de configuração do clickhouse-para armazenamento eficiente de armazenamento colunar ⚙️ Como executá-lo localmente etapa 1. Clone o modo de repot git clone cd cliques cliques-parquet Data CDRYTEN PROTEN PHELEN ETEMELELE DE ETIMENTO DE RELETO DE CLONETO. Modo de tela cheia Etapa 3. Inicie o Clickhouse usando o Docker Compunha Docker-Compose Up -D Digite Modo de tela Full Screen Saia Modo de tela cheia Etapa 4. Execute o aplicativo GO para ingerir dados CD GO GO GO RUN PRINCIPAL. # Arquivo de teste gerado automaticamente ├── Python/ │ └── Gerate_parquet.py # script para criar dados └── go/ ├── go.mod ├── go.sum └── main. Docker compor para implantar o Clickhouse rapidamente 💡 Estruturando um mini fluxo de trabalho ETL com várias linguagens 🔍 Por que você deve tentar se estiver aprendendo engenharia de dados ou programação de sistemas: tente combinar o Python + Go para o Movimento de Dados Real do mundo real, a prática de prática e o uso de arquivos de parquet-por toda parte que está em todos os lugares, o que está sendo usado para serem usados como um dos dois lugares que se iluminam e, em todo o mundo, o que está sendo usado para serem usados para o que se ilumina e, em todo o mundo, o que está sendo usado para serem usados para que o Analytics Explore e veja como se acumular, o que está sendo usado para serem usados para serem usados para serem usados para serem usados para que os que se ilumam e vejam que a Blording Blazing é usada para serem usados para serem usados para que seja uma pessoa que se usa, e como serem utilizados, os que estão sendo usados para que os que se iluminam? 📈 Construa um painel de cliques em cima desses dados⚙️ Tente transmitir dados de parquet em clickhouse📂 expandir a complexidade do esquema para uma ingestão mais realista🛠️ Referência GO VS Python para a velocidade de carregamento no clickhouse 🙋‍♂️ Sobre mim Mohamed Hussain Sassociate Data Engineer LinkedIn | Github 🧪 Construindo um mini projeto de cada vez para se tornar um melhor engenheiro de dados.

Fonte