Da linhagem de dados ao agente da IA: um novo capítulo de agendamento em nuvem de Tianyi Cloud Dolphinscheduler

Replay ao vivo: Na onda de transformação orientada a dados e inteligente, o valor das plataformas de agendamento de dados está sendo redefinido. A integração do Tianyi Cloud Wing MR e Apache Dolphinscheduler não é apenas uma questão de seleção de tecnologia, mas também uma profunda fusão e exploração inovadora da comunidade para a empresa. Co-Construção da Comunidade: Do uso à contribuição, a cooperação entre a equipe de Cloud Tianyi e a comunidade Apache Dolphinscheduler tem uma longa história. Além do uso profundo em ambientes de produção, os membros da equipe participam ativamente da construção da comunidade por meio de envios de relações públicas, feedback de emitir, sugestões de recursos e muito mais para impulsionar a iteração do projeto. Alguns exemplos de contribuição: essa interação bidirecional não apenas torna a plataforma melhor atender às necessidades de negócios reais, mas também traz o feedback autêntico da comunidade da produção da linha de frente. Wing MR + Dolphinscheduler: Uma base estável para o Cloud Big Data como a plataforma de computação de big data da Tianyi Cloud, Wing MR fornece aos usuários serviços prontos para uso, seguros e confiáveis e fáceis de administrar em nuvem pública. Mais importante, o Wing MR alcança a integração automática com componentes de big data. Ao agendar tarefas em Dolphinscheduler, os usuários podem chamar diretamente de Hive, Spark, Flink e outros componentes sem configuração tediosa do ambiente. Além disso, a plataforma vem com um sistema de monitoramento e operações otimizado com base na Apache Dolphinscheduler, fornecendo gerenciamento visual de ligação completa para execução de tarefas, ajudando as equipes de O&M a localizar rapidamente problemas e otimizar o desempenho. Desenvolvimento Secundário: Agendando a programação mais próxima dos negócios em ambientes de produção, a equipe de Cloud Tianyi fez várias otimizações personalizadas com base no Dolphinscheduler: Resultados padronizados Setsunified Node Saída no formato CSV para reduzir o uso da memória e melhorar a eficiência da gravação do disco. A linhagem completa rastrearVisualizar o caminho de dados completo, desde a coleta e o processamento até a saída, suportando análise de dependência e auditoria entre tarefas. Ao alavancar três motores de análise – sqllineage4j, sqllineage e GSP – todos os tipos de scripts SQL são analisados em relações de linhagem e armazenados no centro de metadados. Esses dados de linhagem são então consumidos por módulos a jusante, como o catálogo de dados e os serviços de dados, permitindo a visualização, pesquisa e análise de impacto dos ativos de dados. A integração com sistemas de tarefas de terceiros suporta o registro gráfico para conectar sistemas de tarefas de terceiros (como Dinky, AWS EMR) e permite o envio direto de tarefas via OpenAPI, reduzindo os custos de desenvolvimento da integração. Essas otimizações melhoram significativamente a flexibilidade e a manutenção do agendamento de tarefas e fornecem um hub de agendamento unificado para diferentes tipos de negócios. Perspectivas para a era da IA Finalmente, eu gostaria de compartilhar minha visão de Dolphinscheduler na era da IA agêntica. Na era Agentic AI, as expectativas dos usuários – ou até seus padrões de uso – de Dolphinscheduler estão mudando. Por exemplo, no encontro de junho, a comunidade compartilhou sua exploração do MCP (Model Context Protocol) para Dolphinscheduler, o que significa que, no futuro, os “usuários” de Dolphinscheduler podem se estender de desenvolvedores humanos a agentes de IA. Talvez em um futuro próximo, os usuários -alvo do Dolphinscheduler sejam agentes, e a plataforma de agendamento não será mais apenas um console da web para seres humanos, mas parte dos fluxos de trabalho da IA. Eu acredito que Dolphinscheduler tem uma vantagem natural aqui. Embora vários componentes de big data estejam construindo seus próprios servidores MCP, como uma plataforma que já integra quase todos os componentes de big data, é mais eficiente, mais fácil de manter e mais leve fazer com que o Dolphinscheduler sirva como a entrada de programação unificada, em vez de permitir que cada componente desenvolva seu próprio servidor MCP. A visão é ambiciosa, mas como podemos trazê -la à vida? Acredito que, como sugerido por Dai Lidong na edição #17334, a introdução de grandes recursos de modelo é o primeiro passo em direção a esse futuro. Como membro da comunidade, chamo todos a participarem ativamente deste tópico de exploração, agrupar nossas idéias e trabalhar juntos para transformar nossa visão em realidade o mais rápido possível. Palavras finais A combinação de Tianyi Cloud Wing MR e Apache Dolphinscheduler é uma jornada de mão dupla entre a comunidade e a empresa, e também uma nova reflexão sobre o papel das plataformas de agendamento na onda de IA. No futuro, com o desenvolvimento da IA agêntica, essa combinação desbloqueará o valor em ainda mais cenários. Se você estiver interessado em programação de big data e fluxos de trabalho de IA, poderá se juntar à comunidade Apache Dolphinscheduler por meio de nossa conta oficial do WeChat, Slack ou Github para explorar mais possibilidades no agendamento de dados juntos.

Fonte