Pesquisa multimodal movida a clipe com índice de vetor Redis e gráfico

Redis AI Desafio: Inovadores de IA em tempo real Este é um envio para o Redis AI Challenge: inovadores de IA em tempo real. O que eu construí, construí um sistema de pesquisa semântica multi-modal em tempo real que combina pesquisa de similaridade vetorial com expansão de contexto baseada em gráficos. O texto e as imagens são incorporados localmente usando clipe (OpenAI/Clip-Vit-Base-Patch16, 512-DIM). O Redis 8 pode o índice vetorial (distância cosseno) e as pesquisas rápidas do KNN, e também serve como um cache para os resultados da consulta. No topo dos vizinhos mais próximos, construo e traço um gráfico semântico usando o NetworkX no Python para descobrir itens relacionados além do K Top -K inicial – abordando a recuperação mais rica e explicável. Recursos -chave: INCEDIÇÕES LOCAIS DE CLIP PARA TEXTO E IMAGES REDIS 8 VECTOR INDEX com similaridade de cosseno + Cache do resultado da pesquisa de KNN em Redis para baixa latência e redução do gráfico semântico de Retworkx Recompute para vincular e classificar itens relacionados na Pesquisa Duplicar a prevenção via SHA – 256 Conteúdo de endivestes para enviar (ingerir) e busca. Demo como tentar: enviar texto ou uma imagem. O sistema incorpora a entrada, armazena/atualiza e executa uma pesquisa de KNN. Os resultados são armazenados em cache em redis; Um gráfico do Networkx expande o contexto para sugerir itens relacionados. Como usei o Redis 8 Eu usei o Redis 8 como a camada de dados em tempo real para indexação, pesquisa e cache: Índice de vetor (Redisearch): criei um índice de HNSW de vetor em um campo de hash chamado de incorporação (DIM = 512, DOUSTE_METRIC = Cosine). Todas as incorporações são armazenadas como bytes float32 brutas. As consultas do KNN Use ft.search com params para passar o vetor de consulta e o Sortby Vector_score. Cache semântico: I Respostas de pesquisa de cache digitadas por um hash de consulta normalizado (por exemplo, sha256 do texto inferior baseado). As consultas quentes retornam instantaneamente da Redis sem reconstruir ou pesquisar, com um TTL curto para garantir o frescor. Metadados e documentos: Cada item é armazenado como um hash redis com campos como incorporação (bytes), tipo (texto/imagem), conteúdo ou URL e submit_count. Isso permite uma recuperação rápida para a montagem da interface do usuário. Deduplicação: Antes de armazenar, normalizo e hash o conteúdo de entrada. Se a chave existir, atualizo as estatísticas de uso em vez de duplicar vetores ou nós. Desempenho: o Redis fornece pesquisas sub -moissegundos em resultados em cache e o vetor rápido KNN, mesmo em escala, graças à HNSW. O cache também reduz a carga no servidor de incorporação local e mantém a latência previsível. Projeto solo por: @leoantony72 pesquisa vetorial multi-modelo com redis Este projeto é um sistema de pesquisa semântica multimodal em tempo real que combina pesquisa de similaridade vetorial com expansão de contexto baseada em gráfico. 📜 O que eu construí incorporações de clipes locais para texto e imagens (OpenIAi/clipe-Vit-Base-Patch16, 512-dim) Redis 8 Índice de vetores com similaridade de cosseno e pesquisa de pesquisa de KNN em cache em Redis para baixa latência e redução Recomputa Retworkx Gráfico semântico para link e classificação RAIST Além do top-k-k-k de inatividade, mais enviar (ingestão) pesquisa (recuperar) 🛠 Visão geral da arquitetura Incorporada: texto e imagens incorporadas localmente via Índice de clipes: vetores armazenados em redis 8 (similaridade de cosseno) Pesquisa: as pesquisas rápidas do KNN em Redis expandem: os itens relacionados são os principais sugestões de gestão, enquanto o que está de acordo com o desenvolvimento de que a relitação de que a relitação é a queda, enquanto o release de que é o que é o que está sendo o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que é o que está. Redis interrompeu o suporte para o gráfico Redis. Encorajo a equipe Redis a trazer de volta apoio ao gráfico.

Fonte