Como usar a AWS Bedrock Guardrails para minimizar a contagem de token de entrada

Ao trabalhar com grandes modelos de idiomas (LLMS) na AWS Bedrock, todos os assuntos simbólicos. Quanto mais tokens você usar, maior o custo e mais lento o tempo de resposta. Muitos desenvolvedores procuram maneiras de reduzir os tokens de entrada sem perder a qualidade das respostas. Uma maneira de conseguir isso é usar a AWS Bedrock Guardrails. Os corrimãos de proteção geralmente são considerados recursos de segurança para filtrar conteúdo prejudicial ou indesejado, mas também podem ajudar a gerenciar o uso do token de entrada. Vamos ver como. 1. Filtre as entradas irrelevantes às vezes os usuários insere texto longo e irrelevante. Por exemplo, um chatbot de suporte pode receber parágrafos de cópia com cópia que têm pouco a ver com o problema real. O Guardrails pode ser configurado para bloquear ou rejeitar entradas que ficam fora dos tópicos permitidos. Isso impede o envio de texto desnecessário para o modelo e salva tokens. 2. Defina os comprimentos máximos de entrada Guardrails permitem definir limites no tamanho das entradas. Ao definir um comprimento máximo de entrada, você garante que o modelo não desperdice recursos processando solicitações excessivamente longas. Isso ajuda a manter as respostas rapidamente e os custos sob controle. 3. Use a filtragem de tópicos Se o seu aplicativo estiver focado em um domínio específico, como atendimento ao cliente ou assistência médica, você pode configurar o Guardrails para aceitar apenas entradas relevantes. As solicitações fora do tópico serão bloqueadas antes de chegarem ao modelo. Isso reduz a chance de desperdiçar tokens em conteúdo não relacionado. 4. Combine os corrimãos com o pré-processamento de corrimãos funcionam melhor quando combinados com uma etapa simples de pré-processamento. Antes de enviar texto para o modelo: Limpe as frases redundantes ou repetidas resumem passagens longas em versões mais curtas removem detalhes desnecessários, como isenções de responsabilidade ou assinaturas de email após isso, o GuardRails pode aplicar limites de comprimento e filtros de tópicos para garantir que apenas o texto útil seja enviado ao modelo. Conclusão AWS Bedrock Guardrails é mais do que apenas ferramentas de segurança. Quando usados com atenção, eles também podem ajudar a reduzir o uso de token, bloqueando um texto irrelevante, demorado ou fora de tópico. O emparelhamento de corrimãos com etapas simples de pré-processamento garante que seu aplicativo permaneça eficiente, econômico e focado no que realmente importa.

Fonte