4 métodos gratuitos para usar APIs LLM no desenvolvimento
Você pode estar na situação em que eu estava outro dia: eu queria desenvolver um pequeno recurso de IA para fins de aprendizado no meu projeto, mas não queria pagar por uma chave da API. Então, fiz algumas pesquisas: deixe -me mostrar 4 maneiras diferentes que encontrei para fazer isso de graça, com também a possibilidade de alternar entre uma ampla gama de modelos, para que você possa escolher o melhor para sua USECASE. Minha primeira tentativa obviamente foi a Ollama para executar modelos localmente, depois eu já tive uma das camadas gratuitas de alguns provedores hospedados. Você pode me ouvir falando sobre isso e mostrando algumas etapas e demos neste vídeo do YouTube ou pode continuar lendo abaixo. Configuração do código Vamos começar com algumas boas notícias: todos os quatro métodos funcionam exatamente com o mesmo código, pois, felizmente, todos suportam o SDK do OpenAI. A única alteração será definir os valores certos em suas variáveis de ambiente. Se você estiver curioso, pode encontrar aqui o código real que estou usando na minha demonstração, incluindo o prompt do sistema e minhas tentativas bobas para forçar o modelo a se comportar e responder como eu quiser. De qualquer forma, não quero adicionar nenhuma complexidade desnecessária a este artigo, então mostrarei um resumo que você pode usar como ponto de partida: importar o OpenAI do ‘Openai’; const token = process.env.llm_token!; const endpoint = process.env.llm_endpoint!; const modelo = process.env.llm_model!; exportar prompt de função assíncrona (userPrompt: string) {const client = new OpenAI ({baseurl: endpoint, apikey: token}); const Response = aguarda client.chat.completions.create ({messages: [
{ role: ‘system’, content: ‘You are a helpful assistant.’ },
{ role: ‘user’, content: userPrompt },
]modelo: modelo,}); Console.log (Response.Choices[0].Message.Content); } Digite o modo de saída de tela completa Modo 1. OLLAMA – Execute modelos localmente, essa é a primeira coisa que tentei, pois queria ver como funciona para executar modelos localmente. Para encurtar a história: eles tornaram tão fácil que é como tirar imagens do Docker. Há literalmente um comando ollama pux. Você pode instalar o aplicativo no site e encontrará a ferramenta de linha de comando ollama em seu caminho. Na verdade, quando eu fiz isso há algumas semanas, o aplicativo estava quase vazio, agora vejo que eles começaram a adicionar recursos como uma interface do usuário, onde você pode conversar com seus modelos instalados (além de conversar com o terminal no terminal) e com alguns outros toques agradáveis. Neste ponto, você pode querer ter alguns modelos, certo? Você pode encontrar uma lista na página de modelos deles e abrir um terminal e executar o Ollama Pull para fazer o download. Antes de escolher um modelo, dê uma olhada no tamanho (pode ser muitos GB) e prepare -se para ter respostas lentas se sua máquina não for poderosa o suficiente. Você pode ver a qualquer momento quais modelos você tem com Ollama LS. De volta à nossa busca de aprender a usar o LLMS em nosso código, agora que você tem o Ollama em funcionamento com pelo menos um modelo baixado, você pode definir esses valores para suas variáveis de ambiente: llm_token = ollama llm_endpoint = llm_model = inserir o modo de tela cheia, o modo de tela completa você é bom para ir! 2. Modelos do Github – o Ollama hospedado foi divertido, mas eu não estava usando modelos realmente inteligentes e, em algum momento, queria empurrar meu recurso de IA para a produção, então … eu não podia apenas dizer “funciona na minha máquina com Ollama”, tive que encontrar uma solução hospedada. De graça. O primeiro serviço que experimentei foram os modelos do GitHub. Basicamente, ele oferece alguns dos modelos mais recentes com uma camada gratuita (você nem precisa de uma assinatura de copiloto) que já pode testar no navegador. Você também pode usá -los no seu aplicativo e só precisa de uma única chave da API: um token de acesso pessoal do Github (PAT). Você pode gerar um das configurações do seu desenvolvedor, mas no mercado de modelos você encontrará um link direto para fazer literalmente um clique. Também deve funcionar a partir daqui: depois de ter o token, defina -o em suas variáveis de ambiente e, novamente, você estará pronto! Llm_token = llm_endPoint = llm_model = Digite o modo de tela cheia do modo de tela cheia no meu aplicativo, basta definir essas variáveis no netlify para fazer com que o recurso de IA funcione no meu site de produção. 3. Open Router – Hospedado, fiquei feliz com os modelos do GitHub, mas, por uma boa pesquisa, eu queria experimentar vários fornecedores. O roteador aberto é outra solução hospedada que oferece uma camada gratuita, mas em alguns modelos selecionados. Você pode encontrar todos eles filtrando a lista para: gratuitamente no nome do modelo. Depois de se inscrever, você pode obter sua tecla API nas configurações e colocá -la em suas variáveis de ambiente como de costume: llm_token = llm_endpoint = llm_model = Digite o modo de tela cheia de tela cheia Modo 4. Groq – hospedou a primeira coisa que eu disse quando um colega me disse sobre o Groq, “espera não é chamado Grok” E não, não era um erro de digitação, eles são duas coisas muito diferentes. A Groq é uma empresa de hardware que executa o LLMS em seus próprios chips. Da mesma forma, para o Open Router, com uma tecla API Groq, você pode acessar uma seleção de modelos suportados e alternar entre eles alterando o nome do modelo em suas variáveis de ambiente. Você pode obter a chave depois de se inscrever, mas não deve se surpreender agora depois de ler as seções anteriores. Felizmente, a maioria desses provedores trabalha de uma maneira muito semelhante. Llm_token = llm_endPoint = llm_model = Digite o bônus do modo de tela cheia de tela cheia que essas abordagens que eu tentei estavam dando a possibilidade de alternar entre diferentes modelos, o que é ótimo para encontrar o melhor para sua USECASE. De qualquer forma, todos os provedores de LLMs geralmente têm suas próprias camadas gratuitas. Há muitas opções que você pode escolher diretamente do fornecedor, seja aberto, antrópico, Google etc. Quando é hora de ir para a produção … bem, isso é outra história. O que você está usando para desenvolvimento? E o que você está usando na produção? Vamos discutir nos comentários! Obrigado por ler este artigo, espero que você tenha achado interessante! Vamos conectar mais: você gosta do meu conteúdo? Você pode considerar assinar meu canal do YouTube! Significa muito para mim ❤️ Você pode encontrá -lo aqui: sinta -se à vontade para me seguir para ser notificado quando novos artigos estiverem fora;)
Fonte
