Smollm3 + Ollama: executando um LLM local que parece mágica 🚀
Os grandes modelos de linguagem (LLMs) estão transformando como codificamos, escrevemos e interagimos com máquinas. Mas muitos desenvolvedores ainda acham que os LLMs são apenas para grandes jogadores como Openai ou Antrópico. Isso não é mais verdadeiro. Com Smollm3 (um super leve LLM) + Ollama (um tempo de execução local para o LLMS), você pode executar modelos de IA em seu próprio laptop-não são contas de API, sem bloqueio de fornecedores, sem dependência da Internet. Vamos explorar como fazer isso com exemplos do mundo real que vão além de apenas dizer “funciona”. ⚡ Por que Smollm3? Pequeno, mas poderoso-projetado para uso local rápido-é executado mesmo em laptops de consumo na privacidade-nenhum dados deixa sua máquina flexível-você pode ajustar ou se estender para suas necessidades perfeitas para desenvolvedores que desejam IA prática sem fazendas de GPU. 🛠️ Etapa 1: Instale o ollama ollama é como o Docker, mas para os modelos de IA. CURL -FSSL | SH Digite o modo de saída do modo de tela cheia, uma vez instalado, teste com: Ollama Run LLAMA3.2 Digite o modo de tela cheia de tela cheia boom do modo de tela cheia – você tem um LLM local que trabalha. 🧠 Etapa 2: Pull Smollm3 Modelo Smollm3 é pequeno o suficiente para o uso diário. Ollama PULL Smollm3 ollama run smollm3 Digite Modo de tela cheia Modo de tela cheia agora você está conversando com um modelo AI local. 🎉 💻 Exemplos da vida real aqui está onde fica interessante-executando o Smollm3 para tarefas de desenvolvimento e vida cotidianas. 1. 🚀 Como assistente de codificação Ollama Run Smollm3 Digite Modo de tela Full Salt Modo de tela cheia Prompt: Escreva um script python para monitorar uma pasta e imprima quaisquer novos arquivos em tempo real. Digite o modo de tela fullcreen Sair da tela cheia Saída: importar o OS Importar Time Folder = “./watch_folder” viu = set (os.listdir (pasta)) while true: Current = set (os.listdir (pasta)) new_files = atual – visto se new_files: para f in new_files: (Full) (Full File_Files detectados: {FELTET: {FELT_FILES: F para F para NEW_FILES: PREST (Full) (Full. Modo de tela cheia ✅ Execute instantaneamente em sua máquina. Sem latência na nuvem. 2. 📝 Resumindo os trabalhos de pesquisa offline, digamos que você baixou um PDF da ARXIV. Prompt: Resuma este artigo de pesquisa em 5 pontos de bala: [paste abstract]
Digite o modo de tela cheia de saída de tela cheia Smollm3 fornece uma versão digestível – não é necessária a Internet. 3. 🛍️ Assistente de compras pessoais Imagine você copiar as descrições de produtos da Amazon. Prompt: Compare esses 3 fones de ouvido e diga -me qual é o melhor para os amantes do baixo. Digite o modo de tela de tela cheia de saída de tela cheia Smollm3 fornece instantaneamente quebras de prós/contras. Amigo de compras off -line perfeito. 4. 📅 As anotações do Reunião Summarizer Cole sua transcrição de zoom em Smollm3: Prompt: Resuma as principais decisões e itens de ação desta transcrição. Digite o modo de saída do modo de tela cheia agora que você tem atas de reunião – não é necessária uma assinatura de IA de noção. 5. 📚 Aprendizagem de aprendizado Os alunos podem ser executados: Prompt: Explique o emaranhamento quântico como se tivesse 10 anos. Digite o modo de saída do modo de tela cheia ou até: gerar 10 perguntas práticas para as compreensões da lista de Python. Digite o modo de saída de tela cheia de tela cheia 6. 🛡️ Jornal de preservação de privacidade se você mantiver um diário particular: Prompt: Reescreva esta entrada do diário de uma maneira positiva e motivadora: [paste text]
Digite Modo de tela cheia de saída Modo de tela cheia sem servidores. 100% privado. 🧑💻 Step 3: Build Custom Workflows With Ollama, you can integrate Smollm3 into apps: Example: Local API Server ollama serve Enter fullscreen mode Exit fullscreen mode Send requests with curl: curl -d ‘{ “model”: “smollm3”, “prompt”: “Write a haiku about DevOps” }’ Enter fullscreen mode Exit fullscreen mode ✅ Local AI endpoint for your apps. 🔮 Pensamentos finais Executando o Smollm3 + Ollama faz com que a IA sinta: Pessoal → Ninguém mais vê seus dados acessíveis → Não há contas caras de nuvem de GPU hackeable → integrar seus aplicativos, fluxos de trabalho ou scripts LLMs não precisam mais viver em um datacenter. Eles podem viver em seu laptop, ao lado do código, Chrome ou Spotify. 🔥 Se você achou esse comentário útil com o comentário de como usaria um LLM local-eu poderia criar um acompanhamento com fluxos de trabalho personalizados para desenvolvedores, estudantes e criadores cotidianos.
Fonte
Publicar comentário