Draai een Large Language Model (LLM) lokaal met Ollama

Introductie

Wilt u experimenteren met Large Language Models (LLM's) zonder afhankelijk te zijn van cloud-diensten? Met Ollama kunt u krachtige open-source taalmodellen direct op uw eigen computer draaien. Dit garandeert niet alleen uw privacy, maar geeft u ook volledige controle over uw data en de modellen die u gebruikt. In dit artikel leggen we stap voor stap uit hoe u Ollama installeert, een LLM lokaal kunt gebruiken en hoe u dit kunt integreren met populaire ontwikkelaarstools zoals LangChain en Visual Studio Code.

Wat is Ollama?

Ollama is een tool die het proces van het downloaden, opzetten en draaien van LLM's, zoals Llama 3, aanzienlijk vereenvoudigt. Het verpakt modelgewichten en configuraties in één bestand, vergelijkbaar met hoe Docker werkt voor applicaties. Dit maakt het voor zowel ontwikkelaars als enthousiastelingen gemakkelijk om met LLM's aan de slag te gaan.

Systeemvereisten

Voordat u begint, is het belangrijk om te controleren of uw systeem aan de minimale vereisten voldoet. Voor het draaien van kleinere modellen (rond 7 miljard parameters) wordt het volgende aangeraden:

  • RAM: Minimaal 8 GB, maar 16 GB wordt aanbevolen voor betere prestaties.
  • Opslag: Voldoende vrije schijfruimte voor de modellen, die enkele gigabytes groot kunnen zijn.

Voor grotere modellen heeft u aanzienlijk meer RAM en mogelijk een krachtige videokaart (GPU) nodig.

Installatie

Ollama is beschikbaar voor Windows, macOS en Linux.

  1. Download Ollama: Ga naar de officiële website van Ollama op https://ollama.com/ en download het installatiebestand voor uw besturingssysteem.
  2. Installeer Ollama: Voer het gedownloade bestand uit en volg de installatie-instructies. Na de installatie draait Ollama op de achtergrond.

Een model downloaden en draaien

  1. Open de terminal:
    • Windows: Open het Startmenu, typ cmd of Terminal en druk op Enter.
    • macOS: Open de Terminal-app vanuit de map Hulpprogramma's.
    • Linux: Open uw favoriete terminal-emulator.
  2. Download een model: Kies een model uit de Ollama-bibliotheek (te vinden op https://ollama.com/library). Een populair en krachtig model om mee te beginnen is Llama 3.1. U downloadt het met het volgende commando:
ollama pull llama3.1

Dit kan even duren, afhankelijk van de grootte van het model en uw internetsnelheid.

  1. Draai het model: Zodra de download voltooid is, kunt u het model direct in uw terminal gebruiken met het volgende commando:
ollama run llama3.1

Interactie en Handige Commando's

Na het run commando kunt u direct beginnen met het stellen van vragen of het geven van opdrachten aan het model. U chat als het ware met de LLM in uw terminal.

  • ollama list: Toont een lijst van alle modellen die u lokaal heeft gedownload.
  • ollama rm <modelnaam>: Verwijdert een specifiek model om schijfruimte vrij te maken.
  • /bye: Sluit de huidige chatsessie met een model.

Integratie met LangChain

LangChain is een populair framework voor het bouwen van applicaties met LLM’s. U kunt uw lokaal draaiende Ollama-model eenvoudig integreren in zowel Python- als JavaScript/TypeScript-projecten.

Python

  1. Installeer de Python-package:
pip install langchain-ollama
  1. Gebruik in uw code:
from langchain_ollama import ChatOllama

llm = ChatOllama(model="llama3.1")
response = llm.invoke("Wat is de hoofdstad van Nederland?")
print(response.content)

Node.js (JavaScript/TypeScript)

LangChain is ook beschikbaar voor JavaScript/TypeScript, ideaal voor back-ends (Node.js) of front-end frameworks (zoals Vue.js, React of Svelte).

  1. Installeer via npm of yarn:
# Voor npm
npm install @langchain/ollama

# Voor yarn
yarn add @langchain/ollama
  1. Gebruik in uw code:
import { ChatOllama } from "@langchain/ollama";

async function main() {
  const llm = new ChatOllama({ model: "llama3.1" });
  const response = await llm.invoke("Wat is de hoofdstad van Nederland?");
  console.log(response.content);
}

main();

Zo kunt u zowel in uw Python-backend als in uw JavaScript-stack naadloos schakelen tussen cloud-providers en uw eigen lokale Ollama-instance.

Integratie met Visual Studio Code

U kunt uw lokaal draaiende LLM ook gebruiken als aanvulling op uw ontwikkelomgeving in Visual Studio Code. Dit geeft u de mogelijkheid om code te genereren en vragen te stellen met uw eigen, lokaal gehoste model.

  1. Zorg dat Ollama draait: Het Ollama-proces moet op de achtergrond actief zijn.
  2. Installeer een compatibele extensie: Zoek in de VS Code Marketplace naar een extensie die Ollama-integratie biedt, zoals Continue.
  3. Configureer de extensie: Volg de instructies van de extensie om Ollama als provider in te stellen en selecteer het model dat u wilt gebruiken (bijvoorbeeld llama3.1).

Nu kunt u in de chat-interface van de extensie uw lokale model aanroepen voor code-suggesties en andere programmeertaken, volledig binnen uw eigen omgeving.

Conclusie

Ollama maakt het lokaal draaien van LLM's toegankelijk voor een breed publiek. Of u nu een ontwikkelaar bent die een AI-toepassing wil bouwen met LangChain, of uw programmeerworkflow in VS Code wilt verbeteren, met Ollama kunt u snel en eenvoudig aan de slag. Door de actieve community en de voortdurende ontwikkeling is Ollama een uitstekende keuze voor iedereen die de wereld van lokale AI wil verkennen.

Related Articles