Ollama

Ollama は大規模(だいきぼ) 言語(げんご) モデルを本地(ローカル) で実行(じっこう) するためのオープンソースツールです。

導入(どうにゅう)

基本(きほん) コマンド

run

nohup ollama serve &> ollama.log &

check alive

curl http://127.0.0.1:11434/v1/models

pull

ollama pull qwen2.5:0.5b

prompt

curl http://127.0.0.1:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "prompt": "who are you?",
    "stream": false
  }'