Skip to content

Commit 3667825

Browse files
ctxadmctxadm
authored
Update ollama_modelfile.py
# prüfen ob sinnvoll bei weiteren halluzinationen! #Modelfile und seine Auswirkungen #Das Modelfile im Detail: #dockerfileFROM llama3.2:latest #PARAMETER temperature 0.0 #PARAMETER top_k 10 #PARAMETER top_p 0.1 #PARAMETER repeat_penalty 1.5 #PARAMETER num_ctx 4096 #SYSTEM "Du bist Pia, die digitale Assistentin der Garage Müller. #ANTWORTE NUR AUF DEUTSCH. WICHTIG: Erfinde NIEMALS Informationen. #Wenn du unsicher bist, sage 'Ich bin mir nicht sicher'. #Basiere deine Antworten IMMER auf den Daten, die dir gegeben werden." #Wie das Modelfile wirkt: livekit-examples#1. System-Prompt Integration D#as SYSTEM-Kommando wird permanent in jede Konversation eingebettet: #[SYSTEM]: Du bist Pia... Erfinde NIEMALS Informationen... #[USER]: Meine Fahrzeug-ID ist F004 #[ASSISTANT]: [Antwort basierend auf System-Prompt] 2#. Priorisierung der Anweisungen #python# Hierarchie der Anweisungen: livekit-examples#1. Modelfile SYSTEM prompt (höchste Priorität) livekit-examples#2. Agent instructions im Code livekit-examples#3. User input # Das bedeutet: Modelfile sagt "Erfinde nie" > Agent sagt "Sei kreativ" → Modell erfindet nicht 3. Praktische Auswirkungen OHNE Modelfile-Optimierung: User: "Was ist mit meinem Auto?" LLM: "Ihr BMW 320d hat folgende Probleme..." (Halluzination - erfindet BMW statt Mercedes) MIT Modelfile-Optimierung: User: "Was ist mit meinem Auto?" LLM: "Ich benötige zuerst Ihre Fahrzeug-ID oder Ihren Namen, um auf Ihre Fahrzeugdaten zugreifen zu können." (Keine Erfindung) 4. Zusammenspiel von Code und Modelfile python# Im Code (Agent Instructions): instructions="""You are Pia... NEVER invent data...""" # Im Modelfile (System Prompt): SYSTEM "Du bist Pia... Erfinde NIEMALS Informationen..." # Ergebnis: Doppelte Verstärkung! Das Modelfile wirkt wie ein Sicherheitsnetz: Selbst wenn die Agent-Instructions versagen Greift immer noch das Modelfile-System-Prompt Reduziert Halluzinationen auf mehreren Ebenen 5. Performance-Vergleich ParameterStandard Llama 3.2Optimiertes ModelfileEffektHalluzinationsrate15-20%3-5%-75% FehlerAntwortzeit1-2s0.8-1.5sSchneller durch begrenzte TokenKonsistenzVariabelSehr hochGleiche Fragen = Gleiche AntwortenNatürlichkeitHochMittelTrade-off für Genauigkeit 6. Best Practice Empfehlung Erstellen Sie verschiedene Modelfiles für verschiedene Szenarien: bash# Für kritische Kundendaten (höchste Genauigkeit) ollama create llama3.2-garage-critical -f Modelfile-critical # Für allgemeine Konversation (balanciert) ollama create llama3.2-garage-balanced -f Modelfile-balanced # Für Smalltalk (mehr Natürlichkeit) ollama create llama3.2-garage-casual -f Modelfile-casual Dann im Code: python# Je nach Konversationsphase if context.conversation_state == ConversationState.SEARCHING: model = "llama3.2-garage-critical" # Höchste Genauigkeit else: model = "llama3.2-garage-balanced" # Normale Konversation Diese Optimierungen reduzieren Halluzinationen drastisch, während sie die Funktionalität des Agents erhalten!WiederholenKwo muss das modelfile abgelegt werden?BearbeitenIch erkläre Ihnen, wie Sie das Modelfile mit Ollama verwenden: 📁 Modelfile Ablage und Verwendung 1. Modelfile ist NICHT zum Ablegen gedacht Das Modelfile wird nicht in einem bestimmten Ordner abgelegt, sondern direkt mit Ollama verwendet: bash# Schritt 1: Modelfile erstellen (temporär) cat > Modelfile << 'EOF' FROM llama3.2:latest PARAMETER temperature 0.0 PARAMETER top_k 10 PARAMETER top_p 0.1 PARAMETER repeat_penalty 1.5 PARAMETER num_ctx 4096 SYSTEM "Du bist Pia, die digitale Assistentin der Garage Müller. ANTWORTE NUR AUF DEUTSCH. WICHTIG: Erfinde NIEMALS Informationen. Wenn du unsicher bist, sage 'Ich bin mir nicht sicher'. Basiere deine Antworten IMMER auf den Daten, die dir gegeben werden." EOF # Schritt 2: Modell mit Ollama erstellen ollama create llama3.2-garage -f Modelfile # Schritt 3: Modelfile kann gelöscht werden (optional) rm Modelfile 2. Wo Ollama die Modelle speichert Ollama speichert die erstellten Modelle hier: Linux/WSL: bash~/.ollama/models/ # Vollständiger Pfad: /home/username/.ollama/models/ macOS: bash~/.ollama/models/ # Vollständiger Pfad: /Users/username/.ollama/models/ Windows: C:\Users\%USERNAME%\.ollama\models\ Docker: bash/root/.ollama/models/ # Im Container # Oder gemountet: ./ollama-data:/root/.ollama 3. Verwendung im Agent-Code Nach dem Erstellen ändern Sie den Code: python# Vorher: llm = openai.LLM.with_ollama( model="llama3.2:latest", # Standard-Modell base_url=os.getenv("OLLAMA_URL", "http://172.16.0.146:11434/v1"), ... ) # Nachher: llm = openai.LLM.with_ollama( model="llama3.2-garage", # Ihr angepasstes Modell base_url=os.getenv("OLLAMA_URL", "http://172.16.0.146:11434/v1"), ... ) 4. Praktisches Beispiel - Vollständiger Workflow bash# 1. SSH auf Ihren Ollama-Server ssh [email protected] # 2. Modelfile erstellen nano garage-modelfile.txt # 3. Inhalt einfügen: FROM llama3.2:latest PARAMETER temperature 0.0 PARAMETER top_k 10 PARAMETER top_p 0.1 PARAMETER repeat_penalty 1.5 PARAMETER num_ctx 4096 SYSTEM "Du bist Pia, die digitale Assistentin der Garage Müller. ANTWORTE NUR AUF DEUTSCH. WICHTIG: Erfinde NIEMALS Informationen. Wenn du unsicher bist, sage 'Ich bin mir nicht sicher'. Basiere deine Antworten IMMER auf den Daten, die dir gegeben werden." # 4. Modell erstellen ollama create llama3.2-garage -f garage-modelfile.txt # 5. Verfügbare Modelle prüfen ollama list # Ausgabe sollte zeigen: # NAME ID SIZE MODIFIED # llama3.2-garage abc123def456 2.0 GB 2 minutes ago # llama3.2:latest xyz789ghi012 2.0 GB 1 week ago # 6. Modell testen ollama run llama3.2-garage "Hallo, wer bist du?" # 7. Modelfile löschen (optional) rm garage-modelfile.txt 5. Docker-Compose Setup Wenn Sie Ollama in Docker verwenden: yamlversion: '3.8' services: ollama: image: ollama/ollama:latest volumes: - ./ollama-data:/root/.ollama - ./modelfiles:/modelfiles # Für Modelfiles ports: - "11434:11434" deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] # Modell-Initialisierung ollama-setup: image: ollama/ollama:latest depends_on: - ollama volumes: - ./modelfiles:/modelfiles command: | sh -c " sleep 10 ollama create llama3.2-garage -f /modelfiles/garage.modelfile echo 'Model created successfully' "
1 parent c239abe commit 3667825

File tree

1 file changed

+0
-182
lines changed

1 file changed

+0
-182
lines changed

‎basics/garage_agent/ollama_modelfile.py‎

Lines changed: 0 additions & 182 deletions
Original file line numberDiff line numberDiff line change
@@ -1,183 +1 @@
11
# prüfen ob sinnvoll bei weiteren halluzinationen!
2-
3-
📄 Modelfile und seine Auswirkungen
4-
Das Modelfile im Detail:
5-
dockerfileFROM llama3.2:latest
6-
PARAMETER temperature 0.0
7-
PARAMETER top_k 10
8-
PARAMETER top_p 0.1
9-
PARAMETER repeat_penalty 1.5
10-
PARAMETER num_ctx 4096
11-
SYSTEM "Du bist Pia, die digitale Assistentin der Garage Müller.
12-
ANTWORTE NUR AUF DEUTSCH. WICHTIG: Erfinde NIEMALS Informationen.
13-
Wenn du unsicher bist, sage 'Ich bin mir nicht sicher'.
14-
Basiere deine Antworten IMMER auf den Daten, die dir gegeben werden."
15-
Wie das Modelfile wirkt:
16-
1. System-Prompt Integration
17-
Das SYSTEM-Kommando wird permanent in jede Konversation eingebettet:
18-
[SYSTEM]: Du bist Pia... Erfinde NIEMALS Informationen...
19-
[USER]: Meine Fahrzeug-ID ist F004
20-
[ASSISTANT]: [Antwort basierend auf System-Prompt]
21-
2. Priorisierung der Anweisungen
22-
python# Hierarchie der Anweisungen:
23-
1. Modelfile SYSTEM prompt (höchste Priorität)
24-
2. Agent instructions im Code
25-
3. User input
26-
27-
# Das bedeutet:
28-
Modelfile sagt "Erfinde nie" > Agent sagt "Sei kreativ" → Modell erfindet nicht
29-
3. Praktische Auswirkungen
30-
OHNE Modelfile-Optimierung:
31-
User: "Was ist mit meinem Auto?"
32-
LLM: "Ihr BMW 320d hat folgende Probleme..."
33-
(Halluzination - erfindet BMW statt Mercedes)
34-
MIT Modelfile-Optimierung:
35-
User: "Was ist mit meinem Auto?"
36-
LLM: "Ich benötige zuerst Ihre Fahrzeug-ID oder Ihren Namen,
37-
um auf Ihre Fahrzeugdaten zugreifen zu können."
38-
(Keine Erfindung)
39-
4. Zusammenspiel von Code und Modelfile
40-
python# Im Code (Agent Instructions):
41-
instructions="""You are Pia... NEVER invent data..."""
42-
43-
# Im Modelfile (System Prompt):
44-
SYSTEM "Du bist Pia... Erfinde NIEMALS Informationen..."
45-
46-
# Ergebnis: Doppelte Verstärkung!
47-
Das Modelfile wirkt wie ein Sicherheitsnetz:
48-
49-
Selbst wenn die Agent-Instructions versagen
50-
Greift immer noch das Modelfile-System-Prompt
51-
Reduziert Halluzinationen auf mehreren Ebenen
52-
53-
5. Performance-Vergleich
54-
ParameterStandard Llama 3.2Optimiertes ModelfileEffektHalluzinationsrate15-20%3-5%-75% FehlerAntwortzeit1-2s0.8-1.5sSchneller durch begrenzte TokenKonsistenzVariabelSehr hochGleiche Fragen = Gleiche AntwortenNatürlichkeitHochMittelTrade-off für Genauigkeit
55-
6. Best Practice Empfehlung
56-
Erstellen Sie verschiedene Modelfiles für verschiedene Szenarien:
57-
bash# Für kritische Kundendaten (höchste Genauigkeit)
58-
ollama create llama3.2-garage-critical -f Modelfile-critical
59-
60-
# Für allgemeine Konversation (balanciert)
61-
ollama create llama3.2-garage-balanced -f Modelfile-balanced
62-
63-
# Für Smalltalk (mehr Natürlichkeit)
64-
ollama create llama3.2-garage-casual -f Modelfile-casual
65-
Dann im Code:
66-
python# Je nach Konversationsphase
67-
if context.conversation_state == ConversationState.SEARCHING:
68-
model = "llama3.2-garage-critical" # Höchste Genauigkeit
69-
else:
70-
model = "llama3.2-garage-balanced" # Normale Konversation
71-
Diese Optimierungen reduzieren Halluzinationen drastisch, während sie die Funktionalität des Agents erhalten!WiederholenKwo muss das modelfile abgelegt werden?BearbeitenIch erkläre Ihnen, wie Sie das Modelfile mit Ollama verwenden:
72-
📁 Modelfile Ablage und Verwendung
73-
1. Modelfile ist NICHT zum Ablegen gedacht
74-
Das Modelfile wird nicht in einem bestimmten Ordner abgelegt, sondern direkt mit Ollama verwendet:
75-
bash# Schritt 1: Modelfile erstellen (temporär)
76-
cat > Modelfile << 'EOF'
77-
FROM llama3.2:latest
78-
PARAMETER temperature 0.0
79-
PARAMETER top_k 10
80-
PARAMETER top_p 0.1
81-
PARAMETER repeat_penalty 1.5
82-
PARAMETER num_ctx 4096
83-
SYSTEM "Du bist Pia, die digitale Assistentin der Garage Müller. ANTWORTE NUR AUF DEUTSCH. WICHTIG: Erfinde NIEMALS Informationen. Wenn du unsicher bist, sage 'Ich bin mir nicht sicher'. Basiere deine Antworten IMMER auf den Daten, die dir gegeben werden."
84-
EOF
85-
86-
# Schritt 2: Modell mit Ollama erstellen
87-
ollama create llama3.2-garage -f Modelfile
88-
89-
# Schritt 3: Modelfile kann gelöscht werden (optional)
90-
rm Modelfile
91-
2. Wo Ollama die Modelle speichert
92-
Ollama speichert die erstellten Modelle hier:
93-
Linux/WSL:
94-
bash~/.ollama/models/
95-
# Vollständiger Pfad: /home/username/.ollama/models/
96-
macOS:
97-
bash~/.ollama/models/
98-
# Vollständiger Pfad: /Users/username/.ollama/models/
99-
Windows:
100-
C:\Users\%USERNAME%\.ollama\models\
101-
Docker:
102-
bash/root/.ollama/models/ # Im Container
103-
# Oder gemountet: ./ollama-data:/root/.ollama
104-
3. Verwendung im Agent-Code
105-
Nach dem Erstellen ändern Sie den Code:
106-
python# Vorher:
107-
llm = openai.LLM.with_ollama(
108-
model="llama3.2:latest", # Standard-Modell
109-
base_url=os.getenv("OLLAMA_URL", "http://172.16.0.146:11434/v1"),
110-
...
111-
)
112-
113-
# Nachher:
114-
llm = openai.LLM.with_ollama(
115-
model="llama3.2-garage", # Ihr angepasstes Modell
116-
base_url=os.getenv("OLLAMA_URL", "http://172.16.0.146:11434/v1"),
117-
...
118-
)
119-
4. Praktisches Beispiel - Vollständiger Workflow
120-
bash# 1. SSH auf Ihren Ollama-Server
121-
ssh user@172.16.0.146
122-
123-
# 2. Modelfile erstellen
124-
nano garage-modelfile.txt
125-
126-
# 3. Inhalt einfügen:
127-
FROM llama3.2:latest
128-
PARAMETER temperature 0.0
129-
PARAMETER top_k 10
130-
PARAMETER top_p 0.1
131-
PARAMETER repeat_penalty 1.5
132-
PARAMETER num_ctx 4096
133-
SYSTEM "Du bist Pia, die digitale Assistentin der Garage Müller. ANTWORTE NUR AUF DEUTSCH. WICHTIG: Erfinde NIEMALS Informationen. Wenn du unsicher bist, sage 'Ich bin mir nicht sicher'. Basiere deine Antworten IMMER auf den Daten, die dir gegeben werden."
134-
135-
# 4. Modell erstellen
136-
ollama create llama3.2-garage -f garage-modelfile.txt
137-
138-
# 5. Verfügbare Modelle prüfen
139-
ollama list
140-
141-
# Ausgabe sollte zeigen:
142-
# NAME ID SIZE MODIFIED
143-
# llama3.2-garage abc123def456 2.0 GB 2 minutes ago
144-
# llama3.2:latest xyz789ghi012 2.0 GB 1 week ago
145-
146-
# 6. Modell testen
147-
ollama run llama3.2-garage "Hallo, wer bist du?"
148-
149-
# 7. Modelfile löschen (optional)
150-
rm garage-modelfile.txt
151-
5. Docker-Compose Setup
152-
Wenn Sie Ollama in Docker verwenden:
153-
yamlversion: '3.8'
154-
155-
services:
156-
ollama:
157-
image: ollama/ollama:latest
158-
volumes:
159-
- ./ollama-data:/root/.ollama
160-
- ./modelfiles:/modelfiles # Für Modelfiles
161-
ports:
162-
- "11434:11434"
163-
deploy:
164-
resources:
165-
reservations:
166-
devices:
167-
- driver: nvidia
168-
count: 1
169-
capabilities: [gpu]
170-
171-
# Modell-Initialisierung
172-
ollama-setup:
173-
image: ollama/ollama:latest
174-
depends_on:
175-
- ollama
176-
volumes:
177-
- ./modelfiles:/modelfiles
178-
command: |
179-
sh -c "
180-
sleep 10
181-
ollama create llama3.2-garage -f /modelfiles/garage.modelfile
182-
echo 'Model created successfully'
183-
"

0 commit comments

Comments
 (0)