请求将ollama支持优先级提高

[Bovey0809]

No description provided.

[Chanli520]

请求将ollama支持优先级提高+1

[CrazyBoyM]

收到～ 个人最近有高优任务所以时间主要集中在周末，希望有想参与的网友一起参与llama3中文资料仓库建设～

[ihxperfect]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。
FROM quantized.bin
TEMPLATE """<|im_start|>system
{{ .System }}<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
SYSTEM """
You are a helpful and powerful assistant. Respond to user's input carefully.
"""

[Bovey0809]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

可以分享一下quantize.bin吗?

[Bovey0809]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

convert 之后 quantize 遇到下面的报错, 请问你遇到过吗? 怎么解决的?
GGML_ASSERT: llama.cpp:14325: (qs.n_attention_wv == 0 || qs.n_attention_wv == (int)model.hparams.n_layer) && "n_attention_wv is unexpected"

[ihxperfect]

可以按照ollama官方的教程导入，今天尝试了一下， 除了modelfile不一样，其他完全可以照着做。官方的modelfile我用了会自问自答，后面网上找了一个成功了。 FROM quantized.bin TEMPLATE """<|im_start|>system {{ .System }}<|im_end|> <|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ PARAMETER stop "<|im_start|>" PARAMETER stop "<|im_end|>" SYSTEM """ You are a helpful and powerful assistant. Respond to user's input carefully. """

可以分享一下quantize.bin吗?

我的创建完成就被我删掉了。
另外，你convert报错，是不是用的转gguf？我是直接用官方的convert那个。没报错

[taozhiyuai]

Modelfile generated by "ollama show"

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama3:70b-instruct-q8_0

FROM /Users/taozhiyu/Downloads/M-OLLAMA/Llama3.70B.Instruct.q8.0/Llama3.70B.Instruct.q8.0.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """你是中文智能助理，始终使用中文回复消息."""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

[ihxperfect]

Modelfile generated by "ollama show"

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama3:70b-instruct-q8_0

FROM /Users/taozhiyu/Downloads/M-OLLAMA/Llama3.70B.Instruct.q8.0/Llama3.70B.Instruct.q8.0.gguf

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>""" SYSTEM """你是中文智能助理，始终使用中文回复消息.""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token"

this will cause a loop like this.
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。
如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。
如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。
如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。
请告诉我，您是否需要任何其他帮助。assistant
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。
如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。
请告诉我，您是否需要任何其他帮助。assistant
你能帮我做什么？我需要什么样的帮助？
如果您需要特定的帮助，请告诉我。我会尽力协助

[Bovey0809]

Modelfile generated by "ollama show"

To build a new Modelfile based on this one, replace the FROM line with:

FROM llama3:70b-instruct-q8_0

FROM /Users/taozhiyu/Downloads/M-OLLAMA/Llama3.70B.Instruct.q8.0/Llama3.70B.Instruct.q8.0.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>""" SYSTEM """你是中文智能助理，始终使用中文回复消息.""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token"

this will cause a loop like this. 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。 请告诉我，您是否需要任何其他帮助。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助您的请求。 如果您有任何问题或疑虑，请随时问我。我在这里帮助您解答。 请告诉我，您是否需要任何其他帮助。assistant 你能帮我做什么？我需要什么样的帮助？ 如果您需要特定的帮助，请告诉我。我会尽力协助

我和你一样, 永不停止的循环, 用来做RAG不太行.

[ihxperfect]

我和你一样, 永不停止的循环, 用来做RAG不太行.
ollama上有一位已经发布了，我试用了不会无限循环。ollama run wangshenzhi/llama3-8b-chinese-chat-ollama-fp16