README.zh_CN.md

Learning-LLM-From-Zero

这个代码库记录了我学习的 LLM（Language Model with pre-trained Language Model）的过程：如何使用、微调和构建 LLM 推理服务, 对于我来说这个是一个全新的领域，学习LLM 是一个具有挑战性也非常有趣的过程。

English

Table of Contents

• Chapter 1: 使用Meta 官方代码运行LLAMA2 模型
• Chapter 2: 使用HuggingFace transformers 接口运行LLAMA2模型
• Chapter 3: 加载并且EmbeddingPDF并发送给LLM
• Chapter 4: 使用向量数据库Qdrant 配合LLM
• Chapter 5 使用 vLLM 构建一个类似 OpenAI ChatGPT 的推理服务
• Chapter 6: 使用 Autotrain 对 LLM 进行微调，并构建你的 Mijourney/Stable Diffusion prompt 模型
• Reference

Introduction

Prerequirements:

• Request LLAMA2 access permission and download it , or use other LLAMA2 compatible model, etc. Llama2-Chinese-7b-Chat
• A GPU machine that already install nvidia driver , CUDA , I preferred to use AWS EC2 g5.xlarge instance, or other more than 24G GPU memory instance.
• Some python coding and docker skill .

Chapter 1: Run LLAMA2 model with native python code

This is chapter 1.

Chapter 2

This is chapter 2.

Conclusion

This is the conclusion.