[RFC] 051 - 知识库/文件上传 #3023
Replies: 8 comments 24 replies
This comment has been hidden.
This comment has been hidden.
This comment has been hidden.
This comment has been hidden.
-
文件上传基础框架根据几个功能模块列出当前进度
|
Beta Was this translation helpful? Give feedback.
-
要求 pg 装 vector 插件，然后存在 postgres 里。client db 版本目前暂不计划支持文件上传/知识库相关功能。等 Q4 pglite 方案改造完毕后再看看是否能在 client 文件会话（目前看大概率是不行的） |
Beta Was this translation helpful? Give feedback.
-
是要上线了嘛 |
Beta Was this translation helpful? Give feedback.
-
Is it not that duckdb and duckdb-wasm looks like more suitable solution than pg/pglite? |
Beta Was this translation helpful? Give feedback.
-
|
@danisvaliev001 Can duckdb or duckdb-wasm use drizzle as its ORM driver? |
Beta Was this translation helpful? Give feedback.
-
Unfortunately, not yet. |
Beta Was this translation helpful? Give feedback.
-
|
核心外部依赖：
|
Beta Was this translation helpful? Give feedback.
-
|
一期遗留，二期实现：
|
Beta Was this translation helpful? Give feedback.
-
|
可以用啦 |
Beta Was this translation helpful? Give feedback.
-
|
上线了么 |
Beta Was this translation helpful? Give feedback.
-
|
RAG 相关表结构梳理 
chunk 相关import { integer, jsonb, pgTable, text, uuid, varchar, vector } from 'drizzle-orm/pg-core';
import { createdAt, updatedAt } from './_helpers';
import { files } from './file';
import { users } from './user';
export const chunks = pgTable('chunks', {
id: uuid('id').defaultRandom().primaryKey(),
text: text('text'),
metadata: jsonb('metadata'),
index: integer('index'),
type: varchar('type'),
createdAt: createdAt(),
updatedAt: updatedAt(),
userId: text('user_id').references(() => users.id, { onDelete: 'cascade' }),
fileId: varchar('file_id').references(() => files.id, { onDelete: 'cascade' }),
});
export type NewChunkItem = typeof chunks.$inferInsert;
export const unstructuredChunks = pgTable('unstructured_chunks', {
id: uuid('id').defaultRandom().primaryKey(),
text: text('text'),
metadata: jsonb('metadata'),
index: integer('index'),
type: varchar('type'),
createdAt: createdAt(),
updatedAt: updatedAt(),
parentId: varchar('parent_id'),
compositeId: uuid('composite_id').references(() => chunks.id, { onDelete: 'cascade' }),
userId: text('user_id').references(() => users.id, { onDelete: 'cascade' }),
fileId: varchar('file_id').references(() => files.id, { onDelete: 'cascade' }),
});
export type NewUnstructuredChunkItem = typeof unstructuredChunks.$inferInsert;
export const embeddings = pgTable('embeddings', {
id: uuid('id').defaultRandom().primaryKey(),
chunkId: uuid('chunk_id').references(() => chunks.id, { onDelete: 'cascade' }),
embeddings: vector('embeddings', { dimensions: 1024 }),
model: text('model'),
userId: text('user_id').references(() => users.id, { onDelete: 'cascade' }),
});
export type NewEmbeddingsItem = typeof embeddings.$inferInsert;
export type EmbeddingsSelectItem = typeof embeddings.$inferSelect;
这个表用于存储文档的主要分块信息。
这个表专门用于存储使用 unstructured.io 产品进行分块后的结果数据。
这个表用于存储文本嵌入（text embeddings）信息，是实现向量检索的关键。
这些表构成了一个完整的 RAG（检索增强生成）系统的数据基础。 |
Beta Was this translation helpful? Give feedback.
-
Agent 表import { boolean, jsonb, pgTable, primaryKey, text, varchar } from 'drizzle-orm/pg-core';
import { createInsertSchema } from 'drizzle-zod';
import { LobeAgentChatConfig, LobeAgentTTSConfig } from '@/types/agent';
import { idGenerator, randomSlug } from '../../utils/idGenerator';
import { createdAt, updatedAt } from './_helpers';
import { files, knowledgeBases } from './file';
import { users } from './user';
// Agent table is the main table for storing agents
// agent is a model that represents the assistant that is created by the user
// agent can have its own knowledge base and files
export const agents = pgTable('agents', {
id: text('id')
.primaryKey()
.$defaultFn(() => idGenerator('agents'))
.notNull(),
slug: varchar('slug', { length: 100 })
.$defaultFn(() => randomSlug())
.unique(),
title: text('title'),
description: text('description'),
tags: jsonb('tags').$type<string[]>().default([]),
avatar: text('avatar'),
backgroundColor: text('background_color'),
plugins: jsonb('plugins').$type<string[]>().default([]),
userId: text('user_id')
.references(() => users.id, { onDelete: 'cascade' })
.notNull(),
chatConfig: jsonb('chat_config').$type<LobeAgentChatConfig>(),
fewShots: jsonb('few_shots'),
model: text('model'),
params: jsonb('params').default({}),
provider: text('provider'),
systemRole: text('system_role'),
tts: jsonb('tts').$type<LobeAgentTTSConfig>(),
createdAt: createdAt(),
updatedAt: updatedAt(),
});
export const insertAgentSchema = createInsertSchema(agents);
export type NewAgent = typeof agents.$inferInsert;
export type AgentItem = typeof agents.$inferSelect;
export const agentsKnowledgeBases = pgTable(
'agents_knowledge_bases',
{
agentId: text('agent_id')
.references(() => agents.id, { onDelete: 'cascade' })
.notNull(),
knowledgeBaseId: text('knowledge_base_id')
.references(() => knowledgeBases.id, { onDelete: 'cascade' })
.notNull(),
userId: text('user_id')
.references(() => users.id, { onDelete: 'cascade' })
.notNull(),
enabled: boolean('enabled').default(true),
createdAt: createdAt(),
updatedAt: updatedAt(),
},
(t) => ({
pk: primaryKey({ columns: [t.agentId, t.knowledgeBaseId] }),
}),
);
export const agentsFiles = pgTable(
'agents_files',
{
fileId: text('file_id')
.notNull()
.references(() => files.id, { onDelete: 'cascade' }),
agentId: text('agent_id')
.notNull()
.references(() => agents.id, { onDelete: 'cascade' }),
enabled: boolean('enabled').default(true),
userId: text('user_id')
.references(() => users.id, { onDelete: 'cascade' })
.notNull(),
createdAt: createdAt(),
updatedAt: updatedAt(),
},
(t) => ({
pk: primaryKey({ columns: [t.fileId, t.agentId, t.userId] }),
}),
);这些表展示了 AI 助手（Agent）如何与知识库和文件关联，从而实现更强大的检索和生成能力。
这个表建立了 AI 助手（Agent）和知识库之间的多对多关系。
这个表的主键是
这个表建立了 AI 助手（Agent）和文件之间的多对多关系。
这个表的主键是 这两个表共同构成了 RAG 系统中 AI 助手与知识源（知识库和文件）之间的桥梁。通过这些关联，系统可以为每个 AI 助手定制独特的知识背景，从而在进行检索和生成任务时，能够利用最相关的信息来提供更准确、更有针对性的回答。这种设计不仅提高了 AI 助手的性能和适应性，还为用户提供了灵活配置 AI 助手知识范围的能力，是构建高效、个性化 RAG 系统的关键组成部分。 |
Beta Was this translation helpful? Give feedback.
-
File 表import {
boolean,
integer,
jsonb,
pgTable,
primaryKey,
text,
uuid,
varchar,
} from 'drizzle-orm/pg-core';
import { createInsertSchema } from 'drizzle-zod';
import { idGenerator } from '../../utils/idGenerator';
import { createdAt, updatedAt } from './_helpers';
import { users } from './user';
export const asyncTasks = pgTable('async_tasks', {
id: uuid('id').defaultRandom().primaryKey(),
type: text('type'),
status: text('status'),
error: jsonb('error'),
userId: text('user_id')
.references(() => users.id, { onDelete: 'cascade' })
.notNull(),
duration: integer('duration'),
createdAt: createdAt(),
updatedAt: updatedAt(),
});
export type NewAsyncTaskItem = typeof asyncTasks.$inferInsert;
export type AsyncTaskSelectItem = typeof asyncTasks.$inferSelect;
export const globalFiles = pgTable('global_files', {
hashId: varchar('hash_id', { length: 64 }).primaryKey(),
fileType: varchar('file_type', { length: 255 }).notNull(),
size: integer('size').notNull(),
url: text('url').notNull(),
metadata: jsonb('metadata'),
createdAt: createdAt(),
});
export type NewGlobalFile = typeof globalFiles.$inferInsert;
export type GlobalFileItem = typeof globalFiles.$inferSelect;
export const files = pgTable('files', {
id: text('id')
.$defaultFn(() => idGenerator('files'))
.primaryKey(),
userId: text('user_id')
.references(() => users.id, { onDelete: 'cascade' })
.notNull(),
fileType: varchar('file_type', { length: 255 }).notNull(),
fileHash: varchar('file_hash', { length: 64 }).references(() => globalFiles.hashId, {
onDelete: 'no action',
}),
name: text('name').notNull(),
size: integer('size').notNull(),
url: text('url').notNull(),
metadata: jsonb('metadata'),
chunkTaskId: uuid('chunk_task_id').references(() => asyncTasks.id, { onDelete: 'set null' }),
embeddingTaskId: uuid('embedding_task_id').references(() => asyncTasks.id, {
onDelete: 'set null',
}),
createdAt: createdAt(),
updatedAt: updatedAt(),
});
export type NewFile = typeof files.$inferInsert;
export type FileItem = typeof files.$inferSelect;
export const knowledgeBases = pgTable('knowledge_bases', {
id: text('id')
.$defaultFn(() => idGenerator('knowledgeBases'))
.primaryKey(),
name: text('name').notNull(),
description: text('description'),
avatar: text('avatar'),
// different types of knowledge bases need to be distinguished
type: text('type'),
userId: text('user_id')
.references(() => users.id, { onDelete: 'cascade' })
.notNull(),
isPublic: boolean('is_public').default(false),
settings: jsonb('settings'),
createdAt: createdAt(),
updatedAt: updatedAt(),
});
export const insertKnowledgeBasesSchema = createInsertSchema(knowledgeBases);
export type NewKnowledgeBase = typeof knowledgeBases.$inferInsert;
export type KnowledgeBaseItem = typeof knowledgeBases.$inferSelect;
export const knowledgeBaseFiles = pgTable(
'knowledge_base_files',
{
knowledgeBaseId: text('knowledge_base_id')
.references(() => knowledgeBases.id, { onDelete: 'cascade' })
.notNull(),
fileId: text('file_id')
.references(() => files.id, { onDelete: 'cascade' })
.notNull(),
// userId: text('user_id')
// .references(() => users.id, { onDelete: 'cascade' })
// .notNull(),
createdAt: createdAt(),
},
(t) => ({
pk: primaryKey({
columns: [
t.knowledgeBaseId,
t.fileId,
// t.userId
],
}),
}),
);
这个表用于跟踪异步任务的执行状态，对于管理文件处理和嵌入生成等长时间运行的任务非常重要。
这个表存储全局唯一的文件信息，用于去重和共享文件。
这个表存储用户特定的文件信息，是 RAG 系统中文档管理的核心。
这个表用于管理知识库，是组织和结构化文档集合的关键。
这个表建立了知识库和文件之间的多对多关系。
这个表的主键是 这些表共同构成了 RAG 系统的文档管理和知识库组织框架。 |
Beta Was this translation helpful? Give feedback.
-
消息相关// if the message contains a file
// save the file id and message id
export const messagesFiles = pgTable(
'files_to_messages',
{
fileId: text('file_id')
.notNull()
.references(() => files.id, { onDelete: 'cascade' }),
messageId: text('message_id')
.notNull()
.references(() => messages.id, { onDelete: 'cascade' }),
},
(t) => ({
pk: primaryKey({ columns: [t.fileId, t.messageId] }),
}),
);
export const messageRAG = pgTable('message_rag', {
id: text('id')
.references(() => messages.id, { onDelete: 'cascade' })
.primaryKey(),
query: text('query'),
embeddingsId: uuid('embeddings_id').references(() => embeddings.id, { onDelete: 'set null' }),
});
export const messageFileChunks = pgTable(
'message_file_chunks',
{
id: text('id').references(() => messages.id, { onDelete: 'cascade' }),
queryId: text('query_id').references(() => messages.id, { onDelete: 'cascade' }),
chunkId: uuid('chunk_id').references(() => chunks.id, { onDelete: 'cascade' }),
},
(t) => ({
pk: primaryKey({ columns: [t.chunkId, t.id] }),
}),
);
// convert message content to the chunks
// then we can use message as the RAG source
export const messageChunks = pgTable(
'message_chunks',
{
messageId: text('message_id').references(() => messages.id, { onDelete: 'cascade' }),
chunkId: uuid('chunk_id').references(() => chunks.id, { onDelete: 'cascade' }),
},
(t) => ({
pk: primaryKey({ columns: [t.chunkId, t.messageId] }),
}),
);
这个表建立了消息和文件之间的多对多关系。
主键是
这个表存储与消息相关的 RAG（检索增强生成）信息。
这个表允许系统跟踪每条消息的 RAG 相关信息，包括用于检索的查询和对应的嵌入向量，这对于实现高效的相似性搜索和上下文检索至关重要。
这个表建立了消息、查询和文件分块之间的关系。
主键是
这个表将消息内容转换为分块，使消息本身也可以作为 RAG 的知识源。
主键是 这些表共同构建了一个强大的消息处理和检索框架，是 RAG 系统的核心组成部分：
这种设计不仅支持从外部文档和知识库中检索信息，还能利用对话历史作为动态知识源。这大大增强了系统的上下文理解能力和信息检索效率，使 RAG 系统能够提供更加智能和连贯的对话体验。 |
Beta Was this translation helpful? Give feedback.
-
|
大神什么时候会有一个版本先上线试试啊 |
Beta Was this translation helpful? Give feedback.
-
|
@zhangleijun111 就这周 |
Beta Was this translation helpful? Give feedback.
-
|
到时候叫一下如何部署
发自我的iPhone
…------------------ 原始邮件 ------------------
发件人: Arvin Xu ***@***.***>
发送时间: 2024年8月19日 20:58
收件人: lobehub/lobe-chat ***@***.***>
抄送: zhangleijun111 ***@***.***>, Mention ***@***.***>
主题: Re: [lobehub/lobe-chat] [RFC] 051 - 知识库/文件上传 (Discussion #3023)
|
Beta Was this translation helpful? Give feedback.
-
|
应该还要一个 APP_URL 指向你的站点域名 |
Beta Was this translation helpful? Give feedback.
-
到时候出个简易版教程参考下或者，部署失败找一下你问下哈哈哈，直接使用单个lobechat镜像无法部署的是吧 |
Beta Was this translation helpful? Give feedback.
-
请问是直接拉取“feat/file-and-knowledge-base”分支吗 |
Beta Was this translation helpful? Give feedback.
-
Beta Was this translation helpful? Give feedback.
-
还没有发布急死了 |
Beta Was this translation helpful? Give feedback.
-
|
请问能支持在文件管理界面中的图像预览吗？目前删除对话之后不会删除对话中的图片，没有预览的话在文件管理页面查找和删除比较麻烦。 |
Beta Was this translation helpful? Give feedback.
-
|
已经支持 |
Beta Was this translation helpful? Give feedback.
-
|
请问文件分片时，可以使用国产大模型的API吗？而不是像现在这样固定使用 openai 的 |
Beta Was this translation helpful? Give feedback.
-
背景
文件上传应该是目前呼声最高的特性，本 RFC 着手开始研究。
思路
首先 LobeChat 应该具有的是「知识库」功能，文件上传是知识库的一个特性。如果从知识库角度出发，它应该具备的功能：
从 AI 对话的角度来说，需要一个 RAG 能力，那么对应到知识库层面，需要的功能有：
此外，更加进阶的功能包括：
功能规划
整个文件上传/知识库功能不太可能一个迭代完成所有功能点，因此考虑将其拆分为多个迭代：
第一期：文件上传基础框架与知识库 : 文件上传独立页面、文件分块与向量化、chunks 预览与语义检索、对话中上传文件与对话，文件格式范围限定为 pdf、txt、word、excel 和 ppt 这五种常见格式，支持文件预览(基于 Portal)，创建知识库。
第二期：能力泛化 - 支持更多种类型的文件分块与向量化与预览、文件夹上传、文件快捷摘要。 Portal 文件预览中支持滑词快捷对话。归集文件 - 整理文件/重命名/移动路径等。
第三期：知识库能力扩展 - 知识库上传市场/ 知识库概览页、 embeddings 聚类分析与 GraphRAG
实现路径
Beta Was this translation helpful? Give feedback.
All reactions