基于本地知识库的大模型搭建教程

[保姆级教程]从0开始本地大模型搭建私用知识库(第一部分:安装) 从0开始搭建完全离线的基于大模型的本地知识库 阅读详情
AI摘要

本文档详细介绍了如何从安装postgresql开始,配置向量插件,初始化数据库,到启动模型,最后上传本地知识库,一步步搭建自己的大模型。重点包括安装postgresql、配置pgvector插件、使用Anaconda进行数据库初始化,以及启动模型和上传知识库。

一、安装postgresql

1.下载postgresql

1)进入下载网址,根据本地设备下载对应版本的数据库(以window安装postgresql16版本为例)https://www.enterprisedb.com/downloads/postgres-postgresql-downloads
在这里插入图片描述

2.安装postgresql

1)具体安装可以一路next,或者参考别人的博客安装一下,建议安装默认路径。默认安装的路径应该是C:\Program Files\PostgreSQL\16
(PS:记好设置的账号密码)

二、配置向量插件

这一步是重点,配置前需要确定你的电脑是否有visual studio下的C++环境,如果没有的话,需要下载visual studio(社区版即可,无需专业版),安装时把C++的都选上。同时记住安装地址
下载地址:https://visualstudio.microsoft.com/zh-hans/downloads/
在这里插入图片描述

1.向量插件配置

1)以管理员身份打开Developer Command Prompt for VS 2022终端(此处我下载的是社区版VS 2022版)
在这里插入图片描述
2)在Developer Command Prompt for VS 2022终端进入源码目录下(E:\LLM\Langchain-Chatchat)执行call命令
call “E:\visualStudio\VC\Auxiliary\Build\vcvars64.bat”(根据自己的安装目录调整路径),若出现call命令出错,也可以直接到对应的目录下进行点击启动。
在这里插入图片描述

3)执行set "PGROOT=C:\Program Files\PostgreSQL\16"语句(根据自己postgresql的安装地址修改,如果是默认则无需修改)
在这里插入图片描述
4)执行语句下载pgvector文件,git clone --branch v0.4.4 https://github.com/pgvector/pgvector.git
在这里插入图片描述
5)进入pgvector目录,执行
nmake /F Makefile.win
和nmake /F Makefile.win install语句
在这里插入图片描述
6)打开pgAdmin4,创建数据库以及安装向量插件。
语句如下:
CREATE DATABASE TEST;
CREATE EXTENSION IF NOT EXISTS vector;

在这里插入图片描述
在这里插入图片描述
这些做完,基本上就差不多了,马上成功了吼吼吼!!!

三、数据库准备

这一步就该回到Anaconda Powershell Prompt终端了。

1.初始化

1)在configs目录下执行python -m spacy download en_core_web_sm语句。
在这里插入图片描述
2)在configs目录下执行python -m spacy download zh_core_web_sm语句
在这里插入图片描述
3)在configs目录下执行pip install psycopg2语句
在这里插入图片描述
4)在configs目录下执行pip install pgvector语句
在这里插入图片描述

四、初始化向量库

1.向量库初始化

1)在Langchain-Chatchat目录下,执行python init_database.py --recreate-vs语句,进行数据初始化
在这里插入图片描述

五、模型,启动!

1.阿型,启动!

1)执行python startup.py -a启动模型
在这里插入图片描述

六、上传本地知识库及效果展示

1.上传本地知识库

1)选择知识库管理,然后选择新建数据库
在这里插入图片描述
2)添加文件(仅支持txt文件)
在这里插入图片描述
3)测试问答
在这里插入图片描述


恭喜您,你已经成功搭建了属于你自己的本地知识库大模型,接下来快去训练属于自己的“小助理”吧!祝您生活愉快!!!

本地如何通过Ollama部署llama3、phi3等本地大模型? 来运行阿里的通译千问大模型,生成内容质量还可以而且速度也很快,(题外:生成的文章如果收录不是很好,最好不要用markdown格式和html格式,直接用文本格式)包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。 阅读详情

相关推荐

Dify+DeepSeek实战教程!企业级 AI 文档库本地化部署,数据安全与智能检索我都要

到这儿,一个能读懂企业私有文档、数据完全本地化可控的 AI 知识库就搭好了!从部署 Dify 到配置 Embedding 模型,再到上传文档、创建聊天助手,每一步都是围绕让技术落地为实际需求设计的;既解决了传统文档检索的低效问题,又用本地化部署守住了数据安全的底线。把复杂的架构变成人人能用的工具,让代码和文档真正服务于业务。如果你在搭建过程中遇到资源调整、模型适配等细节问题,别忘了回到文中看看踩坑提示;如果想进一步优化问答效果,Dify 的召回参数配置、Rainbond 的资源调度策略都有很大探索空间。

Mrex326428的博客 1296

基于开源大模型快速构建本地知识库应用

作为新一代人工智能产业的核心动力,AI大模型广泛应用于各行各业,打开了迈向通用人工智能的大门。本文通过大模型相关技术背景、构建需求、实现原理、模型选型及工程实践等方面介绍了如何基于开源大模型快速构建本地知识库应用。通过分析大模型应用的存在的问题,提出并详细描述了知识库构建思路及RAG技术路线应用的解决方法,最后,基于LangChain-Chatchat工程实现,为快速构建本地知识库应用提供了一种有效的解决方案。

fzq0625的博客 1645

模型剪枝实战 | Torch-Pruning 库在YOLOv8上的应用指南

本文详细介绍了如何使用Torch-Pruning库对YOLOv8模型进行结构化剪枝,以实现模型“瘦身”。通过DepGraph(依赖图)技术自动处理层间依赖,确保剪枝安全。文章提供了从环境搭建、核心原理理解到完整剪枝流程的实战指南,并强调了剪枝后的微调与性能评估,帮助开发者在保持精度的同时显著提升模型推理速度。

weixin_29046035的博客 507

基于openwrt平台搭建局域网技术验证之四

1、测试目的 验证l2tp客户端模式的可行性。 提供vpn-l2tp模式的客户端功能。 2、参考资料 参考链接1:https://www.lucktang.com/191.html 3、测试过程 测试过程需要用到的资源: 路由器俩个 win7系统电脑俩台 ③ 交换机一个 ④ 网线三根 测试组网如下图所示: 组网说明: R0公司路由器 S1 交换机 R1 路由器1 R2 路由器2 PC1 个人电脑1 PC2 个人电脑2 (R0) lan口接(S1)...

caofengtao1314的专栏 1962

STM32F103C8T6 + GY-906红外测温:手把手教你用CubeMX和HAL库搞定IIC驱动(附完整工程)

本文详细介绍了如何使用STM32F103C8T6和GY-906红外测温传感器(基于MLX90614芯片)实现非接触式温度测量。从STM32CubeMX工程创建、HAL库驱动适配到温度数据采集与处理,提供完整的开发流程和常见问题解决方案,帮助开发者快速掌握红外测温技术。

weixin_29188043的博客 255

SAP VC 可配置物料超级BOM简介

在有些业务中比如:汽车、笔记本、电脑、电梯等产品中,其中组成产品的型号个框架是确认的 ,但是框架内部的BOM是可变的,在客户下销售订单的时候,选取对应的组件 ,让后通过MRP的计算优生产线对这样的销售订单提供生产。这个时候我们需要选择我们需要的内存和硬盘的型号,还记得我们前面创建的特征值对应的吗,A对应的8G、B对应16G、X对应1T硬盘、Y对应2T硬盘,这里我们填写对应的值,我们这里选择16G的内存和2T的硬盘,B和Y。3、当我们选择了可配置物料的生产模式时,基本上就选择了按单生产的生产模式了。

我小时候很黑的博客 1万+

《大数据之路:阿里巴巴大数据实践》-第1篇 数据技术篇 -第3章数据同步

我们将数据釆集分为日志采集和数据库数据同步两 部分。数据同步技术更通用的含义是不同系统间的数据流转,有多种不 同的应用场景。主数据库与备份数据库之间的数据备份,以及主系统与 子系统之间的数据更新,属于同类型不同集群数据库之间的数据同步。 另外,还有不同地域、不同数据库类型之间的数据传输交换,比如分布 式业务系统与数据仓库系统之间的数据同步。对于大数据系统来说,包 含数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据 服务或数据应用两个方面。本章侧重讲解数据从业务系统同步进入数据 仓库这个环节,但其适

m0_54252387的博客 963

Adams Car——Adams car与Simulink联合仿真

Adams与simulink悬架联合仿真

Mr.邹的博客 2128

172、摄像头振动与异响分析:VCM 共振、OIS 机械噪声的用户体验改善

摘要: 本文深入探讨了手机摄像头模组中VCM(音圈马达)与OIS(光学防抖)系统产生的振动异响问题及其解决方案。通过实际案例,分析了VCM弹簧片共振、OIS悬丝机械噪声以及系统级共振的成因,提出了硬件改进(如弹簧片厚度调整、阻尼材料应用)、驱动优化(PWM频率微调、软启动配置)和算法避让等综合解决策略。特别强调了量产阶段隐蔽性问题的排查技巧,包括扫频测试、机械阻尼处理和用户体验优化方法(如频率掩蔽)。作者建议工程师避免过度依赖仿真数据,重视实物测试,并与声学团队协作,以解决这类"玄学"问题,提升用户感知体验

sundong_81的博客 135

STM32实战开发(150):基于STM32的智能电力负荷控制系统开发

本文介绍了基于STM32的智能电力负荷控制系统的设计与实现,涵盖了硬件设计、软件设计、负荷预测与控制等多个方面。该系统能够实时监控电力负荷,预测未来负荷变化,并根据预测结果自动调节电力负荷,防止电网过载或浪费。未来,我们可以进一步优化该系统,加入更多的传感器数据,提升预测算法的精度,并结合大数据与云计算技术实现更为强大的远程控制与数据分析功能。

2201_76125393的博客 716

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 从零搭建出属于自己的大模型
下一篇: Linux下搭建基于本地知识库大模型
Fantasy️
博客等级 码龄7年 91粉丝 11原创
评论 12
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值