分享好友 最新动态首页 最新动态分类 切换频道
Fastgpt学习(1)- 本地化部署(以MacOS为例)
2024-12-26 11:39

Fastgpt学习(1)- 本地化部署(以MacOS为例)

  • MongoDB:用于存储除了向量外的各类数据
  • PostgreSQL/Milvus:存储向量数据
  • OneAPI: 聚合各类 AI API,支持多模型调用 (任何模型问题,先自行通过 OneAPI 测试校验
(1)前置工作

Docker环境、网络

(2)开始部署

本地创建文件夹命名为fastgpt,在该文件夹下创建config.json 和 docker-compose.yml 文件。

内容如下

 
 

(将fastgpt的ports修改为3020:3000

对于该配置文件下载时存在三个版本,如何选择依据下图

(3)下载镜像
 
(4)安装ollama

Ollama是管理和运行大型语言模型的开源工具。其功能特点包括:可在本地运行大型语言模型,保障数据隐私与安全;支持多种模型管理,方便用户按需拉取切换;轻量级,对系统资源要求相对合理,能在多种设备运行;具有简单的命令行界面,易于使用。在应用场景方面,对开发者而言,能在本地快速搭建测试环境,提高开发效率;对普通用户来说,可用于个人创作任务并确保数据安全,是一款功能实用且易用的工具。

ollama安装地址 | ollama仓库地址

ollama常用命令

  1. :用于从 Ollama 的模型库中拉取指定名称的模型到本地
  2. :该命令会列出已经下载到本地的所有模型
  3. :启动指定名称的模型

(5)安装M3E
 

测试是否安装成功

 
(6)通过one-api配置国内大模型(以qwen

根据设定的端口,在浏览器内输入localhost:3001,默认账号为密码为

(端口号在docker-compose.yml文件中查看

在中配置 通义千问和M3E。

a. 通义千问配置

b. M3E配置

密钥默认设置为: sk-aaabbbcccdddeeefffggghhhiiijjjkkk

c.测试所有渠道

(7)将模型集成进fastgpt

修改文件

 

(其中name的值需要与one-api渠道配置中的名称保持一致,model的值需要与模型名称保持一致)

 
(8) 测试

访问fastgpt:http://localhost:3020

知识库 - 新建知识库

最新文章
51暗网:探索51暗网背后的秘密世界与潜在风险
  暗网是指互联网上一部分无法通过普通浏览器访问的网络。这些网站并不是被搜索引擎索引,通常需要特定的软件和设置才能进入。最著名的访问工具是Tor(洋葱路由),它能够保护用户隐私,让他们在匿名状态下上网。
ai写文章的软件哪个好
以下是一些不错的AI写文章软件:1. **聪明灵犀**:这是一款功能多样的软件,集AI写作、聊天、改写、绘画、翻译等功能于一体。其AI写作功能强大,能快速生成小说、文案、诗歌、故事等不同类型的文本。只需输入关键词以及详情,就能生成高质
AI引领职场变革,百度智能云助力万码优才打造人力资源新高地
随着技术的快速迭代和业务模式的不断创新,各企业对数字人才需求正持续增长,精准高效选拔人才愈发重要。《2024数字人才白皮书》中分析指出,当前数字人才市场面临严峻态势,高达74%的企业面临数字人才不足的困境。实际上,企业招聘的难点
6个国内不错的AI绘画网站,生成效果好还免费!
国外的加载比较慢,今天就给大家分享6个国内不错的AI绘画网站,生成速度快,效果也挺好的,大家可以去试一试!1、文心一格一个百度推出的AI绘画在线工具,使用百度账号登录之后就可以作图,输入文字描述之后,可以选择画师、上传参考图、选
AI提示词:真特么受够了AI写的内容有一股「AI味」,直到我加了这段话...
AI 确实很好用,但是它们写出来的内容,总是缺少人情味,读起来总觉得哪里怪怪的,俗称「AI 味」。 我翻了很多文章,发现全网都没有几个人说清楚这个问题,给出的办法,如果让我打分的话,
64位四核骁龙410 联想手机Z2芯片解读
于今年9月初在德国IFA展会上发布,它内置一颗主频为1.2GHz的64位高通骁龙410四核处理器。而在上周,谷歌正式也开始推送了64位的Android5.0操作系统,虽然联想Z2并不在首批尝鲜的名单之列,但64位骁龙410处理器的搭载,可以说该机已经做好了
CHATGPT角色关键词设置
hello大家好,我是本站的小编子芊,今天来给大家介绍一下CHATGPT角色关键词设置的相关知识,希望能解决您的疑问,我们的知识点较多,篇幅较长,还希望您耐心阅读,如果有讲得不对的地方,您也可以向我们反馈,我们及时修正,如果能帮助到您
2025年空间数据智能会议在厦门召开,快来看投稿指南!
2025年4月17日至19日,第六届空间数据智能学术会议(SpatialDI2025)将在美丽的厦门举行。本次会议由ACMSIGSPATIAL中国分会主办,旨在推动空间数据研究及其在时空大数据、智慧城市、交通科学等领域的应用。随着空间数据的日益重要,会议将
AI PPT免费自动生成工具有哪些?跨语言演示利器大盘点
立夏将至,它不仅标志着夏季的开始,还蕴含着丰富的文化意义。想象一下,如果我们能将这些知识融入到一个PPT中,向国际友人展示,那该多酷啊!但制作这样的PPT可不是一件容易的事,我们可能会遇到语言障碍、设计难题等等。不过别担心,AI P
200多条影响谷歌SEO排名的因素大全
您可能已经知道在其算法中使用了200多个排名因子... 但是他们到底是什么呢? 好吧,因为我已经列出了完整的清单,因此您可以请客。 一些已经证明。 有些是有争议的。 其他人则是SEO的书呆子。 但是他们都在这里。 我最近更新了2020年的整个
相关文章
推荐文章
发表评论
0评