分享好友 最新动态首页 最新动态分类 切换频道
零代码本地搭建AI大模型,详细教程!零基础入门到精通,收藏这一篇就够了
2024-12-25 13:19

这篇教程主要解决

1). 有些读者朋友电脑配置不高,比如电脑没有配置GPU显卡,还想在本地使用AI

2). Llama3回答中文问题欠佳想安装一个回答中文问题更强的AI大模型。

3). 想成为AI开发者,开发一款AI大模型的应用和产品,如何选择API的问题。

我相信,大家平时主要还是以中文问答为主,安装一个中文回答更强的AI,就显得更很有必要。

这篇教程主要解决上面两个问题

1 通义千问大模型的优势

近日阿里云正式发布通义千问2.5,模型性能全面赶超GPT-4 Turbo,成为地表最强中文大模型

从初代模型升级至2.5版本,2.5版模型的理解能力、逻辑推理、代码能力分别提升9%、16%、10%中文能力更是持续领先业界

通义千问2.5相对于前代版本还有以下几方面的重大升级

  1. 文档处理能力增强:通义千问2.5能够处理单次长达1000万字、100个文档的大量数据,支持包括PDF、Word、Excel在内的多种文件格式,并能解析标题、段落、图表等多种数据结构。

  2. 音视频理解能力提升:融合了语音、大规模语言模型(LLM)、多模态和翻译能力,实现了实时语音识别、说话人分离,能够从音视频内容中提取全文摘要、总结发言要点、提取关键词,同时支持同时上传处理50个音视频文件。

  3. 智能编码能力集成:集成通义灵码,使得用户能够在移动设备上编写、阅读代码及学习编程技能,进一步提升了代码相关的交互和处理能力。

因此,如果你的日常以中文回复为主,在本地搭建一个通义千问用于回复中文问题,是最好的选择。并且通义千问****开源免费,在自己电脑可以直接搭建一个,使用起来非常方便。再看看通义****千问回答问题的速度,很快

如果,你想更友好的使用通义千万,这篇教程还会帮助你,搭建一个前端网站,零代码,按照教程逐步搭建好,使用通义千问,就更加方便,下面是带界面问答使用效果

因为阿里通义千问是在本地运行,数据安全,并且开源免费,不用花钱充值买流量,开箱即用,良心好用。

2 下载通义千问大模型

推荐使用ollama工具,一行命令就能下载千问。现在还没有安装ollama工具的读者,请在我的公众号回复ollama,自动获取ollama软件,支持一键安装

千问尺寸提供多种,如果你的电脑配置一般,比如是5年前的电脑,可以安装一个小尺寸的,从下面的尺寸列表中

  • ollama run qwen:0.5b

  • ollama run qwen:1.8b

  • ollama run qwen:4b

  • ollama run qwen:7b

下面,已安装1.8b尺寸为例演示

第一步,执行下面一行命令

下面就开始安装,看到这个模型只有1.1G大小

出现success,表明安装成功

接下来,就直接可以提问通义千问,如下图所示

AI时代,很多读者都想学习一点编程,下面我们提问它文章开头的那个问题,下面是GIF演示,回答很快,回答中文是真的好用过llama3的读者有体会,每次提问后缀都要带上:请用中文回答,但是通义千问就不需要,对中文支持更好。

3 前端网页配置

第一步,安装docker,之前教程已经总结,在这里不再重复,还未看到此教程的读者,下面我的公众号里回复:AI,详细的docker软件获取,安装步骤教程都在这里。

第二步,docker拉取lobe镜像,无论windows还是mac,都是打开命令窗口,输入下面命令

这条命令用于从 Docker Hub 上拉取最新的 lobehub/lobe-chat 镜像。

执行这条命令后,Docker 会将 lobehub/lobe-chat 镜像的最新版本下载到你的本地系统,以便你可以使用它创建和运行 Docker 容器。

第三步,再运行一条命令就可以了

解释下这条命令,不想看的读者直接跳过:docker run:启动并运行一个新的 Docker 容器。-d:在后台(守护进程模式)运行容器,不会占用当前终端。–name lobe-chat:给容器分配一个名称 lobe-chat。这有助于以后通过名称管理容器。-p 10084:3210:将主机的 10084 端口映射到容器的 3210 端口。这样,主机的 10084 端口的请求会被转发到容器的 3210 端口。-e ACCESS_CODE=lobe66:设置环境变量 ACCESS_CODE 的值为 lobe66,这通常是用于在容器内配置应用程序的参数。

这时,你再访问网页:http://localhost:10084,就会进入到AI网站界面,选择千问的英文字符:qwen,配置一下就可以畅享使用了。

4 通义千问应用案例

1)生成同意词汇

答案部分截图

2)AI学习辅助

答案部分截图

3)编程变量命名辅助

答案部分截图

4)通义千问中还内置效率利器,比如下面都能帮助我们很大提升效率

下面是文档阅读,支持多种格式的文件上传1000页的PDF可以直接上传,真的太强

5 个人开发者调用通义千问费用对比

上面我们介绍了本地搭建千问大模型步骤,这个小节面向AI个人开发者,什么意思呢,就是说你如果想基于千问AI做一个产品、app、网站或桌面软件,那么这个小节就对你很有帮助。选择通义千问,就是一个很好的选择。在5月21日,阿里云宣布通义千问9款模型齐降价,其中GPT-4级主力模型Qwen-LongAPI输入价格从0.02元/千tokens降至0.0005元/千tokens,直降97%,这款模型最高支持1千万tokens长文本输入,降价后约为GPT-4价格的1/400。

千问API模型,最高支持1千万tokens,这是一个什么概念?我给大家打个比方。一本书的长度可以用token来衡量。例如:普通小说:平均每页大约有250-300个单词。假设每个单词平均为1.2个token(考虑到标点符号和分词,那么我们可以得到以下估算:普通小说(50,000个单词)大约为60,000个tokens。现在我们来计算一下1千万tokens相当于多少本书普通小说:1千万tokens / 60,000 tokens/本 ≈ 167本书

也就是说一次提问Qwen-Long一次可处理167本书,这个有点吓人。通过API调用无须购买任何硬件成本、电力成本、材料消耗等成本,问题来了,有的读者如果坚持要本地自建这样的AI模型,需要投入多少成本呢

我们来算笔账。以一般规模Qwen-7b、一般用户(每天满载4小时,闲置20小时)为例,前期硬件投入成本:总成本:3万元(其中GPU成本2万元,其余硬件成本1万元:硬件折旧费用:625元,网络费用:200元,自建服务器每月综合成本897元(36元电费 + 625元硬件折旧 + 200元网络费用

而使用千问API,也就是百炼平台,方案的对比成本:Qwen 7b的使用成本如下:输入:1元/100W tokens,输出:1元/50W tokens,每月tokens消耗和成本:百炼成本:194.4元,约为自建成本的22.5%,也就是节省了80%的费用

大家注意,这个还只是7b,那么如果是Long模型,本地自建的成本可能远超3万元,自建成本就更高了,更能凸显通过调用百炼API的成本节省以及它的价值。

并且,调用API是按需付费,不像自建AI需要前期固定几万的投入。所以,各个角度来看如果你打算基于AI做应用和产品,通过调用百炼API才是首选,而不是自建AI。

如果你是创业者,开公司的老板,走千问API更是一种好的选择。


更多千万API应用大家可以去百炼平台探索,希望通过这个教程帮助你解决了电脑配置不高,比如电脑没有配置GPU显卡,还想在本地使用AI想安装一个回答中文问题更强的AI大模型;AI开发者基于千问API与自建AI成本对比。如需要体验通义千问API,可以访问百炼官网:https://www.aliyun.com/product/bailian?spm=5176.29250174.0.0

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版CSDN大礼包:《AGI大模型学习资源包》免费分享

最新文章
成人网站免费入口如何找到?探索隐藏入口的安全与隐患!
对于一些****来说,提供免费的访问入口是一种吸引更多用户的方式。通过提供免费入口,网站能够获得更多的流量,并有可能通过广告、会员制度等方式盈利。免费入口往往会限制部分功能或内容的访问,只有付费用户才能完全享受网站的服务,但这
MVP榜单更新:库里跃升至第五,KD与浓眉并列第十,约基奇继续领跑
随着火箭成功战胜勇士,NBA杯赛的四分之一决赛渐渐落下帷幕,东部和西部的老鹰、雄鹿、雷霆以及火箭四支队伍已经挺进到了半决赛的赛场。而在这个激动人心的时刻,美媒对当前的MVP榜单进行了刷新,为球迷们揭示了诸多令人关注的变化。随着各
免费的亚马逊关键词工具有哪些?怎么选词?
在写亚马逊标题和进行产品推广的时候,需要选择合适的关键词,所以对于运营同学来说,可以通过一些工具来选择更加合适的关键词,今天介绍几个免费的亚马逊关键词工具!1、Google关键词规划师Google广告关键词规划师可用于构建Google AdWord
沈阳性价比之王,企业互联网飞跃的低价网站优化推广服务
沈阳低价网站优化推广服务,性价比高,助力企业快速提升网络曝光,实现互联网快速发展。沈阳低成本网站优化推广的优势沈阳低成本网站优化推广的执行步骤沈阳低成本网站优化推广的关键要点在泛滥的当下,企业若想在激烈的市场竞争中独树一帜
外贸独立站运行规则是什么
本文目录fp独立站是什么外贸独立站用什么收款个人怎么做好外贸独立站外贸soho如何建独立站做跨境独立站可以在乡下做吗fp独立站也就是外贸型销售网站。fp独立站算是术语,通常银行人员用的比较多。其实很简单,意思就是给网站或者app接入
如何使用手机轻松翻越网络屏障-访问国外网站
网络是一个自由、开放的平台,人们可以在上面获取和分享各种信息。然而,由于各种原因,一些国外网站可能无法被访问,尤其是存在网络限制的情况下。在大多数情况下,使用非法的手段翻越网络屏障并访问国外网站是不被允许的,而且可能会导致
如何使用AI智能软件制作PPT? ai自动生成ppt工具推荐
在数字化和智能化的今天,AI技术已经渗透到我们工作和生活的各个方面。其中,AI智能软件在PPT制作方面的应用,不仅极大地提高了制作效率,而且能够产生更具创意和个性化的展示内容。那么,如何使用AI智能软件制作PPT呢?本文将为你介绍AI工
公众号行业排行榜
排行公众号预估粉丝头条平均阅读次条平均阅读日发文数操作dushetv1801432100000+370904iiirenwu177408796548435322DSliupiaopiao158435686436暂无1the3design93357100000+暂无1xineuro323772100000+11576soyoung1111397456100000+暂无5mist
SEO与SEM的区别及应用场景解析
在数字营销的领域,SEO(搜索引擎优化)和SEM(搜索引擎营销)是两种常见且重要的推广方式。它们的目标都是提升网站的曝光度和流量,但实现的方式不同。SEO主要依赖于优化网站内容和结构,以提高搜索引擎自然排名,而SEM则通过付费广告方式
SEO网站排名优化价格—如何以合理的成本提升网站流量和转化率
企业对SEO的目标设定和优化的范围也是价格差异的重要原因。例如,有些企业只希望通过SEO提升某个特定关键词的排名,而有些企业则希望通过综合SEO提升整个网站的流量和曝光度。这种目标的差异直接决定了SEO服务的工作量和费用。如果需要全面
相关文章
推荐文章
发表评论
0评