在本地运行大模型:以Ollama为例
对于不少朋友来说,想要让这些大模型在自己的电脑上跑起来,似乎是一件很遥远的事情。别担心!今天我们就来一步步教你如何在Windows系统下轻松实现这一目标——使用一个叫作Ollama的工具。
对于不少朋友来说,想要让这些大模型在自己的电脑上跑起来,似乎是一件很遥远的事情。别担心!今天我们就来一步步教你如何在Windows系统下轻松实现这一目标——使用一个叫作Ollama的工具
准备阶段:下载与安装Ollama
首先,我们需要前往Ollama官网 https://ollama.com/ 下载适用于Windows平台的安装包。找到对应版本后直接下载即可。这一步就像为你的电脑准备了一个魔法盒子,里面装着开启新世界大门的钥匙。
下载完成后,双击刚刚获得的OllamaSetup.exe
文件开始安装过程。整个过程非常简单快捷,按照提示操作就行啦。当看到确认信息显示已成功安装时,就意味着你已经完成了第一个重要步骤!
执行以下命令验证是否安装成功
个性化配置:设置模型存储位置
接下来,我们要给即将召唤出来的大模型找个合适的家。默认情况下,Ollama会把所有下载好的模型存放在C:\Users\YourName\.ollama\models
这个路径下面。但如果你希望换个地方存放,比如放到D盘或者任何你觉得更合适的地方,则可以通过命令行来调整:
-
如果只是想给自己用的话(即当前用户),可以执行这条命令:
setx OLLAMA_MODELS "C:\zgz\ollama_models"
-
若是想让所有人都能访问该目录下的模型,则需加上
/M
参数:setx OLLAMA_MODELS "C:\zgz\ollama_models" /M
注意,在更改完环境变量之后记得重启命令行窗口或终端,这样才能确保新的设置生效哦!
探索无限可能:查看可用模型列表
现在准备工作基本完成,下一步就是挑选心仪的模型了。你可以通过访问Ollama官方库来浏览目前支持的所有模型。这就好比进入了一间巨大的图书馆,里面摆满了各种书籍等待着你去发现。
选择你需要的模型
实践出真知:下载并启动模型
选定了心仪的模型之后,就到了激动人心的时刻——让我们把它请到家里来吧!假设你选择了名为llama3.2:1b
的模型,只需打开命令提示符窗口输入如下指令即可开始下载和加载:
> ollama run llama3.2:1b
稍等片刻后,如果一切顺利,你应该就能见到自己选择的大模型正在热身准备中了。
可以通过以下命令查看已经安装的模型列表
测试环节:与模型互动
为了确保一切正常工作,我们可以通过简单的对话方式来测试一下模型的功能。只要保持刚才打开的那个命令行界面不要关闭,并尝试向模型提出问题或是发出指令,它就会给出回应啦。这就像是第一次与机器人朋友聊天一样,既新奇又有趣。
高级玩法:开放外部访问
最后,如果你想让自己搭建的AI服务器不仅限于本机使用,而是能让其他设备也能连接进来玩耍的话,就需要做一些额外设置了。默认状态下,Ollama只允许来自同一台计算机内部网络请求访问其服务。要改变这一点,我们需要告诉它接受来自任意IP地址的连接请求。
具体做法如下
一、修改一个叫做OLLAMA_HOST
的环境变量值为0.0.0.0:11434
二、退出并重新启动Ollama服务即可
按照以下两步退出Ollama
启动Ollama
检查端口是否被使用
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
更多推荐
所有评论(0)