登录社区云,与社区用户共同成长
邀请您加入社区
—论数字游民的身心灵社合一之道。
下载测试数据:curl https://raw.githubusercontent.com/gusye1234/nano-graphrag/main/tests/mock_data.txt > ./book.txt。6.运行lightrag-server --llm-binding ollama --embedding-binding ollama。1.通过git clone准备代码:git cl
最近很流行私有化部署dp,之前已经尝试过ollama+webui+deepseek本地化部署,但是体验感官上不是很多,特别卡顿。然后今天突然了解到Dify,也支持私有化部署大模型。而且似乎功能更加强大,那不得实操一下啊。
windows本地部署vllm,加载大模型
硬件配置:笔记本win11,内存32G,CPU锐龙7 ,无独显;只能考虑deepseek-r1:1.5b模型。
因为是懒人包,部署十分简单,就是将Lazy的包下载后解压,然后运行config.exe,会出来一个cmd窗口让你调配置,你把api,qq大号(用来当管理员的),qq小号(用来运行ai机器人的)输入即可,然后依次运行run-bot.bat和小号.bat。最后我发现要在如上修改网址的同时,在LangBot\templates的provider.json中的keys里没有正确的替换api,手动将api替
FlashMLA 是适用于 Hopper GPU 的高效 MLA 解码内核,针对可变长度序列服务进行了优化。
工作流开始节点,结束节点,大模型节点。批处理节点图像生成节点。学习如何利用Coze平台搭建一个能够自动生成小红书风格梗图的智能体。内容:介绍如何使用图像生成插件,编写提示词以生成特定风格的图片,并将其整合到智能体响应中。
介于最近deepseek的大火,我就在想能不能用winform也玩一玩本地部署,于是经过查阅资料,然后了解到ollama部署deepseek,最后用ollama sharp NUGet包来实现winform调用ollama 部署的deepseek。本项目使用Vs2022和.net 8.0开发,ollama sharp 使用的是最新版本。
这是一篇关于清华大学deepseek使用手册pdf的介绍性文章,主要介绍了DeepSeek的定义、功能、使用方法以及如何通过提示语设计优化AI性能。