登录社区云，与社区用户共同成长
邀请您加入社区
三大必薅福利 1️⃣ 限时秒杀 RTX 4090 每小时只要 0.99元（原价2.38元！≈市场价1/2），限定数量50台A800 每小时 3.66元（原价12元！），限定数量20台⚠️ 每天限量！ 2️⃣ 充值返20%券≈提前锁定83折 每累计充500送100，充1000送200…上不封顶！ 3️⃣ 终极抽奖 每周充值满500就能抽 8卡4090免费用1个月（价值上万！） 建议策略 临时
—论数字游民的身心灵社合一之道。
下载测试数据：curl https://raw.githubusercontent.com/gusye1234/nano-graphrag/main/tests/mock_data.txt > ./book.txt。6.运行lightrag-server --llm-binding ollama --embedding-binding ollama。1.通过git clone准备代码：git cl
最近很流行私有化部署dp，之前已经尝试过ollama+webui+deepseek本地化部署，但是体验感官上不是很多，特别卡顿。然后今天突然了解到Dify，也支持私有化部署大模型。而且似乎功能更加强大，那不得实操一下啊。
windows本地部署vllm,加载大模型
硬件配置：笔记本win11，内存32G，CPU锐龙7 ，无独显；只能考虑deepseek-r1:1.5b模型。
FlashMLA 是适用于 Hopper GPU 的高效 MLA 解码内核，针对可变长度序列服务进行了优化。
介于最近deepseek的大火，我就在想能不能用winform也玩一玩本地部署，于是经过查阅资料，然后了解到ollama部署deepseek,最后用ollama sharp NUGet包来实现winform调用ollama 部署的deepseek。本项目使用Vs2022和.net 8.0开发，ollama sharp 使用的是最新版本。
在 AI 技术飞速发展的今天，清华大学推出的 DeepSeek 五版使用手册犹如及时雨，给我们新手小白使用者带来了福音。这五版手册涵盖了从基础入门到深度应用的各个方面，肯定能从中获取到宝贵的知识和技能。这是由清华大学新闻与传播学院新媒体研究中心元宇宙文化实验室的余梦珑博士后团队精心撰写的 104 页实操手册。
H20概述: H20 是 NVIDIA 为中国市场设计的特制 GPU，基于 Hopper 架构。由于出口限制，它是 H100 的削减版，平衡了合规性与 AI 性能。规格: 96GB HBM3 内存，带宽 4 TB/s，FP8 精度下约 296 TFLOPS。特点: 计算能力不如 H100，但内存带宽优异，推理任务（如 70B 参数模型）表现突出，延迟比 H100 低约 20%。现状: 已于 202
