Obsidian插件篇-Copilot搭建本地知识库大模型

每日闲聊
1

Obsidian插件篇-Copilot搭建本地知识库大模型

本篇文章主要介绍如何使用Obsidian+Ollama+Copilot搭建本地知识库大模型，细节部分可以参考提及的链接。

结论

电脑配置不行给出回答会很慢，效果并不理想。即使电脑配置可以，基于知识库的问答效果依然不尽人意。即使现在deepseek风头无二，也不建议普通人折腾，玩一玩还行。

为什么搭建？

想搭建自己的本地大模型知识库，希望AI助手能够成为我的知识助手。

配置需求

配置参数如下的笔记本，运行起来ali 7b模型生成速度太慢。

  • 处理器 11th Gen Intel(R) Core™ i5-1135G7
  • 机带 RAM 16.0 GB (15.7 GB 可用)

配置参数如下的台式机，运行起来ali 7b模型速度可以。

  • CPU：i5 13600KF 4060ti

满血版的deepseek家用的硬件根本支持不起，7b,8b版本使用体验比满血版又差的太多。

大模型搭建步骤

  • 下载Ollama
  • 下载大模型
  • Copilot插件配置一下

参考

2

之前看到别人讨论Deepseek开源的稀疏注意力论文，按这里面提到的情况，标准情况下大模型上下文长度很不够用，又不太可能为本地数据专门训练一个模型出来，那本地知识库是不是原理上就不太可行？
不知道现在RAG技术的效果怎么样了，之前用通义理解文档，感觉不太行。

1 个赞
3

我已经在Ollama中下载了2个本地ai模型，一个是聊天模型：deepseek r1，一个是嵌入模型：bge-m3，但是在Obsidian中配置Copilot插件时出现了问题，在Copilot插件的模型中添加并启用刚刚下载本地ollama模型，提示：Model verification failed:without CORS Error:BodyStreamBuffer was aborted，该怎么解决呢？

2 个赞
4

可以参考以下三个链接，如果配置没问题，api 服务本身存在波动也很正常。

1 个赞
5

你解决了没？老哥

1 个赞
6

如果配置不够，可以尝试用小一点的模型，例如deepseek-r1:1.5b

1 个赞