-
当下主流 LLM API 调用价格比较说明
大模型 API 的价格这两年是真·杀疯了,国内厂商一轮轮卷价,美国厂商一轮轮降价。 对做工程落地的人来说,同一份文档丢给不同模型,成本可以差一个数量级,不算清楚,很容易烧钱烧心。 这篇小文就用一个固定场景,来直观对比几家常见 LLM 的调用成本,并给出一些选型上的实用建议。 统一对比场景 为了让不同厂商... Read More
-
从 LLM 到 Agent
大语言模型(LLM)本身就像一个见多识广的咨询顾问:能聊天、能解释概念、能写代码。可一旦深入使用,你很快会发现几个明显的短板: 做复杂数学运算容易出错 推理链条一长就开始“胡编” 碰到知识更新很快的领域(比如医疗、金融政策)就不太可靠 LLM Agent(智能体),就是为了解决这些... Read More
-
QAnything 源码解析
QAnything 的定位,是一个本地知识库问答系统,支持多种文件格式、离线部署和两阶段检索 rerank。 本篇我们不从“架构宣传图”开始,而是沿着源码,顺着三条主线把系统拆开看: 启动流程:从一行 Shell 一路走到 Sanic 服务和 LocalDocQA。 文档上传流程:文件是怎么变成向量库里... Read More
-
GeoServer 内存优化策略
折腾 GeoServer 这几年,我踩过最多的坑,大概就是“内存不够用”, 不是 OOM,就是频繁 Full GC,把整台机器拖得跟没吃早饭一样虚。 回头看,其实很多问题并不在于 GeoServer 本身“性能差”,而是我一开始既没照顾好栅格数据的组织方式, 也没给各种请求设好“安全阀”,更不了解 Jav... Read More
-
SQLite + simple 插件实现中文全文检索
做中文全文检索这件事,我一开始也以为离不开 Elasticsearch、Postgres + 插件这些“大件”。 但很多时候,我只是想在一颗 SQLite 里,把几万条新闻丢进去,安安静静地搜几个中文关键词——不想搭集群、不想运维服务, 更不想为一个小工具搞一套“大数据”基础设施。 后来发现 wangfenjin/simple 这个扩展,配合 FTS5,居... Read More
-
Life Designing 视频笔记
这是 Stanford 的 Open Office Hours,对话的是 Dave Evans 和 Bill Burnett,也就是《Designing Your Life》的那两位老师。 他们把“设计思维”用在 “我该干嘛 / 人生要往哪走” 这种大... Read More
-
FinGLM 财报问答比赛技术路线总结
FinGLM 源于 SMP 2023 ChatGLM 金融大模型挑战赛,核心任务是: 在 上市公司年报/财务报表 构建的知识库基础上,使用 ChatGLM 系列模型完成财报问答。 参赛系统需要围绕 PDF 年报回答三类问题: 基础查询(初级): 例如“某公司 2021 年研发费用是多少?”... Read More