大模型本地部署需要多少显存?
按参数量、量化精度和并发数估算大模型本地部署所需显存:给出 14B、32B、70B、671B 级模型的权重显存速查表、并发缓存估算方法与卡数折算,适用于 DeepSeek、Qwen 等开源模型。
大模型私有化部署多少钱?
大模型私有化部署的钱花在哪里:硬件、软件授权、实施、接口、培训与运维的构成,以及用自己的用量对比调用云端 API 与本地部署的盈亏平衡方法。
国产算力卡与 NVIDIA 怎么选?
大模型私有化部署选国产算力卡还是 NVIDIA:从合规与采购要求、软件生态、供货稳定性、实测性能四个维度对比,给出不同类型客户的选择思路与评估时的检查清单。
企业知识库(RAG)怎么搭?
企业私有知识库(RAG)搭建的完整流程:文档解析、切分与元数据、混合检索、重排序、带出处的生成与拒答、评估集与回归,并说明每一步不做好会出现的问题。
律所 AI 落地指南
律师事务所引入 AI 的实操指南:哪些场景先做、哪些不要做,如何处理客户保密与利益冲突隔离,怎样用评估集和并行试运行验收,以及合伙人需要先确认的事项。
知产所引入 AI 怎么算收益?
专利代理机构引入 AI 的收益评估方法:用自己的案卷统计耗时与外包费用,PoC 记录变化,再按人数与案量测算回本周期;并说明撰写、答复、检索、翻译各环节的边界。
学校与培训机构 AI 落地指南
学校与培训机构引入 AI 的实操指南:校园知识库、备课、批改辅助等场景的先后顺序,学生数据分级与教师确认机制,培训机构、院校与公办学校不同的采购与部署路径。
用 vLLM 本地部署 Qwen 与 DeepSeek 蒸馏模型
在 NVIDIA 卡上用 vLLM 部署 Qwen、DeepSeek-R1 蒸馏版等开源模型的通用步骤:环境准备、启动参数、OpenAI 兼容接口调用、接入知识库,以及内网访问控制与上线前检查。
白皮书:AI 私有化落地方法(方法篇)
面向律所、知识产权所与教育机构的 AI 私有化落地方法白皮书:现状判断、场景评估框架、技术路径、数据安全、验收指标、成本模型与 90 天路线图,附检查清单。
更多内容(行业落地指南与白皮书)筹备中。