第 15 章 · 基础设施：算力、芯片、数据

核心命题：AI 基础设施是「卖水人」生意——回报率最高的不是模型公司，是为模型公司提供工具的公司。 代表玩家：英伟达（市值 3 万亿+）、华为昇腾、寒武纪、Cerebras、Groq、vLLM、SGLang、合成数据。

15.1 卖水人法则

「淘金时代真正发财的不是淘金者，是卖水人」——这句老话在 AI 时代再次应验。

回报数据：英伟达从 2020 年的 $200B 涨到 2026 的 $3.5T——5 年 17 倍。这是 AI 时代最大的 Home Run，任何 AI 应用公司都比不上。

15.2 算力层：英伟达霸权 + 国产替代

英伟达霸权的 4 重护城河

1. CUDA 软件生态：所有 AI 框架（PyTorch、TensorFlow）原生支持；
2. NVLink 互联：万卡集群训练的关键技术；
3. 生态合作：HuggingFace、PyTorch、所有云厂商；
4. 下一代规划：H100 → H200 → B100 → B200，节奏完美。

国产替代真实进度

判断：单卡性能差距 20-50%，但集群效率差距 40-60%——这是国产替代的真正瓶颈。

投资判断

• 英伟达：作为 LP 通过二级配置即可，VC 没机会；
• 国产替代：A 股已普遍上涨，一级 VC 入局难；
• 中后端工具链（算子优化、编译器、推理框架）：仍有创业机会。

15.3 推理优化层：最被低估的赛道

LLM 推理成本是基础模型公司的最大开支（占营收 30-50%）。推理优化每提高 10%，整个 AI 应用层利润提升 5-10%。

关键玩家

为什么这是好赛道：

1. 客户付费意愿强（直接降本）；
2. 技术深度高（vLLM 团队来自 UC Berkeley + 顶级 ML systems）；
3. 商业模式清晰（按 token 收钱）；
4. 估值合理（vs 模型公司 50x PS，推理云 5-10x）。

15.4 数据层：合成数据 + 标注 + 治理

合成数据（Synthetic Data）

随着真实数据耗尽（GPT-4 已经训过几乎所有公开互联网），合成数据成为新方向：

判断：合成数据是 5-10 年级慢变量。短期不会爆发，但长期不可或缺。

数据标注（Data Labeling）

Scale AI 引领，已经从「人力密集型」转向「AI + 人力混合」——这是商业模式升级。

中国对应的是澜舟科技、海天瑞声等。

数据治理（Data Governance）

OpenAI 起诉 NYT 后，数据合规成为新刚需。Anthropic、OpenAI、Meta 都在大幅增加数据治理投入——这创造了新的合规工具市场。

15.5 工具链层：「LLM 时代的 Stripe」机会

工具链层是创业机会最多的：

模型 / Agent 框架

• LangChain ($200M 融资) — 早期生态领跑
• LlamaIndex — RAG 专精
• Haystack — 企业 RAG
• Dify — 开源工作流（已在第 14 章详述）
• Coze (字节) — 大厂工具

监控 / 可观测性

• Langfuse ($4M raised) — 开源
• Weights & Biases ($100M+) — ML ops
• Helicone — LLM 监控
• Arize AI — ML observability

评估 / 测试

• Braintrust — LLM evaluation
• Patronus AI — Safety / 评估
• Ragas — RAG evaluation

向量数据库

• Pinecone ($750M)
• Weaviate ($150M)
• Chroma ($30M)
• Qdrant — 开源

判断：这一层是最适合中型 VC 入场的赛道——估值合理（500 万到 5 亿美金）、技术明确、商业化清晰。

15.6 投资判断

哪一层回报率最高？

短期（1-2 年）：推理优化、工具链——估值合理、商业化快 中期（3-5 年）：合成数据、向量数据库 长期（5-10 年）：算力层（但中型 VC 难入局）

哪一层窗口期短？

• 工具链层：很多子赛道窗口期 6-12 个月
• 推理优化：12-18 个月
• 合成数据：3-5 年

投资策略

1. 避开纯算力（除非是大基金 + 二级），重点看推理优化 + 工具链；
2. 关注开源项目：vLLM、SGLang、LangChain、Dify 这种开源项目，往往是「先开源后融资」——你 sourcing 时机要早；
3. 重视技术 KOL：HuggingFace 联合创始人、PyTorch 核心、Andrej Karpathy——他们 endorse 的项目通常有真东西；
4. 国产替代慎重：A 股已涨过头，一级窗口窄。

15.7 反例与陷阱

陷阱 1：「和英伟达竞争」幻觉

「我们做更好的 GPU」——这是几乎不可能的。英伟达的护城河是 CUDA 生态，而不只是芯片。除非你有国家级资金 + 10 年视野（如华为），不要在通用 GPU 赛道挑战英伟达。

陷阱 2：「通用工具链」陷阱

「我们做下一代 LangChain」——但 LangChain 已经有 $200M 融资 + 90k stars 的领先优势。通用工具链赛道挤、windows 已关闭——做垂直 / 专精方向才有机会。

陷阱 3：估值倒挂

部分推理优化、工具链公司在 2024 年融资估值过高（5x 后续轮难）。入场前看「未来 18 个月 ARR 路径」，不只看技术。

15.8 落地清单

给 VC 投资人

1. 配置「卖水人」组合：portfolio 中至少 20% 是基础设施 / 工具链；
2. 跟踪开源项目动态：HuggingFace trending、vLLM / SGLang releases；
3. 不挑战英伟达：聚焦推理 + 工具链层。

给 AI 创业者

1. 不要做通用 GPU：除非你有 10 亿美金 + 国家资源；
2. 可以做特定推理优化 / 工具链：选一个具体问题（如医疗 RAG、法律 evaluation）；
3. 开源你的核心 + 收企业版：Dify / vLLM 模式。

给 LP

1. 看 GP 的基础设施配置：好 GP portfolio 中 15-25% 应该是基础设施 / 工具链；
2. 耐心：这一层可能 3-5 年才见 IPO，但回报倍数高。

15.9 算力市场的中国国产替代深度

国产算力替代是中国 AI 基础设施投资的最大主题，但需要分层理解：

训练卡（最难）

• 海外：英伟达 H100 / H200 / B100
• 国产：昇腾 910B、寒武纪思元 590、海光 K100

关键问题：

• 单卡性能差距 20-30%
• 互联（NVLink vs CNCL/HCCL）差距 40-50%
• 软件生态（CUDA vs 国产替代）差距巨大

判断：训练卡国产替代仍需 3-5 年才能真正商用。

推理卡（已突破）

• 海外：英伟达 H100 / L40 / L4
• 国产：昇腾、寒武纪思元 370、海光、平头哥含光

关键现状：

• 推理对互联要求低，单卡突破即可
• 国产推理卡已在阿里云、华为云规模化部署
• DeepSeek 部分推理用昇腾

判断：推理卡 2025-2026 年实现 30-50% 国产替代率，VC 还有窗口。

边缘 / 端侧 AI 芯片（最分散）

• 海外：Apple Neural Engine、高通 Hexagon、Nvidia Jetson
• 国产：地平线、平头哥含光、瑞芯微 RK3588、晶晨 S905

关键现状：

• 端侧 AI 模型（1-7B 参数）正在普及
• 国产芯片性价比优势明显
• 智能手机、智能家居、汽车场景刚需

判断：端侧 AI 芯片是中型 VC 最容易入局的赛道。

15.10 数据基础设施的隐藏机会

数据是 AI 时代的「石油」——但提炼石油的「炼油厂」往往比石油本身更值钱。

隐藏机会 1：合成数据生成

随着真实数据耗尽（GPT-4 已经训过几乎所有公开互联网），合成数据成为新方向：

• Scale AI 合成部门：从标注转向生成
• Gretel AI：合成结构化数据
• Snorkel AI：程序化数据生成
• 中国对应：澜舟科技、海天瑞声

合成数据的关键判断：

• 是否有「质量保证机制」（不只是生成更多，而是生成更好）
• 是否有特定行业数据（医疗、法律、金融）
• 客户付费意愿（OpenAI / Anthropic / Meta 都是大客户）

隐藏机会 2：数据治理 / 合规工具

OpenAI 起诉 NYT 后，数据合规成为新刚需：

• 训练数据来源审查
• 版权过滤
• PII（个人身份信息）脱敏
• GDPR / 中国数据安全法合规

典型玩家：Mostly AI（隐私）、Databricks Unity Catalog（治理）、中国对应仍在早期。

隐藏机会 3：数据 hub / marketplace

类似 HuggingFace 的数据集 hub——但专注特定行业 + 付费数据集：

• Kaggle（已被 Google 收购）：通用
• HuggingFace Datasets：开源 + 免费
• Zenodo：学术
• 未来机会：付费的行业专属数据 hub（医疗影像、法律判例、生物数据）

15.11 工具链层的「第二春」

工具链层第一波（2023-2024 年）已经形成 LangChain、LlamaIndex、Pinecone 等领先者。但第二波创业机会依然存在：

第二春机会 1：评估 / 测试工具

LLM 评估比传统软件测试复杂 100 倍——这是新需求：

• Braintrust：LLM evaluation
• Patronus AI：safety / 评估
• Ragas：RAG evaluation
• 中国对应：尚少

第二春机会 2：监控 / 可观测性

LLM 应用上线后的运维监控：

• Langfuse：开源 LLM 监控
• Helicone：API 监控
• Arize AI：ML observability
• Weights & Biases：训练监控

第二春机会 3：Prompt 管理

Prompt 是 LLM 应用的核心资产，但管理工具仍在早期：

• PromptLayer：版本管理
• LangSmith（LangChain 自研）：调试
• Pezzo：开源
• 机会：企业级 Prompt 管理 + A/B 测试 + 协作

第二春机会 4：成本优化 / 路由

不同任务用不同模型（GPT-4 / Claude / Llama / DeepSeek）的智能路由：

• OpenRouter：开源路由
• Martian：商业路由
• 机会：to B 企业级路由 + 成本优化 + SLA

15.12 基础设施投资的 5 年时间表

未来 5 年（2026-2031）基础设施投资机会的时间表：

节奏判断：

• 短期（1-2 年）：重点是推理 + 工具链
• 中期（3-5 年）：芯片 + 数据基础设施进入收获期
• 长期（5+ 年）：下一代架构 / 计算范式

本章小结

AI 基础设施是「卖水人」生意——英伟达 5 年 17 倍是 AI 时代最大 Home Run。

4 层结构：算力（英伟达霸权 + 国产替代）+ 推理优化（vLLM / Together / Fireworks）+ 数据（合成数据 / 标注 / 治理）+ 工具链（LangChain / Pinecone / 监控 / 评估）。

投资判断：短期推理优化 + 工具链、中期合成数据、长期算力（中型 VC 难入）。

3 个陷阱：与英伟达竞争幻觉、通用工具链窗口已关、估值倒挂。

第二部「赛道」5 章至此结束。下一部「实战」3 章——Sourcing / DD / 退出。

引用

• [1] NVIDIA / TSMC / Cerebras / 寒武纪 / 海光等公开市值数据 (2026 Q2)
• [2] vLLM / SGLang / LangChain / Pinecone 公开融资公告
• [3] Scale AI / Surge AI / Gretel AI 行业研究报告