大模型的未来:我们正站在哪里?
前言:回顾这一路2022 年 11 月 30 日,ChatGPT 发布。从那天起,世界变了。这个系列,我们从 Transformer 讲到 Agent,从原理讲到实践。这最后一篇,让我们聊聊未来。一、当前的技术边界1.1 大模型能做什么?图…
前言:回顾这一路2022 年 11 月 30 日,ChatGPT 发布。从那天起,世界变了。这个系列,我们从 Transformer 讲到 Agent,从原理讲到实践。这最后一篇,让我们聊聊未来。一、当前的技术边界1.1 大模型能做什么?图…
前言:Demo 到生产的鸿沟你做了一个 LLM 应用的 Demo:但生产环境需要考虑:一、整体架构设计1.1 典型 LLM 应用架构1.2 核心组件说明组件作用推荐技术API Gateway认证、限流、路由Kong, Nginx, AWS …
前言:能力与风险并存大模型可以写代码、做分析、创作内容,但也可能:🔓 教人制造危险物品🎭 生成虚假信息😈 被诱导输出有害内容🔐 泄露隐私数据⚖️ 产生歧视性输出本篇内容:AI 安全的核心概念常见攻击方式防御策略安全评估方法实践建议一、AI …
前言:上下文长度的进化大模型上下文长度的演进:模型上下文长度相当于GPT-34K3000 字GPT-48K/32K2.4万字Claude 2100K7.5万字Claude 3200K一本小说Gemini 1.51M多本书为什么长上下文重要?…
前言:大模型的算力困境大模型越来越大:模型参数量训练成本GPT-3175B460万美元PaLM540B900万美元GPT-41.8T?1亿美元?问题:参数量翻倍,计算量也翻倍,成本指数增长。MoE 的解决方案:模型很大,但每次只用一部分。核…
一、数字人民币到底是什么?先把概念说清楚很多人把数字人民币和微信支付、支付宝混为一谈,这是最常见也最致命的误解。一句话定义:e-CNY 是中国人民银行直接发行的法定数字货币,是现金(M0)的数字化形态,不是支付工具,而是钱本身。这个区别非常…
前言:面试官是一个被严重低估的岗位大多数人对面试官的认知是这样的:「我技术不错,让我去面试几个人呗。」然后他们进了会议室,开始灵魂拷问:「说说你对 Java 的理解。」「手写一个单例模式。」「你的职业规划是什么?」「你有什么问题要问我吗?」…
前言:Code Review 的残酷现实理想中的 Code Review 是这样的:现实中的 Code Review 是这样的:本文就是为第二种场景服务的——当你实在没时间、没精力、没背景知识看懂一个 PR 的时候,如何在不暴露自己的前提下…
前言:为什么评估这么重要?你训练/选择了一个大模型,但怎么知道它好不好?训练时:Loss 下降了,但模型真的变强了吗?选型时:市面上几十个模型,选哪个?部署后:用户反馈"不好用",哪里不好?评估的目的:比较不同模型的能力发现模型的强项和弱点…
前言:提示词的力量看两个例子:普通提示词:优化后的提示词:Prompt Engineering(提示词工程) = 设计最优的输入,让大模型输出最好的结果。一、Prompt 基础结构1.1 Prompt 的组成部分组件作用示例角色定义 AI …
前言:从"读文字"到"看世界"GPT-3 时代的大模型只能处理文本:GPT-4V 时代的多模态大模型:多模态(Multimodal) = 多种信息形式:文本、图像、音频、视频...一、多模态大模型全景1.1 多模态的类型1.2 主流多模态模…
前言:从"工具"到"助手"大模型的进化路径:传统 AI:你说一句,它做一步,完全被动。Agent:你说目标,它自己规划、执行、反思。一、什么是 Agent?1.1 Agent 的定义Agent = LLM + 规划能力 + 工具使用 + 记…
前言:大模型的"知识困境"大模型很强大,但有几个致命问题:问题 1:知识有截止日期问题 2:不知道你的私有数据问题 3:会"幻觉"——一本正经地胡说八道RAG(Retrieval-Augmented Generation,检索增强生成) 就…
一、传统支付系统架构:三座大山在动手之前,先来看看传统支付系统为什么到了500 TPS就开始"喘气"。1.1 传统架构长什么样1.2 三大瓶颈,一个都跑不掉传统架构的核心矛盾用一句话总结:200个Platform Thread,每个线程等渠…
前言:什么叫「优雅地让人看不懂」?让人看不懂的代码分两种境界:第四象限(低技术、高迷惑)是纯折磨,没品位。比如全用拼音缩写,(应还金额)、(当前状态),这种只是懒,称不上艺术。第一象限(高技术、高迷惑)才是我们的目标。看起来高深莫测,同事 …