标签

LLM

共 3 篇文章

AI/大数据

LLM 应用架构:从原型到生产

前言:Demo 到生产的鸿沟你做了一个 LLM 应用的 Demo:但生产环境需要考虑:mindmap root((生产环境考量)) 性能延迟吞吐量并发可靠性错误处理重试机制降级方案成本 Token 优化模型选择缓存策略安全输入输出过滤权限控…

0 0 10 分钟 阅读全文
AI/大数据

LLM 评估:如何知道模型有多强?

前言:为什么评估这么重要?你训练/选择了一个大模型,但怎么知道它好不好?训练时:Loss 下降了,但模型真的变强了吗?选型时:市面上几十个模型,选哪个?部署后:用户反馈"不好用",哪里不好?评估的目的:比较不同模型的能力发现模型的强项和弱点…

5 1 11 分钟 阅读全文
没有更多了
Enter 搜索Esc 关闭