李乾坤

AI、系统与工程实践

AI / Agent / System Design

把复杂系统讲清楚

记录 AI、Agent、系统设计与工程实践。内容以一线问题、长期方法和可复用经验为主。

最新文章

LLM外挂知识库

5 分钟阅读

简介 引入外部知识 的几个示例 多文档问答难点 问题分级 文档处理/非结构化数据结构化 文档解析 文档切分 文档召回/大海捞阵 对LLM的要求 优化 Self-RAG ...

LLMOps

2 分钟阅读

前言 挑战 从 PyTorch DDP 到 Accelerate 到 Trainer 从零手撸 Accelerate trainer 跑AI大模型的K8s与普通K8s有什么不同？ 前言 钱，算力，数据哪个会成为大模型继续 scal...

多模态LLM

3 分钟阅读

前言 Transformer与多模态 数据 Tokenizer 多模态理解 多模态生成 应用场景 图片理解 文生图 文生视频 多模态RAG 代码 前言 为什么我们...

Python一些比较有意思的库

4 分钟阅读

前言 安装第三方包 streamlit 类型注解 typing TypedDict 泛型编程 pydantic(py+pedantic=Pydantic) 数据验证 序列化 日志 其它 ...

Transformers源码学习

13 分钟阅读

前言 HuggingFace 使用 pipelines transformers基础组件 Dataset 源码分析 关于chat template（不是langchain 的ChatTemplate） 推理/...

LangChain源码学习

12 分钟阅读

前言 LangChain 干活的基础：OPENAI接口 包构成 LLM模型层 Prompt 和 OutputParser 规范化输入输出 prompt OutputParser Chain Memory 使用了m...

Python并发

4 分钟阅读

前言 线程 进程 异步编程 协程 异步任务之间的数据交互 协程实现原理 GIL ray 并发库 前言 Python是一个解释性语言，边解释边执行，实现这种特性的标准实现叫作 CPython。它分两步来运行 Python 程序： ...