简介 全局性问题 非结构化数据入知识图谱 维护 检索知识图谱 GraphRAG 回头看 挑战 演进（未完成） 其它 简介 PS：适用于严谨的专业领域(医疗，运维等)，知识的准备需要受到约束的并且知识之间能够明显建立层级关系的。依赖前期高质量，结构化的知识准备，清洗，抽取，通过业务规则通过手动或者自定义SOP流程构建知识图谱。 传统的 RAG 技术仍...

简介 从PagedAttention开始 实现 整体架构 请求调度 源码 入口 add_reques/SequenceGroup step()：调度器策略 物理块管理器 cacheManager 模型执行 推理框架的演进 算子层 vl...

简介 与ReAct对比 llm function-call的能力判定 工程 openai like api OpenAI 原生调用 结合langchain调用 进化 AgentTuning 让大模型主动提出调用工具需求（强化学习的训练方式） 利用functioncall来做...

简介 基本概念/llama-index-core 模型 数据（未完成） RAG 索引阶段 查询阶段 带历史记录 带路由 多步推理 路由 + 工具 + 多步推理。 个性化配置 workflow 并发 对s...

简介 Single-Agent面临的困境/单 agent 能走多远 多Agent拓扑结构 一个材料 主从架构 sub-agent范式 与上下文工程（Context Engineering）的结合 意图识别准确性 与UI的交互 多Agent工程问题 智能体间的通信 ...

简介 虚拟机执行 变量、函数、 容器（list/dict） 面向对象 内存管理 引用计数实现 基于引用追踪的垃圾回收算法 基于 Copy 的 GC 算法 其它 import generator python vm ...

简介 从顺序式为主的简单架构走向复杂的WorkFlow Runnable protocol LCEL 模块化抽象Runnable Runnable串联 LangGraph 构建Agent lcel示例 langgraph示例 LangGraph原理 三要...

简介 魔法函数 yield和生成器 闭包/Closures 装饰器——开闭原则 简单示例 类装饰器 参数化装饰器 带属性的装饰器 装饰一个类 decorator库 with和上下文管理器 动态语言 动态属性 动态方法 slots ...

简介 简单封装 FastChat FastChat源码分析 请求参数转换 FastChat, How to support a new model? TensorRT-LLM 简介 在大模型之前的时代，模型结构不断发散，但推理功能的形态是稳定的，因此推理框架演化的结果是重Builder，轻Runtime。但大模型时...

简介 TensorRT-LLM 简介 模型推理服务化框架Triton保姆式教程（一）：快速入门Triton 是 Nvidia 发布的一个高性能推理服务框架，可以帮助开发人员高效轻松地在云端、数据中心或者边缘设备部署高性能推理服务。其中主要特征包括： 支持多种深度学习框架（Triton 称之为backend，tf、pytorch、FasterTransformer都有对应bac...