bert
简介
AI / Agent / System Design
把复杂系统讲清楚
记录 AI、Agent、系统设计与工程实践。内容以一线问题、长期方法和可复用经验为主。
最新文章
推理LLM梳理
简介 扯扯闲篇 什么是Test/Inference-time Scaling Law test-time Compute 各种 Search against Verifiers 修改提议分布Modifying Proposal Di...
Agent演进
简介 分阶段 简单使用LLM 是不够的 workflow与agent agent 1.0 ==>agent 2.0 原理 认知框架Cognitive Architecture stop token ...
LLM预训练
简介 计算量 数据准备 继续预训练 数据实验：同源小模型是大模型的实验场 大模型背后的无数小模型 Tokenizer 模型结构 模型参数 GPT-2养成记 GPT-2 model使...
向量数据库的一些考量
前言（未完成）
fastapi+sqlalchemy进行项目开发
简介 FastAPI 依赖注入 fastapi_sqlalchemy fastapi_pagination 后台任务 lifespan SQLAlchemy 简介 PS： fastapi 与Uvicorn 的关...
LLM微调实践
简介 多轮对话怎么转化为模型接受的input和用于计算loss的label 预训练 指令微调 微调实践 数据准备 模型选择 训练参数选择 效果评估 特定场景微调 ...