技术

LLM一些探索 Agent实践 LLM预训练 向量数据库的一些考量 fastapi+sqlalchemy进行项目开发 LLM微调实践 Python协程实现 Agent Functon Calling LLamaIndex入门 Multi-Agent探索 Python虚拟机 LLM工作流编排 Python实践 下一个平台Agent 激发LLM涌现——提示工程 LLM微调理论 大佬沉思 LLM外挂知识库 LLMOps 多模态LLM Python一些比较有意思的库 Transformers源码学习 LangChain源码学习 通用分布式计算引擎Ray Python并发 go依赖注入 go collection gc的基本原理 golang性能分析及优化 数据湖 高性能计算与存储 Linux2.1.13网络源代码学习 《大数据经典论文解读》 三驾马车学习 Spark 内存管理及调优 Yarn学习 从Spark部署模式开始讲源码分析 容器狂占内存资源怎么办? 多角度理解一致性 golang io使用及优化模式 Flink学习 c++学习 学习ebpf go设计哲学 ceph学习 学习mesh kvm虚拟化 学习MQ go编译器以及defer实现 学习go 为什么要有堆栈 汇编语言 计算机组成原理 运行时和库 Prometheus client mysql 事务 mysql 事务的隔离级别 mysql 索引 坏味道 学习分布式 学习网络 学习Linux go堆内存分配 golang 系统调用与阻塞处理 Goroutine 调度过程 重新认识cpu mosn有的没的 负载均衡泛谈 单元测试的新解读 《Redis核心技术与实现》笔记 《Prometheus监控实战》笔记 Prometheus 告警学习 calico源码分析 对容器云平台的理解 Prometheus 源码分析 并发的成本 基础设施优化 hashicorp raft源码学习 docker 架构 mosn细节 与微服务框架整合 Java动态代理 编程范式 并发通信模型 《网络是怎样连接的》笔记 go channel codereview gc分析 jvm 线程实现 go打包机制 go interface及反射 如何学习Kubernetes 《编译原理之美》笔记——后端部分 《编译原理之美》笔记——前端部分 Pilot MCP协议分析 go gc 内存管理玩法汇总 软件机制 istio流量管理 Pilot源码分析 golang io 学习Spring mosn源码浅析 MOSN简介 《datacenter as a computer》笔记 学习JVM Tomcat源码分析 Linux可观测性 学习存储 学计算 Gotty源码分析 kubernetes operator kaggle泰坦尼克问题实践 kubernetes扩缩容 神经网络模型优化 直觉上理解深度学习 如何学习机器学习 TIDB源码分析 什么是云原生 Alibaba Java诊断工具Arthas TIDB存储——TIKV 《Apache Kafka源码分析》——简介 netty中的线程池 guava cache 源码分析 Springboot 启动过程分析 Spring 创建Bean的年代变迁 Linux内存管理 自定义CNI IPAM 共识算法 spring redis 源码分析 kafka实践 spring kafka 源码分析 Linux进程调度 让kafka支持优先级队列 Codis源码分析 Redis源码分析 C语言学习 《趣谈Linux操作系统》笔记 docker和k8s安全访问机制 jvm crash分析 Prometheus 学习 Kubernetes监控 Kubernetes 控制器模型 容器日志采集 容器狂占资源怎么办? Kubernetes资源调度——scheduler 时序性数据库介绍及对比 influxdb入门 maven的基本概念 《Apache Kafka源码分析》——server Kubernetes类型系统 源码分析体会 《数据结构与算法之美》——算法新解 Kubernetes源码分析——controller mananger Kubernetes源码分析——apiserver Kubernetes源码分析——kubelet Kubernetes介绍 ansible学习 Kubernetes源码分析——从kubectl开始 jib源码分析之Step实现 线程排队 jib源码分析之细节 跨主机容器通信 jib源码分析及应用 为容器选择一个合适的entrypoint kubernetes yaml配置 《持续交付36讲》笔记 mybatis学习 程序猿应该知道的 无锁数据结构和算法 CNI——容器网络是如何打通的 为什么很多业务程序猿觉得数据结构和算法没用? 串一串一致性协议 当我在说PaaS时,我在说什么 《数据结构与算法之美》——数据结构笔记 PouchContainer技术分享体会 harbor学习 用groovy 来动态化你的代码 精简代码的利器——lombok 学习 《深入剖析kubernetes》笔记 编程语言那些事儿 rxjava3——背压 rxjava2——线程切换 spring cloud 初识 《深入拆解java 虚拟机》笔记 《how tomcat works》笔记 hystrix 学习 rxjava1——概念 Redis 学习 TIDB 学习 如何分发计算 Storm 学习 AQS1——论文学习 Unsafe Spark Stream 学习 linux vfs轮廓 《自己动手写docker》笔记 java8 实践 中本聪比特币白皮书 细读 区块链泛谈 比特币 大杂烩 总纲——如何学习分布式系统 hbase 泛谈 forkjoin 泛谈 看不见摸不着的cdn是啥 《jdk8 in action》笔记 程序猿视角看网络 bgp初识 calico学习 AQS——粗略的代码分析 我们能用反射做什么 web 跨域问题 《clean code》笔记 《Elasticsearch权威指南》笔记 mockito简介及源码分析 2017软件开发小结—— 从做功能到做系统 《Apache Kafka源码分析》——clients dns隐藏的一个坑 《mysql技术内幕》笔记 log4j学习 为什么netty比较难懂? 递归、回溯、动态规划 apollo client源码分析及看待面向对象设计 学习并发 docker运行java项目的常见问题 OpenTSDB 入门 spring事务小结 分布式事务 javascript应用在哪里 《netty in action》读书笔记 netty对http2协议的解析 ssl证书是什么东西 http那些事 苹果APNs推送框架pushy apple 推送那些事儿 编写java框架的几大利器 java内存模型和jvm内存布局 java exception Linux IO学习 netty内存管理 测试环境docker化实践 netty在框架中的使用套路 Nginx简单使用 《Linux内核设计的艺术》小结 Go并发机制及语言层工具 Linux网络源代码学习——数据包的发送与接收 《docker源码分析》小结 docker namespace和cgroup zookeeper三重奏 数据库的一些知识 Spark 泛谈 链式处理的那些套路 netty回顾 Thrift基本原理与实践(二) Thrift基本原理与实践(一) 回调 异步执行抽象——Executor与Future Docker0.1.0源码分析 java gc Jedis源码分析 深度学习泛谈 Linux网络命令操作 JTA与TCC 换个角度看待设计模式 Scala初识 向Hadoop学习NIO的使用 以新的角度看数据结构 并发控制相关的硬件与内核支持 systemd 简介 quartz 源码分析 基于docker搭建测试环境(二) spring aop 实现原理简述 自己动手写spring(八) 支持AOP 自己动手写spring(七) 类结构设计调整 分析log日志 自己动手写spring(六) 支持FactoryBean 自己动手写spring(九) 总结 自己动手写spring(五) bean的生命周期管理 自己动手写spring(四) 整合xml与注解方式 自己动手写spring(三) 支持注解方式 自己动手写spring(二) 创建一个bean工厂 自己动手写spring(一) 使用digester varnish 简单使用 关于docker image的那点事儿 基于docker搭建测试环境 分布式配置系统 JVM执行 git maven/ant/gradle/make使用 再看tcp kv系统 java nio的多线程扩展 《Concurrency Models》笔记 回头看Spring IOC IntelliJ IDEA使用 Java泛型 vagrant 使用 Go常用的一些库 Python初学 Goroutine 调度模型 虚拟网络 《程序员的自我修养》小结 Kubernetes存储 访问Kubernetes上的Service Kubernetes副本管理 Kubernetes pod 组件 Go基础 JVM类加载 硬币和扑克牌问题 LRU实现 virtualbox 使用 ThreadLocal小结 docker快速入门

架构

大模型推理tips RAG向量检索与微调 dddfirework源码分析 RAG与知识图谱 大模型推理服务框架vLLM 大模型推理服务框架 模型服务化(未完成) 大模型Post-Training 大模型训练 大模型推理 从Attention到Transformer k8s设备管理 ddd从理念到代码 如何应用LLM 小鼠如何驾驭大象(LLM)? 多类型负载协调员Koordinator controller-runtime细节分析 finops学习 kubevela多集群 kubevela中cue的应用 基于k8s的工作流 kubevela源码分析 容器和CPU那些事儿 数据集管理fluid 应用管理平台kubevela karmada支持crd 多集群管理 AutoML和AutoDL 特征平台 实时训练 分布式链路追踪 K8S YAML 资源清单管理方案 tensorflow原理——python层分析 如何学习tensorflow 数据并行——allreduce 数据并行——ps embedding的原理及实践 机器学习中的python调用c 机器学习训练框架概述 tensornet源码分析 大模型训练和推理 X的生成——特征工程 tvm tensorflow原理——core层分析 模型演变 《深度学习推荐系统实战》笔记 keras 和 Estimator tensorflow分布式训练 分布式训练的一些问题 基于Volcano的弹性训练 图神经网络 pytorch弹性分布式训练 从混部到统一调度 从RNN到Attention pytorch分布式训练 CNN 《动手学深度学习》笔记 pytorch与线性回归 多活 volcano特性源码分析 推理服务 kubebuilder 学习 mpi 学习pytorch client-go学习 提高gpu 利用率 GPU与容器的结合 GPU入门 AI云平台梳理 tensorflow学习 tf-operator源码分析 k8s批处理调度/Job调度 喜马拉雅容器化实践 Kubernetes 实践 学习rpc BFF openkruise学习 可观察性和监控系统 基于Kubernetes选主及应用 《许式伟的架构课》笔记 Admission Controller 与 Admission Webhook 发布平台系统设计 k8s水平扩缩容 Scheduler如何给Node打分 Scheduler扩展 深入controller openkruise cloneset学习 controller-runtime源码分析 pv与pvc实现 csi学习 client-go informer源码分析 kubelet 组件分析 调度实践 Pod是如何被创建出来的? 《软件设计之美》笔记 mecha 架构学习 Kubernetes events学习及应用 CRI 资源调度泛谈 业务系统设计原则 grpc学习 元编程 以应用为中心 istio学习 下一代微服务Service Mesh 《实现领域驱动设计》笔记 概率论 serverless 泛谈 《架构整洁之道》笔记 处理复杂性 那些年追过的并发 服务器端编程 网络通信协议 架构大杂烩 如何学习架构 《反应式设计模式》笔记 项目的演化特点 反应式架构摸索 函数式编程的设计模式 服务化 ddd反模式——CRUD的败笔 研发效能平台 重新看面向对象设计 业务系统设计的一些体会 函数式编程 《左耳听风》笔记 业务程序猿眼中的微服务管理 DDD实践——CQRS 项目隔离——案例研究 《编程的本质》笔记 系统故障排查汇总及教训 平台支持类系统的几个点 代码腾挪的艺术 abtest 系统设计汇总 《从0开始学架构》笔记 初级权限系统设计 领域驱动理念 现有上传协议分析 移动网络下的文件上传要注意的几个问题 推送系统的几个基本问题 做配置中心要想好的几个基本问题 不同层面的异步 分层那些事儿 性能问题分析 用户认证问题 资源的分配与回收——池 消息/任务队列

标签

k8s设备管理 多类型负载协调员Koordinator controller-runtime细节分析 finops学习 kubevela多集群 kubevela中cue的应用 基于k8s的工作流 kubevela源码分析 容器和CPU那些事儿 数据集管理fluid 应用管理平台kubevela karmada支持crd 多集群管理 K8S YAML 资源清单管理方案 从混部到统一调度 volcano特性源码分析 kubebuilder 学习 client-go学习 tf-operator源码分析 k8s批处理调度/Job调度 喜马拉雅容器化实践 Kubernetes 实践 openkruise学习 基于Kubernetes选主及应用 Admission Controller 与 Admission Webhook k8s水平扩缩容 Scheduler如何给Node打分 Scheduler扩展 深入controller openkruise cloneset学习 controller-runtime源码分析 pv与pvc实现 csi学习 client-go informer源码分析 kubelet 组件分析 调度实践 Pod是如何被创建出来的? Kubernetes events学习及应用 CRI 资源调度泛谈 如何学习Kubernetes 以应用为中心 kubernetes operator kubernetes扩缩容 serverless 泛谈 什么是云原生 自定义CNI IPAM docker和k8s安全访问机制 Kubernetes监控 Kubernetes 控制器模型 Kubernetes资源调度——scheduler Kubernetes类型系统 Kubernetes源码分析——controller mananger Kubernetes源码分析——apiserver Kubernetes源码分析——kubelet Kubernetes介绍 Kubernetes源码分析——从kubectl开始 kubernetes yaml配置 CNI——容器网络是如何打通的 当我在说PaaS时,我在说什么 《深入剖析kubernetes》笔记 Kubernetes存储 访问Kubernetes上的Service Kubernetes副本管理 Kubernetes pod 组件
大模型推理tips LLM一些探索 Agent实践 LLM预训练 RAG向量检索与微调 LLM微调实践 RAG与知识图谱 大模型推理服务框架vLLM Agent Functon Calling LLamaIndex入门 Multi-Agent探索 LLM工作流编排 大模型推理服务框架 模型服务化(未完成) 大模型Post-Training 大模型训练 大模型推理 下一个平台Agent 从Attention到Transformer 激发LLM涌现——提示工程 LLM微调理论 大佬沉思 LLM外挂知识库 LLMOps 多模态LLM Transformers源码学习 LangChain源码学习 如何应用LLM 小鼠如何驾驭大象(LLM)? AutoML和AutoDL 特征平台 实时训练 tensorflow原理——python层分析 如何学习tensorflow 数据并行——allreduce 数据并行——ps embedding的原理及实践 机器学习中的python调用c 机器学习训练框架概述 tensornet源码分析 大模型训练和推理 X的生成——特征工程 tvm tensorflow原理——core层分析 模型演变 《深度学习推荐系统实战》笔记 keras 和 Estimator tensorflow分布式训练 分布式训练的一些问题 基于Volcano的弹性训练 图神经网络 pytorch弹性分布式训练 从RNN到Attention pytorch分布式训练 CNN 《动手学深度学习》笔记 pytorch与线性回归 推理服务 mpi 学习pytorch 提高gpu 利用率 GPU与容器的结合 GPU入门 AI云平台梳理 tensorflow学习 kaggle泰坦尼克问题实践 神经网络模型优化 概率论 直觉上理解深度学习 如何学习机器学习 深度学习泛谈

《智能商业》笔记

2019年06月15日

简介

商业变革——互联网技术革命

人类文明的发展,主要不是依靠人脑的进化,人脑进化的程度也十分有限,而是通过社会化的合作不断创新和突破,带来生产力的大爆发。

机器学习成了通用算法。算法会像云计算一样成为基础设施。

数据智能的本质就是机器取代人直接做决策

连接的高速化、移动化让所有事情都变得高效起来,变相的延长了我们的生命,当然,也加剧了我们的生活压力。

万物互联网:IOT,比如包裹上的二维码,让物流中所有的环节都仅需扫描一下二维码,就可以知道这个包裹的状况,物流产业链的效率得到很大提升。PS:比如包裹分拣员的入职门槛大大降低,甚至可以无人分拣。

技术发展 ==> 商业模式如何利用、整合技术发展

人类社会的分工与合作开始用网络的方式实现。当海量的人已经可以在线互动的时候,如何让他们通过在线协作的方式去完成某一件事情,便成为一种新的商业组织方式。就像流水线在工业时代所做的那样。比如数亿卖家、数千万商家、物流、店铺客服、商品模特、商品摄影师等形成一个高效的大零售平台。

实现智能商业的第一步,就是让你的产品和服务核心流程在线化,而客户在使用产品的过程中,通过互联网自然而然的留下了他的态度,用户的实时反馈成为产品和服务快速迭代与更新的源泉。PS:你比传统方式效率更高,更接近用户,产品升级更快,自然可以超过传统竞争对手。

农业时代,自给自足,村社范围简单交换。工业时代,流水线、供应链、科层制。到万物互联时代,开放的网络结构、自由的多元协同,分布式的自组织体系。就像景德镇的陶瓷产业、意大利中部的皮革业都曾有过初级的网状协同。只有超越线性结构,才能实现个体优化、局部优化和全局优化的动态统一,才能最大化最深层次的展现网络的价值。实时的、按需、高效生产。

如果我们将数据看做数据时代的一桶高标号汽油,那算法无疑就是这台引擎。机器学习是算法一次决定性的跃升,也正是在这次跃升中,数据对算法的巨大被充分显现出来。任何一个算法模型,尤其是能够自我学习、自我优化的算法模型,都承担着在成千上万可能的因素中寻找出所隐藏的联系的艰巨任务。工业革命使得体力劳动自动化,信息革命使得脑力劳动自动化,而机器学习使得自动化过程本身自动化。PS,数据和算法形成了变换,数据既可以应用于算法,也可以驱动算法。

用户体验一方面是UI,另一方面是功能本身,可以想见搜索的界面再酷炫,搜不到用户要找的东西也是不行的。

一切数据智能体系,都必须最终融合在功效直接、交互友好、价值明确的互联网产品上,其智能的价值才能真正体现出来。针对某个用户的问题,定义了全新的用户体验方式,同时启动了数据智能的引擎,持续提升用户体验,又使用户低成本、高频度的进行反馈,让反馈成为闭环。

用户的真实需求常常是无法直接加以表达的,但他们的行为不会骗人。

新旧商业的区别,在于精准。精准是商业的核心要求,要与用户建立持续性互动关系,就必须以个性化、一对一的方式来实现与用户的对接,甚至还要考虑用户此时此地的心情。服务要想做到精确和准确,就需要不断地互动,获取一个人在不同场景、状态下的数据,不断地迭代优化,通过数据智能不断加深对用户的理解(用户的行为和用户想要的之间的 联系)。精准,更精准。

三浪

  1. 1.0 可以看成传统产业的升级, 例如消费升级带来的机会
  2. 2.0 可以看成互联网化,利用互联网的工具进行效率上的提升
  3. 3.0 指的就是在互联网平台上,用网络协同和数据智能的方法进行重构。

战略变革——点线面体

供给过剩 ==> 个性化 ==> 精准 ==> 智能化。

在工业时代,人的信仰是科学能够发现一切规律,依靠规律就可以将一切事情做得精准。新时代最大的特点就是开始接受不确定性, 尝试用统计的方法来逼近确定性。PS:用数据去发现规律,最终表现在某些突触权重很高。

无论何种商业模式, 它的起点一定来自用户的痛点,来自一种未被发现或满足的需求。对企业而言,最重要的战略决策就是要对未来行业的最终发展方向进行判断。

如今是一个属于消费者的时代, 消费者从被动变成了主动,从产品的被动接受者变成了产品的直接决定者。想要脱颖而出,就一定要最大限度满足用户真实需求,了解用户的真实反馈。

由于环境变化太快,传统的5年、10年的详细战略规划不再有效。针对未来的长期思考很重要,基于这种长期思考行成对未来变化的某种判断, 就是远见vision,vision 是一个假设,就有不确定性, 要不断的被实践验证和挑战。因为有不确定性, 无论你如何收集信息、思考、推断、当你最后做决定时, 总有一步叫基于信念的那一次跳跃。在很大程度上,因为你相信了,你往那个方向努力了,它才一步步的成为现实。

因为你看不到未来是什么样子的,唯一确认预判正确与否的方法就是去做,在做的过程中得到第一手反馈,这个反馈帮助你完成两个目标:帮你修正对产业终局的判断;帮你修正下一步的行动。行动要形成结果以便修正远见。远见和行动的快速结合是战略在这个时代新的表现形式。你要具备一个核心能力:在预判未来和行动之间形成非常高效的反馈闭环。

点线面体。PS:马云说:京东将来会成为悲剧,这个悲剧是我第一天就提醒大家的,不是我比他强,而是方向性的问题,这是没办法的。 一个体会是: 淘宝上有无数商家,无数商家在挖空心思为自己拉客,自然也是在为淘宝拉客。而京东只有靠自己。 知乎大佬的一个回答:淘宝赚钱比京东更轻松,因为苦活累活都是下面的卖家做,淘宝只需要卖流量就好了。但是卖流量的反马太效应也非常大,一旦流量被别人反超,会死得比谁都快。这也是Google在成为搜索领域老大后,不断地把触角伸向每一个可能成为流量入口的地方的原因,这也是android系统的战略意义所在。

在传统的产业环境中,公司存在的价值在很大程度上就是衔接工序、协调工种、管理流程、确定产品的统一质量和售后服务等。在互联网时代,上述职能均可依赖IT工具完成,随着传统封闭结构的打开,提供服务的专业限制呈几何级数降低, 创新与服务小众需求的可能性却呈几何级数提升。大部分线性结构的传统行业,都会在互联网技术下解构,成为面上的一个个散点,点自由分布,按需成线,将远比过去封闭的线更有活力。

互联网可以看成与电相媲美的技术革命

把创造力提到新高度

人工智能正在重新定义智力工作的边界,史无前例的将人们从初级低维的脑力工作中解放出来,最大限度的释放了人的本源价值——主动性和创造性,波澜壮阔的创造力革命就此拉开序幕。 在这个时代,机器不断取代能够被结构化的知识,创造力成为最稀缺的生产要素和组织中最大的竞争力, 这也对组织模式提出了全新的要求。 在工业革命和信息技术革命中,手工经验被系统化的知识超越,而知识又进一步被应用到工具的创新中。由于电的普及, 使得机械化大规模生产成为可能,这个时候需要协调更多的角色,管理的需求才得以体现。随着计算机发展和运用, 信息化的发展使得管理本身也变得愈加复杂。 PS:机器越来越成为以前的工人,人类从体力劳动中解放出来,升级为专业化、技术性或者管理岗位。而未来可能被机器吞噬的工作机会将进一步上移。

传统意义上的知识的价值在急剧下降(甚至这部分知识可以被机器创造出来),与此同时,人的直觉、对知识的综合升华能力, 或者叫创作能力, 依然是机器难以超越的。只要确定这一点,未来人类的核心价值便十分明了,那就是创造力。 这可以直接表现为技术的创新,也可以表现为对客户的感知力、商业的洞察力等。

近来我们身边出现了一些有趣的新现象:几乎所有的投资人都在抱怨——钱再多也找不到好项目;几乎所有的创业者都在抱怨——给再多的钱也找不到合适的人;几乎所有的大型互联网公司都在抱怨——给员工再多的钱也很难留住人。这一切的真正原因在于最有创造力的人往往是最不在乎钱的人,创造力成为最稀缺的资源,决定了人类社会将来的结构,是价值创造的源泉。只有把创造力提到这个高度,我们才能更深刻的理解正在发生的变化,才能对未来有更好的准备。人工智能 and 人类智能。

激发人的创造力 ==> 忘掉管理,拥抱赋能 ==> 是员工使用了组织的公共服务,而不是公司雇佣了员工,为员工提供各自独立时无法得到的资源和环境,独一无二的舞台正是公司的核心竞争力 ==> 中台:创新所依赖的可共享的各种资源和基础设施的协作平台 关于中台的思考和尝试

KPI实际上往往是被简化的一两个考核指标,也就是第二年的销售是多少,收入是多少等,但现在的业务太复杂,已经超过了直接靠直觉或数据判断的程度。以淘宝为例,小卖家是否有成长通道、企业的盈利能力、竞争环境等,KPI都没有办法考核。目标体系则是对整个生态都可以用数据化的方式衡量、监控,用几百上千个指标,基于数据智能的方式来动态模拟一个可能的健康生态。及时同步组织内外的数据和信息,让整个组织和创新的每个部分都能相互了解、共同配合,从而实现实时的全局调试和优化,确保组织创新向着正确的方向迭代和演进。

未来

在互联网+的语境下,把互联网视为工具和手段,用于提升原有体系中某些环节或局部的效率,目标指向是优化而非模式的重构。专注于提升企业原有的经营指标,使得互联网工具所发挥的作用有限。如果不能有机的与”供给侧“结合,通过连续性互动发现需求,以需求发现驱动设计、采购、生产的快速连锁反应,就无法实现极致的用户体验,就会在新型创业公司面前虚弱无力。

当人的重复性脑力劳动都在快速的被机器智能取代的时候,创造力便成为人类的基本贡献。相应的教育体系、社会分配体系、我们对自身以及所处社群的认知, 甚至我们对幸福和痛苦的理解,都将随之发生根本改变。

其它

书中对网红电商做了各种解释,我个人的感觉是 供应过剩 + 90后以来都是追求个性化的时代 ==> 想个性化又迷茫 ==> 即便有了搜索框,他们还是不知道自己想要什么