分布式系统中的几个理论

分布式系统中的几个理论
www.zeeklog.com  - 分布式系统中的几个理论
系统和架构做的越多,就越觉得架构是个取舍的艺术。没有所谓的银弹可以把很多问题一次性解决掉,也就不纠结让业务给你一个偏于理想的迭代节奏与业务保证业务怎样怎样。

前一段时间一个朋友说了去快手面试的经历,背景应该是让做一个秒杀场景的系统设计。

朋友当然说了类似于“没有明确场景的架构设计都是耍流氓”,朋友的回答围绕于流量漏斗、最终一致去回答,但面试官核心要求是100w tps打到了数据库上你怎么解?

这个事情就很难搞,首先100w tps怎么来的?既然这么多流量都是真实流量,有状态服务和存储服务不具备足够的容量可以支撑吗?肯定要加机器。具体怎么解决流量过滤和数据一致肯定需要看具体场景,比如不同领域下的服务对于数据一致性容忍程度是不一样的,背后肯定方案也不一样。脱离业务场景谈架构果然是耍流氓,最后这个面试是不欢而散。

做秒杀架构主要解决两件事情,一个是高流量,一个是数据一致性。这两个方向问题回答好了,理论上就没有问题了。我自己做面试官心里当然想候选人给我一个完备的方案,但是我也知道在有限的时间、有限的场景下,光靠嘴聊是很难聊得完备的,所以我一般观察两点。

一个是普世方的法论,就是有些事情是永远做不到完美的,也不要期望做到完美,但是你需要告诉我为什么做不到完美,他的本质是什么,怎么做到趋于完美。

第二个是看方案的完备性,什么意思呢?是希望候选人可以给出这个核心问题之外的一些考虑,我个人理解是一种扩展性的体现,提供软状态、最终一致性。

BA(基本可用):在分布式系统出现故障时,允许损失部分可用性,保障核心可用,比如电商双十一时,为满足商品购买链路的稳定性,可以降级掉用户修改地址这些功能。

S(软状态):允许系统之间出现中间状态,什么意思呢?不是简单的刚性成功 or 失败,而是在分布式系统下多副本中出现中间状态,这种中间状态是由于多个副本复制延迟导致的,比如mysql replication异步复制。

E(最终一致性):指的是系统中所有副本数据经过一定时间之后,可以达到最终一致的状态。

ACID原则:

概念包括: 原子性:每次操作是原子的,要么成功,要么失败; 一致性:是强一致性,没有中间状态; 隔离性:各个操作彼此隔离,互不影响; 持久性:数据状态一旦提交,是持久的,不会失效;

ACID一般用于关系数据库的事务定义,追求的是强一致性;BASE是在分布式系统下,牺牲掉对于一致性的约束,以最终一致性的方式提供一致性,换取性能和可用性;两种方案是完全相反的设计哲学,具体怎么用就需要看场景了。

所以架构是取舍的艺术,脱离场景谈架构都是耍流氓,先基于场景,画一个框,在框内找到一个确定性的问题,找到这个问题的本质,给出合适的解。

其他分布式原理,详见:

www.zeeklog.com  - 分布式系统中的几个理论

Read more

决策树算法介绍:原理与案例实现

决策树算法介绍:原理与案例实现

决策树算法介绍:原理与案例实现 决策树算法介绍:原理与案例实现 一、决策树算法概述 决策树是一种基本的分类与回归方法,它基于树形结构进行决策。决策树的每一个节点都表示一个对象属性的测试,每个分支代表该属性测试的一个输出,每个叶节点则代表一个类别或值。决策树学习通常包括三个步骤:特征选择、决策树的生成和决策树的剪枝。 二、决策树算法原理 1. 特征选择 特征选择是决策树学习的核心。它决定了在树的每个节点上选择哪个属性进行测试。常用的特征选择准则有信息增益、增益比和基尼不纯度。 * 信息增益:表示划分数据集前后信息的不确定性减少的程度。选择信息增益最大的属性作为当前节点的测试属性。 * 增益比:在信息增益的基础上考虑了属性的取值数量,避免了对取值数量较多的属性的偏好。 * 基尼不纯度:在CART(分类与回归树)算法中,使用基尼不纯度作为特征选择的准则。基尼不纯度越小,表示纯度越高。 2. 决策树的生成 根据选择的特征选择准则,从根节点开始,递归地为每个节点选择最优的划分属性,并根据该属性的不同取值建立子节点。直到满足停止条件(如所有样本属于同一类,

By Ne0inhk
他给女朋友做了个树莓派复古相机,算法代码可自己编写,成本不到700元

他给女朋友做了个树莓派复古相机,算法代码可自己编写,成本不到700元

手机拍照不够爽,带个单反又太重? 试试做个树莓派复古相机,还能自己编写处理算法的那种—— 成本不到700元。 没错,颜值很高,拍出来的照片也能打: 你也可以快速上手做一个。 如何制作一个树莓派复古相机 目前,这部相机的代码、硬件清单、STL文件(用于3D打印)和电路图都已经开源。 首先是硬件部分。 这部复古相机的硬件清单如下: 树莓派Zero W(搭配microSD卡)、树莓派高清镜头模组、16mm 1000万像素长焦镜头、2.2英寸TFT显示屏、TP4056微型USB电池充电器、MT3608、2000mAh锂电池、电源开关、快门键、杜邦线、3D打印相机外壳、黑色皮革贴片(选用) 至于3D打印的相机外壳,作者已经开源了所需的STL文件,可以直接上手打印。 材料齐全后,就可以迅速上手制作了~ 内部的电路图,是这个样子的: 具体引脚如下: 搭建好后,整体电路长这样: 再加上3D外壳(喷了银色的漆)和镜头,一部简易的树莓派复古相机就做好了。 至于软件部分,

By Ne0inhk
🚀Zeek.ai一款基于 Electron 和 Vite 打造的跨平台(支持 Windows、macOS 和 Linux) AI 浏览器

🚀Zeek.ai一款基于 Electron 和 Vite 打造的跨平台(支持 Windows、macOS 和 Linux) AI 浏览器

是一款基于 Electron 和 Vite 打造的跨平台(支持 Windows、macOS 和 Linux) AI 浏览器。 集成了 SearXNG AI 搜索、开发工具集合、 市面上最流行的 AI 工具门户,以及代码编写和桌面快捷工具等功能, 通过模块化的 Monorepo 架构,提供轻量级、可扩展且高效的桌面体验, 助力 AI 驱动的日常工作流程。

By Ne0inhk