About neohope

一直在努力,还没想过要放弃...

快速成长的必备软技能07:多维能力

快速成长的必备软技能07————多维

如果问一位开发人员,你5年后、10年后想做什么呢?
我听到最多的答案:架构师、资深开发

嗯,这是个不错的想法。
但大家有没有想过,100位开发,最终能产生多少专职架构师呢?
又有没有想过,在国内,有多少开发人员,可以一直靠写代码吃饭到50甚至60呢?
乐观一些,百不存一

确实很残酷,很少有技术人员,能单纯靠写代码,可以获得一个长期的好的发展,至少当前国内很难

那大家是如何做的呢?
答案是:多维度发展

以开发人员为例,可以走“编程+X”的路线
编程+业务
编程+管理
编程+产品
编程+测试
编程+安全
编程+运维
编程+项管
编程+XXX
当这些能力组合起来,就会发现,可以步入一个或多个新的领域

如果再扩展维度呢
编程+业务+管理
编程+业务+产品
编程+安全+测试
又会组合出很多新的领域

这样,根据自己的实际情况,有计划的增加新的维度,加强优势维度,一个人未来的职业路线就越来越宽了

快速成长的必备软技能06:算算投产

快速成长的必备软技能06————算账

在职场上,很多时候,大家都在算账,但名称各异:有时叫个人成长、有时叫团队贡献、有时叫项目投产、有时叫产品毛利

很多人都有日常记账的习惯,甚至会记录到每顿饭花了多少钱。

但很多人并不会为自己的职业生涯记账,当然这个记账指的并非是你今年赚了多少钱。

我有一个习惯,就是每个季度,都会算一次账:
1、我成长了吗?哪些地方进步了,哪些地方要改进
2、我为公司和团队创造了什么价值,有没有把成本赚回来
3、我管理的部门和团队,创造了什么价值,有没有把成本赚回来
4、我所在的BU,有没有赚钱
5、我所在的公司/集团,有没有赚钱
6、那为了增加自己、团队、项目、部门、BU、公司的收益,下一个季度要如何调整呢

有空算算帐,会帮你做很多决策

从学校进入职场,有一个明显的变化。
学校中有考试,可以用量化的方法,让大家定期清楚自己的学习情况,搞清楚自己的不足
但进入职场之后,其实并没有此类的方法,我们应该通过算账,定期检视一下自己的情况,适时的做出调整

快速成长的必备软技能05:换位思考

快速成长的必备软技能05————换位

我们经常听说,换位思考是一种必要的能力,这件事情说难很难,说容易也很容易。

说这个难,是因为大家一开始尝试换位的时候,经常会变成“如果我是XX,在这个情况下,会做什么”,类似情况包括:
假设我是张三,站在我的立场,知道我的想法,我会怎么想
假设我是张三,站在张三的立场,知道我的想法,我会怎么想
假设我是张三,站在张三的立场,知道我的想法,张三会怎么想

当初步学会这个技能之后,一般能做到
假设我是张三,站在张三的立场,知道我的部分想法(张三知道以及能明确推断出的想法),张三会怎么想

为何要如此呢?
因为不同的人,在相同的事件背景下,面临相同的选项,会做出不同的选择
还有很多时候
不同的人,在相同的事件背景下,面临的选项都是不同的

在换位之后,就可以开始找出大家之间合作的关键点,做好冲突预案,把控事件走向,取得想要的结果

快速成长的必备软技能04:情报获取

快速成长的必备软技能04————兼听

兼听和我们之前说到的“偷师”有些类似,但兼听重在获取信息:
1、政策信息
2、行业信息
3、公司信息
4、部门信息
等等等等

另一方面,兼听要求大家具备整合这些能力的信息
把信息按要求汇总=》对信息分类整理=》得到对自己有用的答案

其实大家可以考虑这样一个场景:
场景一:大学报志愿
大多数的高中生报志愿的时候,是不知道一个专业要做什么的
但有少部分的高中生,对自己感兴趣的专业却很清楚,甚至提前学习了部分专业课

场景二:留学
有些同学一直到大四,都不知道留学意味着什么,不知道什么流程,不知道该去哪里,不知道如何申请学校
而有些同学,对这些事情十分清楚,可以知道留学能给自己带来什么,很清楚自己要选哪个学校

场景三:工作
有些同学,研究生毕业,都不知道自己专业,有哪些顶级公司,一脸茫然
有些同学,大一大二,就已经通过师哥师姐,到业内顶级公司实习,毕业时去向明确

嗯,长此以往,谁更能把握机会,两类人之间,会有差距吗?

快速成长的必备软技能03:情景预演

快速成长的必备软技能03————预演

说完复盘,就要说到另外一个技能,预演

复盘是在一个事情完成后,总结提升

预演则想法,是预计某个事情在未来发生,要在心理上、知识上、逻辑上做好应对

很多成功人士,都有预演的习惯

对于普通人,也是如此。尤其是重大事项,会思前想后,考虑各种可能。

但职业人士会有不同,他们会把预演训练成一种习惯。

对任何事情,都会不由的把几种可能都思考一下,然后想想如何应对

于是,我们在职场上,总会遇到这样的人:
任何问题,都能快速应对,就像他都提前考虑过一样

并不是这些人智商比别人高多少,而是他们把很多情况,都提前考虑过了,遇到时自然会有应对

这个技能,在一开始的时候,会很艰难,就像准备一场激烈的辩论赛

但养成习惯后,就会成为一种被动技能,不会有什么明显消耗

快速成长的必备软技能02:好好复盘

快速成长的必备软技能02————复盘

在我们的职业生涯中,有一个特别重要,但又特别不被重视的技能:复盘

其实大家上中小学的时候,很多人都会又一个错题本,时不时拿出来看看,这就是最简单的复盘

但工作之后,很多人反而不喜欢总结和复盘,让同样的错误发生了一次又一次,付出了各种各样的代价

其实复盘只是一种习惯,养成这个习惯后,并不需要付出太多额外精力

我有一位朋友,他就习惯于每天晚上洗澡时,把一天经历的事情快速过一遍,总结经验教训,最后个人提升很快

对个人来说复盘很重要,对组织来说更是如此

一个项目,无论好坏,最好都能定期复盘一下,好的经验可以推广,坏的教训需要防止再次发生。

这样把一个项目的经验,变成整个组织的经验,组织也就成长起来了。

快速成长的必备软技能01:职场偷师

快速成长的必备软技能01————偷师
【最近偶然翻到了多年前做的一些笔记,稍微整理一下,做个小专题,希望对大家有所帮助】

在职场中,我们经常能观察到一个奇怪的现象。
两位岗位相同、职级相同、绩效差不多、在公司年资相同的同事,入职一段时间后,会走向两个极端:
一个极端是,除了自己做的事情,什么都不清楚,我们叫他“常专注”
一个极端是,除了自己做的事情,同组人做什么都很清楚,部门工作重点也很明白,甚至其他部门在推进什么也有了解,我们叫他“包打听”
其他人,多在这两个极端中间,而技术背景出身的人,多数都更像“常专注”

这两类人,都很努力的话,在自己岗位职责内,绩效会差不多。
但如果让他们去负责新的项目、调整去新的领域、去做一件没做个的事情,两个人对新环境的适应能力会千差万别。

每当遇到“常专注”这类人,安排一些新工作,他往往两眼一黑,这个我找谁,流程是啥,咋开始,我没做过不会啊。
总会记起一个故事:
钱师傅是远近闻名的大厨,小张和小王去拜师学艺。
由于是新学徒,在后厨,两人做的都是洗菜、切菜、打扫卫生等体力活。
一年后的某天,特别忙。钱师傅让年纪稍长的小张做几个菜,给酒楼的伙计们做晚饭。

小张一脸懵逼,我只是洗菜切菜,如何做菜师傅您没教过啊。
钱师傅说,这一年,你没注意看各位大厨是如何做菜的吗?你这学艺,成了做苦工,白白荒废了一年时间

小王不同,做完了日常的工作,就去观察别人怎么做菜,甚至还偷偷练过。
钱师傅于是让小王给大家做晚饭。
小王上手,就做了一桌菜,师傅让大家来点评,各位大厨也给出了中肯的建议。
最终结局,比较俗套啦,小王得到了大家的认可,传承了钱师傅的衣钵。继承了酒楼。

大模型公司的技术能力分级

1、研发大模型算法,要有强大的科研团队
比如Transformer、StableDiffusion

2、在上述理论上,改进并模型结构,并提供预训练模型,要有海量算力和海量优质数据
比如ChatGPT、Llamma、千问、Kimi,也包括一些采用“知识蒸馏”技术的公司

3、自有大模型,简单问题自有模型解决,复杂问题集成外部模型功能
比如苹果

4、在预训练大模型上进行调优,并辅助RAG技术,要有算力和大量行业优质数据
比如保险行业大模型、健康行业大模型,华为盘古大模型做的就是这个生意

5、直接使用多个外部大模型,进行能力整合
比如Perplexity

6、直接使用预训练大模型,并进行RAG调优,需要有行业数据积累
各类行业垂直“大模型”

7、直接使用外部大模型,优化提示词,声称自己有大模型能力
比如各类套壳公司

8、直接使用国外大模型,进行转发
比如各类转发网站

9、根本没用大模型技术,直接包装原有功能,四处忽悠
比如各类噱头公司

PS:
其实还有几类公司,类似于美国淘金时代,卖铲子、卖水、卖牛仔裤的公司:
1、提供硬件的公司,尤其是GPU制造厂商
2、提供GPU算力的公司
3、主要从事大模型培训,不管上面几类公司是否赚钱了,这些培训公司可真赚钱了

分布式一致性算法10:区块链共识算法

一、概述
将区块链的共识算法放到这里,其实只是做个简单的补充。
想了解更多内容,可以参考:
区块链资料汇总
区块链白皮书

二、常见区块链共识机制说明
1、PoW: Proof of Work,工作量证明
工作量证明中,所有参与的节点一起计算区块的Hash值,通过调整区块的一个随机数nonce,得到不同的Hash值。
最终第一个计算出前N位为0的Hash值,获得记账资格,并获取区块的奖励。
其余节点可以快速验证Hash结果,从而快速达成一致(算出这个Hash工作量很大,验证工作量很小)。
此类区块链,采用长链高于短链的原则,也就是如果产生了分区,短链必须遵从于长链的结果,达到最终一致性。

如果要攻破PoW,需要在该网络中,破坏者算力超过全网络算力一半,才有可能破坏最终一致性。

但PoW计算量太大,能耗太高,而且达成一致性的速度太慢,吞吐量就很难提高。

2、PoS: Proof of Stack,权益证明
权益证明网络中,所有参与节点都知道彼此节点的权益(比如,每个Token*该Token持有时间,然后求和)
在达成一致性的时候,权益越大(Token越多,持有时间越久)的节点,越容易被选择为记账节点

如果要攻破PoS,就需要较长时间持有大量的Token,增加了攻击者的攻击成本。

但PoS会导致,强者恒强,造成垄断。与区块链区中心化的目标,背道而驰。

3、DPoS: Delegated Proof of Stake,委托式权益证明
在委托式权益证明网络中,每个节点都知道彼此节点的权益(比如,持有的Token数)
想参与记账的节点,被叫做受托节点,受托节点会进行竞选,要求普通节点投票给他
普通节点不参与记账,而是根据自己的利益,投票给自己选中的受托节点,节点权益越高,投票权重越高
最终,获得最多投票的受托节点进行记账

三、部分区块链项目的共识机制

项目名称 链类型 匿名性 共识机制 合约语言
Bitcoin 公链 匿名 PoW 只是使用合约实现了业务逻辑
Ethereum 公链/联盟链 匿名或私有 22年后为PoS Solidity/Serpent/LLL
EOS 公链 匿名 BFT-DPOS CPP/Web Assembly
Fabric 联盟链 共有或认证 PBFT(classic, batch, sieve) Chaincode

分布式一致性算法09:2PC3PC

一、两阶段提交2PC(Two-Phase Commit)
1、概述
顾名思义,两阶段提交,就是分布式数据库系统,把事务的提交过程,分为两个阶段进行操作,从而保持数据的一致性。

2、流程
a、准备阶段(Prepare Phase)
协调者(Coordinator)收到事务请求。
协调者向所有参与者(Participants)发送准备事务提交的请求。
参与者收到准备请求后,会检查本地事务的状态,判断能否完成此事务请求,并将检查结果反馈给协调者。
如果可以完成请求,参与者需要确保所有操作都已完成,事务处于可以提交、可以回滚的状态。

b、提交阶段(Commit Phase):
协调者根据所有参与者的反馈结果,决定是否提交事务。
如果任何一个参与者不同意提交,则协调者向所有参与者发送回滚请求,全部参与者进行事务回滚,事务失败。
如果所有参与者都同意提交,则协调者向所有参与者发送提交请求,全部参与者进行事务提交,事务成功。

3、示例
假设我们有一个分布式数据库系统,包含两个数据库实例A和B,以及一个协调者C。

a、准备阶段:
客户端向协调者C发送事务请求。
协调者C向数据库A和B发送准备提交的请求。
数据库A和B检查本地事务状态,判断事务可以提交,确认所有操作已完成,并将结果反馈给协调者C。

b、提交阶段:
数据库A和B都反馈可以提交,协调者C向数据库A和B发送提交请求。
数据库A和B执行提交操作,更新数据并持久化。

二、三阶段提交3PC(Three-Phase Commit)
1、概述
顾名思义,三阶段提交就是分布式数据库系统,把事务的提交过程,分为三个阶段进行操作,可以解决两阶段提交协议2PC的阻塞问题。

2、流程
a、CanCommit阶段
协调者(Coordinator)收到事务请求。
协调者向所有参与者发送一个“CanCommit”请求。
参与者收到请求后,会根据本地状态,判断是否可以完成此事务,并将判断结果反馈给协调者。
如果参与者判断可以支持事务,则返回“就绪”(Ready);否则,则返回“中止”(Abort)。

b、PreCommit阶段
协调者收到所有参与者的确认消息后。
如果所有参与者都返回“就绪”(Ready),则协调者会向所有参与者发送“PreCommit”请求。
参与者收到请求后,会锁定其资源以防止其他事务干扰,需要确保所有操作都已完成,事务处于可以提交、可以回滚的状态,并返回确认消息给协调者。

如果任何一个参与者不同意提交,则协调者向所有参与者发送取消请求,事务失败。

c、DoCommit阶段
协调者收到所有参与者的确认消息后,如果所有参与者都表示准备好提交事务,则协调者会向所有参与者发送“DoCommit”请求。
参与者收到请求后,会真正提交事务,并返回确认消息给协调者。
协调者收到所有参与者的确认消息后,事务成功。

如果任何一个参与者不同意提交,则协调者向所有参与者发送回滚请求,全部参与者进行事务回滚,事务失败。

3、示例
假设我们有一个分布式数据库系统,包含两个数据库实例A和B,以及一个协调者C。

a、CanCommit阶段
协调者C收到事务请求。
协调者C向所有参与者发送一个“CanCommit”请求。
A判断可以支持事务,返回“就绪”(Ready)。
B判断可以支持事务,返回“就绪”(Ready)。

b、PreCommit阶段
参与者A和B都向协调者C反馈“就绪”,协调者C判断可以进行下一阶段。
C向A和B发送“PreCommit”请求。
A和B收到消息后,锁定资源,让事务处于可以提交、可以回滚的状态,并返回确认消息给协调者。

c、DoCommit阶段
协调者C收到所有参与者的确认消息。
C向参与者A和B发送“DoCommit”请求。
参与者A,提交事务,向C返回提交成功。
参与者B,提交事务,向C返回提交成功。
C收到所有参与者的提交成功消息后,事务完成。

三、事务补偿TCC(Try Confirm Cancel)
1、概述
在高并发场景下,2PC和3PC的效率根本无法满足要求,于是大家就考虑如何在应用层进行优化,而不要把压力都给到数据库呢,于是TCC应运而生。
TCC可以跨数据库类型、跨系统类型操作,而且灵活性强,效率高。
但TCC需要大量业务代码的改造,各服务需要实现Try、Confirm和Cancel接口,而且要求接口必须支持幂等操作,是一种入侵性比较强的一致性实现方式。

2、流程
TCC通常会将一个大的事务,拆分为多个子事务,并将事务的提交拆分为三个阶段:Try、Confirm 和 Cancel。
这里要注意,对于非严格一致的场景,可以通过MQ等方法异步解决问题,不要加入TCC。TCC应该只涉及到强一致性的各个服务。

a、Try阶段
在Try阶段,系统会进行业务检查,并预留资源。
比如:检查用户余额、检查库存,并暂时冻结资源。

b、Confirm阶段
确认所有业务服务的操作。
比如:扣余额,扣库存。

c、Cancel阶段
如果在Try或Confirm阶段有任何问题导致事务需要回滚,系统会执行Cancel阶段,释放之前预留的所有资源。
比如:释放余额、释放库存等。

3、示例
有一个电商平台,用户想要购买一个商品,这笔交易涉及到以下几个子业务:
用户账户扣款:需要确保账户余额足够,并能正确扣款。
库存服务扣减库存:确保商品库存足够,并能正确扣库存。
订单服务创建订单:记录交易的详细信息,并能设置为正确的状态。

a、Try阶段
客户下单,事务协调器(Transaction Coordinator)指示每个服务进行Try操作:
账户服务尝试扣款,但只是冻结资金,不会实际扣除。
库存服务标记商品库存为预留状态,不会实际减少库存。
订单服务准备创建订单,但不会实际创建。

b、Confirm阶段
如果事务协调器(Transaction Coordinator)收到所有Try操作都成功的消息,确认它们的操作:
账户服务将冻结的资金实际扣减。
库存服务将预留的库存实际扣减。
订单服务实际创建订单,并标记为已完成支付。
事务协调器(Transaction Coordinator)收到全部操作成功消息,此时可判断事务成功。

c、Cancel阶段
如果Try或Confirm的任意操作失败,事务协调器将指示每个服务撤销它们的操作:
账户服务将冻结的资金解冻。
库存服务将预留的库存重新释放。
订单服务放弃创建订单。
事务协调器(Transaction Coordinator)同时会判断,事务失败,并监督完成全部业务补偿操作。