C++ & Linux后端开发进阶之:C++的开源项目
作者:互联网
在前文 C++ & Linux后端进BAT的学习路线 中,讲述了C++后端的学习路线。进一步,本文讲解两个问题:
- 怎么阅读学习C++源码
- 学习哪些C++项目
怎么学习
在介绍具体的C++项目之前,先介绍我自己学习开源项目、阅读源码的方式:
- 首先!!!要学会使用这个项目。以STL为例,应该极少有人学习STL是直接从阅读STL源码开始的,基本都是从学习
std::vector
、std::list
等容器的使用方式开始。当你能熟练使用了,才有会更好的基础来对内部实现一探究竟。 - 再看看有没有相关书籍、博客介绍源码的,如果有则可以参考。一般比较好的项目都会有相应的博客、书籍。
- 掌握
gdb
,能对源码更深层次的学习,让gdb来帮助你学习。当然,你也选择个人喜好的其他工具。
项目
下面介绍的项目前后紧密联系,不断进阶,对自身能力的提升也呈螺旋式上升。
Nanolog
日志功能,是稍微大点型项目的必备功能,自然也是后端项目的必备。
GitHub
上有个纳秒级低延迟项目:Nanolog
。不过这项目有两个版本,原版本是基于C++17实现的Nanolog-17,还有个C++11的实现的Nanolog-11。他们是基于std::atomic
实现的高性能多线程无锁日志。仔细研究一番,值得写入简历。
by the way
看一项目,不能就光看懂完事,要对他的一些指标进行考核,比如Nanolog中有benchmark
,进行性能测试。对一个项目你需要了解的层次:
- 内部实现原理:怎么实现无锁多线程,怎么保证数据同步之类。
- 性能:这个很重要,面试的过程中,涉及到项目几乎都会问。
你还需要知道你在复写这个项目时,遇到了哪些问题。毕竟看懂不代表是你的,只有你真的能写出来,调试过其中的问题,才能理解的更加深刻。
libuv
libevent
或者libuv
,非常好的事件库,代码量相对较少:
- 二者整体设计上也是符合《Linux高性能服务器编程》书中设计
libuv
对于慢速任务有独特的处理,能增加你对多线程编程的理解:多线程对IO密集型任务有效,但是对资源密集型,增加线程数是无效的,可以看看libuv是怎么处理的。- 此外,
libevent
的C++版本就是muduo
我个人阅读的是muduo
和libuv
。此外,muduo
作者陈硕还有一本书籍《Linux多线程服务端》讲解了设计一个多线程服务器的要点。
by the way
libuv
/muduo
这类项目,一开始阅读的时候,最大困难在于理解回调函数机制。他们的处理流程大致如下:
- 先注册可读、可写事件;
- 再等待可读、可写事件触发;
- 触发后,在回调函数中处理相应的读写事件。
有的回调函数链可能会很长,难以理解,这个时候就需要gdb帮你理清这个链路。因此,在学习开源库之前,建议先学习下gdb调试。有时间,我也还准备写个使用gdb阅读开源项目的文档,或者录制个视频。
如果libuv
熟悉了,可以基于libuv
写个webserver
也不错。记住:
- 要记录过程中遇到的问题;
- 写完做个压力测试。
推荐项目:
uv-cpp: https://github.com/wlgq2/uv-cpp
RPC
RPC(Remote Procedure Call),即远程过程调用。可以通俗地理解为服务器为客户端提供服务。比如Redis,由客户端向Redis服务器发起请求,server在接受到请求后进行处理,最后把结果返回给客户端。
RPC框架的源码一般比较多,比如gRPC、bRPC等,但是一开始学习RPC会找不到重点,gRPC、bRPC代码量也会很大。在校招时间允许的范围内,先选择一个熟练使用。
有个更加简单的RPC项目libjson-rpc
,可以帮助你理解RPC:
- libjson-rpc
- 底层负责网络通信的网络库设计,比如上面的libuv、muduo等
- 传输协议的前后的序列化方式
- 服务器怎么处理数据,怎么确定一个请求执行什么操作
- json-tutorials 教程详细讲述了怎么设计一个json解析器、生成器,不过是C语言版本。对应的C++是 rapidJson,作者是同一个人。
推荐项目:
https://github.com/szza/jrpc
这个项目两个好处:
- 传承至
libjson-rpc
和muduo
,如果遵循上面的建议,那么jrpc
会非常好懂。 - 底层的网络通信基于c++11设计,更加方便理解。
- 中间的Json设计,基于json-tutorials 改进,也是
rapidJson
的简化 - 里面还有文档专门描述了这个RPC的过程。
你甚至可以将Nanolog
融入到这个项目中,实现日志功能。因此,这个项目不仅能让你理解RPC,还能把之前学的项目串联起来,融为一体,颇为丰富。
protobuf
如果时间有余,可以看看protobuf
使用。
coroutine
libuv、muduo、redis等都是基于事件驱动的回调函数机制,你学完也肯会觉得回调函数这种机制链比较复杂。在golang中有了coroutine(协程)后,C++中也开始有了coroutine库,使用同步思想完成异步任务。经历过前面的项目,会更加深刻的感受到 coroutine 的便利。
此时,如果还有余力,可以看看怎么实现一个协程库。刚开始可以从云风的coroutine项目开始,他用的是Linux下封装的ucontext
函数簇,实现了一个共享栈协程模型,学完要知道:
- 协程怎么切换的
- 协程之间怎么调度的
如果上面都完成了,有能力可以去看看bRPC的怎么实现的bthread,bthread是一个多线程多协程模型,相对复杂,bRPC就是基于bthread
建立起来的。在bRPC有详细的官网文档可以参考,可以看看里面的设计思想。
by the way
最后建议一点,在有限的时间内,没有必要去实现 STL
这类项目,因为STL的各个数据结构原理本身不难,但是如果你尝试去实现他却很难,因为STL里涉及到大量的元编程,元编程属于黑魔法,用人脑完成编译器的任务,除了在学习的时候会用到,估计这辈子在公司里都用不到。
有这个时间,不如去看看facebook的C++库folly。
上面一个流程,是比较完整的C++后端进阶流程,也是自己之前学习的方法。
感谢你的观看,你的点赞、关注与分享就是对我最大的支持。
标签:进阶,项目,C++,学习,RPC,Linux,多线程,libuv 来源: https://blog.csdn.net/ZZS_SZZ/article/details/114188699