计算机编程领域的知识

前言

为什么突然想写这个话题呢？ 最近有不少新关注的读者，在后台问：大学学 Java 和 C++ 哪个好找工作，学前端好还是后端好，该学 Vue 还是 React。。。 仿佛看到了自己当年的模样，所以觉得有必要单独写一篇文章，单纯以一个计算机应届毕业生的身份聊聊，我认为大学四年，计算机科班学生应该学些什么，哪些才是重点。 同样大学四年，为什么有些同学毕业就能成为大厂 Offer 收割机，各种 SP、SSP 拿到手软，有的同学明明在学校写了好多网站，项目经历满满，经历春秋招，却找到一份工作都很难。不能说后者没认真学习，或许是用力的方向不对。话不多说，直接进正题吧。

正文

人类的知识边界一直在不断的扩张，俗话说学无止境，这放在计算机领域也同样适用，计算机本身是一个人造科学，不属于自然科学。 每年，甚至每个月都不断有新的编程框架推出，学到头秃你也学不完，也没有必要去挨个学。 并且你会发现，很多一二线大厂内部用的东西基本都是自己搞一套的，比如服务发现、RPC、KV、DB、消息队列、日志、监控等等。 所以一般这些大厂招聘的时候基本不会因没学过某种框架而挂你，反正很多东西都是要进来重新学的。 他们会更加关注你的基础知识、解决问题的经验以及聪明度这种更加通用的能力上。 反而是一些小公司，可能会要求你必须会 Spring、Vue、Redis... 这些框架或者组件。

腾讯JD

阿里JD

某家外包JD 上面分别是腾讯、阿里、某外包公司的招聘 JD（job description），显然，腾讯阿里看中的是扎实的编程基本功和快速学习能力，这意味着有培养潜力。 而外包公司就要求你会 xx 数据库、Spring 之类。不去评价哪个好，但是如果你想去 BAT，那是不是至少对照着它们的 JD 来提高自己的能力，不失为一种捷径。 在这里，我粗浅的把计算机编程领域的知识分为三个部分：

基础知识

特定领域知识

框架和开发技能

基础知识是指不管从事任何方向的软件工程师都应该掌握的，比如数据结构、算法、操作系统。 特定领域知识就是你从事某个细分方向时需要掌握的知识，比如做游戏引擎的需要掌握图形学；做前端的需要掌握浏览器渲染原理、前端三大件；算法工程师需要更多的数学知识。 毕竟计算机各种门类挺多的，需要选个细分方向专研下去，什么都学只会什么都不精（大佬除外啦。

一、基础知识

现在大环境比较浮躁，很少有人愿意花心思在基础上，喜欢直接学 Python 搞机器学习、写秒杀、做商城。 找工作的时候都是想看面经、总结速成。 但是作为优秀的计算机系学生的你怎么能流于各种编程框架（造框架除外），纠结学 SpringBoot 还是 SSH 呢？ 把时间花在算法、基础学科上他不香吗？功利一点讲，回报反而会更大。 况且在计算机领域，很多基础的理论并不十分高深，我们努努力就可以掌握其中的核心知识。

1.1 数学

首先说明，这里把数学列出来不是为了显得高端，而是自己吃过数学的亏。 如果你是自学转行当程序员，我当然不会推荐数学，因为转行的大概率是去学 Java、前端这类，对数学基本没啥要求。 但是这篇文章主要面向的是还在大学的科班学生，这部分同学以后也许会去做算法（CV、NLP之类）、游戏引擎、信息安全编码等 这些方向对数学要求就会偏高，在计算机领域，线代、概率论、统计学这些数学分支相对比较重要，计算机本质上还是离散的。 比如在机器学习或数据挖掘中常常用线性代数来降低数据维度，很多问题最终都能化为求解线性方程组。 所以为了避免以后想走这些方向却被数学卡住，在大一、大二上数学课的时候就好好的学一下。 书到用时方恨少，不要现在以为没用处就不好好学，等你需要的时候，就知道后悔了。（默默流下了不学无术的眼泪┭┮﹏┭┮ 什么？你说以后肯定做开发方向？ 那的确可以把数学优先级放后面一点，用得确实不多，不过上数学课的时候总该认真听下吧，拿个高绩点也是百利无一害嘛。说不准哪天你又想加入算法内卷大军呢？

1.2 C语言

你也许会很疑惑，这里明明说基础知识，为什么要把一门编程语言单独列出来呢？ 因为在我看来，没有比 C 语言更适合用来理解计算机系统了。 我们后面将会提到的操作系统、体系结构 这些东西非常适合用 C 语言去理解或者去实践。 并且 C 语言本身的语言特性非常少，但是想学好又是不容易，很多人都觉得 C 语言难，难在哪里呢？回想了一下我大一时的感受：

简陋的标准库，几乎没有可用的数据结构和算法，什么都得自己来

指针很难理解和使用

需要了解汇编、链接、装载、内存等才能把 C 语言用好

不巧的是，这些东西正是计算机系统知识的一部分，所以用 C 语言作为学习计算机系统知识是最有效率的方式。 真的很难想象用 Java 或是 Python 去给别人讲解内存，因为这些语言抽象程度都比 C 语言高，意味着离计算机系统也就越远。 在 TIOBE 编程语言排行榜上，C语言几乎永远占据前三位，其地位自然毋庸置疑。

TIOBE-2020排行榜 而且几乎你开发中用到的很多东西都是用C语言编写的，Linux、Nginx、Redis、MySQL、Git......或许你会想要探究下原理，阅读点这些开源软件的源码，那么 C 语言也是你必备的瑞士军刀。 深入学习 C 语言，能够了解计算机底层的执行原理，是理解程序运行机制的绝佳语言，无出其右。 在这里，不得不引用对C语言最经典的总结：

任何比C语言更低级的语言，都不足以完整地抽象一个计算机系统；任何比C高级的语言，都可以用C来实现。

这真是极高而中肯的评价！ 所以对于计算机科班来说，不管你是做前端还是后端，算法还是开发，C 语言都建议你好好学习。这是无关方向的一门语言，就是基础！

1.3 操作系统

我们编程的 IDE、写出来的程序全部都需要运行在操作系统上，说操作系统是计算机软件的基石也不为过。 程序运行起来就需要创建进程，这涉及到操作系统的进程管理；写程序需要定义变量、存储数据吧，这又涉及到内存，对应内存管理；有时候我们还需要读写文件，这又离不开和文件系统打交道；你需要学习使用锁、条件变量、临界区来保证程序并发执行时不会错乱。 而读写文件、分配内存这些又离不开系统调用（System call）。 并且当你真正做起工程就会发现，很多问题是和操作系统紧密相关的，不理解操作系统，你连问题的原因都分析不出来。 比如前段时间我们出现的在基于协程(libco)的框架下，使用多线程的锁去做同步互斥偶发死锁，后来分析才发现原因： 由于协程是应用层实现的，一个线程内多个协程对于操作系统是感知不到的:

协程模型 那么当一个协称 A 上锁后发起网络 IO 请求，这个时候会被切换到另外一个协程B，而协程 B 又去请求这个锁。 那么这个时候操作系统会认为这个锁已经被上了，因此会将协程 B 对应的线程挂起到等待队列，这样的话就导致协程 A 永远无法运行，也就无法释放锁，导致死锁。 解决的方法也很简单，就是将锁设置为可重入锁，可重入意味着同一个线程多次去请求同一个锁不会导致挂起。这样当协程 B 再去请求锁的时候，操作系统就会认为协程 B 所在的线程已经持有这个锁了，直接返回，继续执行。 总之，我们写程序每时每刻都在和操作系统交互，没有理由不学好。

1.4 编译原理

编译原理可能是我们平时接触得最少的了，大家也许会觉得自己又不用去造新的编程语言，学编译原理干啥。 学好编译原理有啥用？ 你会站在更高的角度去审视这些编程语言，看到的不再是表面的语法，更会想到语法背后的实现。 这种感觉很透彻，就像搞懂了操作系统、体系结构你会明白一个程序从双击鼠标开始，到底是如何被运行起来的，这种掌握一切细节，透彻的感觉，真的很奇妙，不信你去试试。 说人话！ 那学了编译原理你能干啥？ 当你学完有限状态机以后，你会发现以前觉得很牛逼正则表达式似乎自己也能用 DFA、NFA 实现一下了。状态机的思想在编程中很多地方都用得上。 比如解析 HTTP 协议，如果没学过状态机思想，你可能会一行行的 if/else 去做解析，这里最麻烦的地方在于，if/else 需要提前将 HTTP 头部字段都接收到再来判断，而我们知道 HTTP 基于 TCP，而 TCP 是流式传输，所以你很有可能是几个字符一组组接收到的，这个时候用 if/else 写出来就很难看了。 而用状态机编写起来代码就会非常优雅。状态的转移是由规则驱动的，接收到一个字符就判断一个，非常的方便。 继续学完语法分析，你会掌握递归下降分析这样非常重要的思想，你可以使用递归下降快速的实现四则运算计算器。 如果不用递归下降你可能需要先中缀表达式转后缀，然后求值，这是我们大一数据结构课写的，当时用栈写的，有点麻烦。后来学完编译原理，又用递归下降重写了一遍，区区几十行代码遍搞定。 还有一类场景在实际开发中的用的很多，比如淘宝、京东这样的电商，它们的营销规则有很多，比如满减、直减、跨店等等，这样的规则是不可能写死在代码里的。 那是怎么做的呢？ 一般会实现一个配置系统，并设计一个DSL（领域特定语言）来表达这些规则，将规则直接配置到系统中，这样可以非常方便的修改，那么如何在代码里去解析 DSL 定义的规则呢？这就需要为 DSL 写一个语法解析器，这里就会用到语法分析的方法。 DSL（Domain Specific Language），是一种用于某个特定领域的程序设计语言。这种特定于某个领域是相对于 C、C++、Python 这种通用语言而言的，通用语言可以在各个领域使用，我们熟悉的大多数程序设计语言都是通用语言，它们都是图灵完备的。 像我们平常经常使用的 JSON、SQL、HTML 这些都算是一种 DSL，你甚至可以尝试用递归下降去写一个 JSON、XML 解析器，这比写电商网站更有价值的。 继续往下学你会了解到抽象语法树 AST 如何生成、如何转化为中间代码、如何对中间代码优化、最终又是怎么生成机器指令的。 你会看到贪心算法在寄存器分配中的应用，也会看到图论中的可达性分析又是如何实现死代码消除。 IDE上面那个绿色的编译按钮对你不再是黑魔法。 为啥点一下就能生成可执行的程序？ 你写的英文字母又是如何变成一个个二进制指令的？ 学完编译原理，这些通通不是问题，妈妈再也不用担心你的学习~ 当然完成一个像 GCC、Clang 这样的编译器难度太高太高，我们学习编译原理的目的也不是去造这样的轮子，而是为了更好的理解和运用编程语言。

1.5 体系结构&组成原理

上面说的都是软件层面，体系结构则是关于计算机是如何工作的，你会了解到典型的存储程序计算机是怎样运转的。 记得南大有个老师说过 “我们不是学习使用计算机的，而是学习如何造计算机”，虽然造计算机有点夸张，但是至少我们得了解下计算机的实现原理，了解下代码是怎么被 CPU 执行的吧？不然其实你会很困惑，明明一堆英文字母，怎么在 CPU 这种电路上跑起来的，我大一学 C 语言就百思不得其解，直到后来学了组成原理和数字逻辑。 我们说计算机中一切都是 0、1，0、1 又是通过高低电平来表达的，通过与、或、非等逻辑门电路来表达二进制的数值运算，再将这些简单的电路集成在一起，就形成了 ALU 等具有运算能力的处理器。 你会看到一条指令是如何被CPU执行的，CPU 从内存或 Cache 中取出指令，放入指令寄存器，并对指令译码。译码就是按照指令的编码规则，将指令拆分成一系列的微操作和操作数。然后发出各种设备控制指令，执行微操作。这样就完成一条指令的执行。 我们说学完编译原理，能够明白写的英文代码是如何被变成二进制指令的，学完操作系统能搞懂二进制程序是如何被链接在一起，又是如何被操作系统加载、执行的。而组成原理则会告诉你二进制指令是如何控制 CPU 跑起来的，我们的操作系统本质上也是一个二进制的程序。 当你理解了计算机存储层次结构，理解了多级 Cache，你就会通过优化数据访问方式来编写出速度更快的程序。 你会学到底层体系结构对 C 这些语言的栈帧和参数传递的支持，参数是如何被传递给另外一个函数的？函数的返回值又是如何拿到。 这是学习组成原理对于写代码的意义。 学这些到底有什么意义？ 你会完整的看到写的代码如何变成二进制指令，又是如何去控制各种门电路，最后变成屏幕上花花绿绿的程序的（当然这里可能还需要学习显示器的原理），这就是我们常说的“基础”和“原理”。 并且计算机体系结构中的很多思想，是能够广泛运用于现代软件开发的，比如 CPU 的多级 Cache 思想，就是我们现在服务器开发中提高并发度常用的缓存威廉希尔官方网站 ，包括缓存的替换策略等等。 当计算机对你不再是黑盒，你了解写下的代码到执行的每一步，而这也将成为你以后的核心竞争力，作为科班毕业生不应该只会使用 Java、Redis、Mysql、Spring 来写各种网站。 如果读者里有半路转行或者从培训班出来的，也希望你们能够抽出空余时间去补补这些基础课，这会让你在编程这条路上走的更远和更稳。

1.6 数据结构与算法

为什么把算法放到最后来讲，是不重要吗？相反，它太重要了，所以才让它来压轴。 如果要问我大学什么最后悔？那肯定是没有从大一就开始好好学算法，去打 ACM。 现在还在大一、大二的同学还不抓紧机会，别等到以后来后悔。当然，不打 ACM，我们也是能够学好数据结构和算法的。 数据结构和算法你能在任何计算机领域里看到，比如在编译原理中寄存器的分配会用到贪心，死代码检测与消除会用到图论里不可达的知识；操作系统进程、线程调度会用到多级队列和调度算法；组成原理中 Cache 的替换会用到 LRU、FIFO 等算法；开发必备的数据库也离不开 B+ 树、LSM 等数据结构和查找算法。 很多时候我们需要的算法都被封装到编程语言的基础库里了，以至于很多同学会觉得算法离我们太远，其实不是的。 如果不学习算法，连什么时候用 Map（红黑树实现）、什么时候用 HashMap 都分不清。 所以学习算法有助于我们根据应用场景选择最合适的数据结构。 日常开发中也一定离不开算法，比如小北最近工作中涉及的某种嵌套 TLV（Tag-Length-Value）结构编码的解析，就需要用到递归、多叉树等知识。如果不学习算法，那么程序中只能见到大量的 if/else、while/for。。。可以说不会算法的工程师一定不是一个优秀的工程师。

1.7 为什么我不说计网、数据库等

很多人喜欢把计算机网络、数据库原理这些也归为计算机基础来，我当然也认同，因为一个知识结构完整的计算机科班学生，应该了解这些知识。 但是我个人是觉得计算机网络、数据库无非就是建立在操作系统、编译原理、组成原理之上的应用层软件。 什么是数据库？没有数据库之前你会用文件去存储数据，但是不方便查找、修改等，数据库只是提高了这个过程的效率。 网络干什么的？网络就是让不在同一台电脑上的程序互相通信，本质上就是进程间通信的手段。 如果你只是开发单机工业软件，甚至真的可以不学网络，只是由于现在大多数程序员都是在互联网公司工作，所以不管前后端，都离不开和HTTP等网络协议打交道。再次重申：不是计网、数据库不重要，只是我认为它们属于构建在操作系统之上的软件，不划在基础之列。

二、领域知识

这个我不敢说太多，因为各个领域我也不太懂。只简单提一点，抛砖引玉罢了。 如果你想去腾讯、网易做游戏引擎开发，那么图形学一定是你绕不开的知识，此外你还得学习渲染管线、着色器、物理、光照等等。 如果你想去 PingCap 这样的公司做分布式存储，那么分布式理论知识一定是你绕不开的关口，包括 CAP 定理、Paxos 算法、Raft 算法、ZAB 协议等等。 如果你想写一个数据库，那么你需要去了解磁盘、索引实现、SQL 解析（编译原理）、事务、如何用 MVCC 解决读写冲突等等一大堆的东西，还得了解一大堆编程语言层面的东西，比如锁、信号量、并发编程技巧，不得不说造数据库是一个脏活也是一个累活。 更进一步你想去做分布式数据库，那可能还得去学习数据分片的知识，查询任务如何做，是集中做，还是将逻辑下推给各个节点，如何实现分布式事务等等。 你说你只想去大厂 CRUD？没毛病，老铁！ 那你得熟悉一门编译型语言（C/C++、Java、Go），理解语言部分底层原理，比如 C++ 你得看看 STL、看看对象模型吧，你不懂什么虚函数表、智能指针还想去腾讯写 C++? Java 的你得背背 JVM，什么垃圾回收算法吧，你不看看ConcurrentHashMap 好意思说你是做Java的？ 咱CRUD的对象是数据库吧？那不得学学怎么才能把数据库用好。用户通过 HTTP 访问我们得服务，总得了解 HTTP吧？顺带着不看下 TCP 三次握手、四次挥手你好意思说是学计算机的？ 用户把钱、信息放咱们这，总得保证用户数据安全吧？那 XSS、SQL 注入、CSRF 这些常见的 Web 攻击手段你总得了解吧？HTTPS、RSA、签名、数字证书这些安全手段总得知道吧。 双十一流量太大，老板还让你必须顶住，那你总得了解下缓存、异步、消息队列、NoSQL 这些千万 QPS 必备的大杀器吧？ 看看！要想做好CRUD也不是那么容易滴。（上面这段只是换一种方式把做后端的同学要学的知识写出来，不是吐槽更不是调侃，纯属娱乐。

技能

这就很多了，包括 VSCode、Jetbrains 全家桶这些 IDE，文档编写 Markdown、Git 等版本管理工具。SSH 远程登录、端口转发，Ngrok 内网穿透等等这些提高你开发效率的工具，都算是技能，这个没啥好说的，平时用到多学习多积累就好了。 我只提一点，尽早使用 Linux、类 Unix（Mac）作为主力开发电脑。我大二的时候，就是看了王 ying 的那篇《完全用 Linux 工作》，直接买了个 SSD 套上 U 盘外壳，做了一个启动盘，后来用了将近一年的 Ubuntu，只有在选课、提交作业等需要用的 IE 浏览器的时候才会打开 Windows（这里不得不吐槽学校老古董网站！） 当然了，我也不是狂热的 Linux 爱好者，只是单纯觉得做开发的话，离不开各种环境安装、命令行的使用，这点上面类 Unix 系统带有天然的优势，谁用谁知道！

总结

写完才发现，这篇文章连篇幅都是「基础 : 领域知识 : 技能」 接近 7 : 2 : 1。 这也是我推荐你在大学期间分配学习时间的比例，至少学习基础知识的时间不少于 50%，当然，这些东西你都学完了那可以去找找感兴趣的方向专研一下。 千万不要大一、大二一上来就扎进 Java Web、Python 爬虫这种东西，这些可以学，但不是重点。 这篇文章由于篇幅限制，没有写到具体该如何去学，有哪些好的资料，我准备把这个单独再写一个 《How 篇》，持续关注我哟~ 那么如何检验学得如何呢？ 想必你一定听说这个计网面试题：“从 URL 输入到页面展现到底发生什么？“ 这个问题换个表达就是「一个数据包是如何发送到另外一台电脑的」。 如果你能完整的说出整个过程，那么计网你一定是学懂了！这就是为啥面试这么喜欢问这个问题的原因。 那么我们依葫芦画瓢提一个问题 “从代码被写下到程序运行起来到底发生了什么？” 这个问题回答得越详细越好，基本上能说清楚了，你就理解了编译原理、操作系统、组成原理这三座大三。 这个问题也放在这，后续发文总结，请持续关注编程指北哦。 唉，当年要是有这么个贴心学长告诉我这些，也不至于在 Andorid 开发、Java Web、Python 爬虫这些玩大半年啊。。。 不过还好后来自己意识到了基础的重要性，开始学汇编、重学 C、搞 mini os、看 Linux 内核实现原理，最后成功的把头发掉了一把。。。 责任编辑：lq