一文详解OCPack威廉希尔官方网站 方案

答案对人有帮助，有参考价值 0

• 开发效率
  可以使开发者像写普通功能代码一样，使用熟悉的 Xcode IDE 和 Objective-C 语言进行开发、调试，在开发完成后使用工具链即可方便地生成 patch 文件，提高开发 patch 的效率。
  
• 语法覆盖
  考虑到使用者的方便性和开发周期的平衡，目前OCPack的实现覆盖了c语言的基本语法和 Objective-C 中比较常用的语法，保证开发者在使用中大部分常用的写法都能直接支持，而部分不能支持的语法也有相应的替代实现方式。
  
• 问题定位
  
  
  
  
  • 对于暂不支持的语法，OCPack的工具链能够明确地给出错误原因提示及错误代码位置，方便定位开发中遇到的问题。
    
  • 上线后也可以调用相应接口获取虚拟机在各线程的调用栈信息，结合编译过程中生成的符号文件，开发就能够准确定位到当时虚拟机调用到的源文件代码行数，方便定位、解决线上问题。符号解析工具也包含在工具链中。
    
    
  
  
• 性能
  由于是基于 Native 环境，且自定义的栈机指令集意义明确、设计精简，并且大部分与 Native 环境之间的交互都是直接操作内存地址，省去了像 JSPatch 一样频繁字符串解析及 Box/Unbox 的开销。其中 OC 桥接调用效率近似原生。
  

• 内存及稳定性
  
  
  
  
  • JavaScript 的 GC 的内存管理机制会导致内存不能及时释放，而如果强行释放掉 JSContext 会导致线上出现一些诡异的崩溃，难以定位和解决。
    
  • 此方案支持 ARC 内存管理，能够与客户端的 ARC/MRC 内存管理机制正确配合，消除了GC时机不可控的问题。
    
  • 而且结合项目本身的特点，将主要使用到的内存都放到文件映射（mmap）中，尽量不占用应用程序的内存配额，提高应用的稳定性。
    
  
  

答案对人有帮助，有参考价值 0

• Objective-C 源码会首先通过OCPack编译模块转换为自定义指令集的汇编程序（.s）。此过程主要是通过解析 LLVM 生成的 Objective-C 代码语法树（AST）实现的。
  
• 汇编程序（.s）随后会通过一个自研汇编工具（smc）被转换为二进制的 patch 文件（.bin）。
  
  

• 编译选项
  要调用 clang 的模块为目标 Objective-C 源文件（.m）生成语法树，需要先提供编译此 .m 所需的编译选项。对于集成方来说，目标文件可能需要依赖很多相关的.h或有其他编译开关，为了方便集成方得到完整的编译选项列表，我们制作了相应的工具，可以方便地从集成方工程的编译日志中得到目标文件所需的编译选项的完整列表。
  
• 编译错误和警告
  OCPack支持 Objective-C 语言中常用的语法类型，对于不支持的语法，在编译期间会生成相应的日志文件，具体标明了错误类型和错误位置 ，方便开发定位问题。
  
  

答案对人有帮助，有参考价值 0

• 提供足够的功能支持，用以实现预定义的 Objective-C 语法范围。具体地，对于指定的语法树节点类型集合，能够通过编译逻辑生成相应的汇编指令组合，等价地完成原 Objective-C 代码所要实现的逻辑功能。
  
• 尽量减少指令集的复杂性：一方面应尽量减少指令的条数，以降低虚拟机实现的复杂性；另一方面应尽量降低单条指令本身的语义复杂性，每条指令应完成明确而有限的功能。
  
  

• 段：用于存放各种非临时数据（可取到地址的数据），这些数据又分线程相关与线程无关，其中：
  线程相关的数据段主要包括：
  
  

• pushsegmentindex —— 将 segment 段中的 index 处数据 push 到操作栈顶
  
• popsegmentindex —— 将操作栈顶的数据 pop 到 segment 段中的 index 处
  
  

• prolog 指令是每个虚拟机中方法的第一条指令，它会根据其指令参数为当前方法栈帧中的local段开辟相应大小的段空间，并记录当前栈帧的返回地址，然后计算并记录参数列表（arg 段）起始地址，再将调用者的栈顶指针指向参数表之前，最后切换到被调用者的栈帧。
  
• 格式：prologarg_sizelocal_size
  
  
  
  
  
  • 其中 arg_size 表示所有参数的总长度，用于计算参数列表的起始地址
    
  • local_size 表示局部变量段的长度
    
    
  
  

• 调用者只需将参数和返回值按要求 push 到操作栈上，然后直接跳转到被调方法的起始地址，程序就可顺利执行，调用方不应承担其他不必要的责任
  
• 根据栈机的一般调用逻辑，被调函数返回时，刚才push进来的参数和返回值应该已由被调者pop，此时栈顶应该只有返回值，栈顶以下应该是跟这次调用无关的其他数据
  
• 被调方需要知道参数和返回地址的具体位置，参数需要有固定地址，支持随机访问，不能是只靠 pop 得到的暂存值
  
• 局部变量也需要随机访问，其大小需要在函数执行一开始就分配好
  
  

• 在每个方法头部加此指令，调用者一跳到当前方法就执行此指令，相关设置都在此指令中执行，尽量减少对调用者的要求。
  
• 根据约定，执行到 prolog 时，栈顶存放的是返回地址，栈顶以下是倒排的参数表， prolog 指令先 pop 返回地址并保存下来，然后将调用者的栈桢的 sp 往回调整参数表的长度（此长度作为指令参数由编译时确定，调用者无需通过栈来传递此信息），也即指向第一个参数的位置。注意此时还没有生成被调用者的栈桢，所有的操作都还在调用者的栈桢上下文内。这样就能够保证被调者返回时调用者的 sp 是在合适的位置，到时候直接 push 返回值就可以。
  
• 此时 prolog 根据返回地址及调用者的栈桢信息生成新栈桢，新栈帧中建立的 arg 段直接指向参数表的起始位置，之后访问参数即可使用 push arg i 或 pop arg i 等指令。
  
• 同时，局部变量的 local 段也需要建立，其大小也由编译时确定，即是 prolog 指令的 local_size 参数，在建好栈桢并切换当前栈帧后，即完成了方法调用的过渡阶段，程序流程便可继续进行。
  
  

• ret 指令是虚拟机中方法的最后一条指令，与 prolog 相对应，用于回退栈帧（unwind frame），并将返回值数据由被调方的栈顶拷贝到 unwind 以后调用方的操作栈顶，以实现调用完成后返回值位于当前栈顶的调用约定。
  
• 格式：retretSize
  
  

• 首先，OCPack编译器在生成指令时会先将 switch 要比较的目标 push 进操作栈，然后再将各个 case 的值 push 进栈，然后添加cmp_n n指令。在运行时，cmp_n n指令会从栈上 pop 出n个数据，与栈顶的数据（即 switch 的目标）进行比较，如果与第i个相等，则将ipush到栈顶。
  
• 后面再添加指令resolve_label label_prefix。此指令在运行时会将 label_prefix 与栈顶的i进行字符串拼接，生成目标 label 名，并在 machine 中进行查找，找到对应的 label 地址，push 到栈顶。其中 label_prefix 是每个 switch 语句唯一的，可以支持 switch 嵌套。
  
• 然后再添加指令jmp_tos。此指令在运行时会跳转到栈顶的地址，从而实现 switch 的功能。
  
  

• 使用 libffi 实现动态 c 方法调用。对于每个被调用的 c 方法，在 .s 会有一项DECL_C_FUNC 的声明，声明包含此方法的名称、签名（包括参数个数和类型）等信息。
  
• .s 中的参数类型是OCPack自定义的字符串，一一对应到 libffi 的类型。对于 struct 来说，生成指令时需要递归找到 struct 所有成员的类型，拼成相应的字符串，然后在运行期反解字符串，构造出 libffi 所需的数据类型。
  
• 对于变参的方法，方法名相同而参数个数或类型不同的，在 DECL_C_FUNC 时会对应不同的条目，虚拟机在运行时会根据对应的条目去构造相应的 libffi 参数数据。
  
  

• 指令集中对算术、逻辑、移位等等基本运算符都有对应的指令，指令参数包括返回值类型、操作数类型等。
  
• 在虚拟机的实现代码中将各种运算、数据类型的组合分配到相应的c语言实现，运行时就根据传入的指令和参数调用其相应实现。
  
  

• 指令集有左值转右值的指令，其参数为右值的 size。此指令的作用为：先 pop 操作栈顶存储的地址（addr），然后取地址为 addr 的大小为 size 的内存数据，push 到操作栈顶。
  
• 在 clang 生成的 AST 中，所有 VarDeclRef 其实对应的是变量的地址，对于访问变量内容（变量右值）的代码，AST 中 VarDeclRef 的父节点都是左右值转换节点。因此OCPack中 push 指令，类似push seg index都是将 seg 段 index 处的地址 push 进操作栈，而取对应地址处的具体内容由左右值转换指令来完成。
  
  

• 指令集中有专用于调用 Objective-C 方法的指令 OBJC_MSG_CLASS/OBJC_MSG_INST。
  
• 虚拟机在解释执行此指令时，先取得存储在栈上的所有参数，然后构造相应的 NSInvocation，通过 invoke 来实现对 Objective-C runtime 的调用。
  
• 指令实现中，对于 target 和参数都采用 __unsafe_unretained 方式进行引用，即不改变其生命周期。返回值则一律使用 autorelease 方式，确保返回值在返回给直接调用者时是有效的。
  
  

答案对人有帮助，有参考价值 0

• 立即数从文本到二进制数据的转换
  
• 跳转 label 到地址的转换
  
• 常量字符串的转换，此处一开始直接在 .s 中存储了字符串，后来遇到 '/n/t' 等情况不能很好地支持，就改成了直接存储字节码
  
• 生成导出函数表，表中记录了虚拟机中定义的方法名和地址的对应关系
  
• 生成导入函数表，包含了所有调用到的c方法声明及其 index，代码段中调用 c 方法时直接调用此处的 index
  
• static 数据段大小和全局区的总大小，因为虚拟机初始化时需要将全局区放到一段 shared & anonymous mmap 内存上，故需要此 size
  
• 存储 GUID 值
  
• 存储 Target arch，此值用于验证 32bit 和 64bit，确保平台和 .bin 文件的匹配
  
• 文本指令转化为二进制指令
  
  

• 常量字符串段，将全局区对应大小的内存分配给常量段，并将对应的 index 指向对应的字符串起始地址
  
• 静态数据段，将全局区对应大小的内存分配给静态段
  
• 导出符号表
  
• 导入符号表
  
• 代码段
  
• GUID数据
  
  

• 栈和各个段都以 64bit 为单位
  
• 调用方法前，需要将对应的参数 push 到操作栈上
  
• 调用完成后，栈顶放的就是返回值
  
• 运行时上下文（thread_context）和栈帧
  
  
  
  
  
  • 栈帧基地址
    
  • 返回地址
    
  • 指向调用方栈帧基地址的指针
    
  • 段表基地址
    
  • 操作栈基址
    
  • 操作栈指针 sp
    
  • 程序计数器 ip
    
    
  • thread_context 维护一个栈帧的链表，用以存放调用关系
    
  • 栈帧用于存放当前方法的运行时信息，主要包括：
    
    
    
  
  

注：VM 函数栈帧具体内存布局如下：

• Objective-C 代码通过向虚拟机 的 callFunctionWithArgs: 方法传入要调用函数名及其参数（此处的参数为真正参数的地址）并得到返回值来与虚拟机进行交互。
  
• callFunctionWithArgs: 方法内部会通过函数名查找导出表，找到其方法签名和地址。然后根据方法签名中指定的参数大小，将传入的参数地址处对应大小的数据 push 到操作栈上，然后再跳转到被调方法的开始地址处，开始执行汇编指令。
  
• 虚拟机执行完所有汇编指令后返回到 callFunctionWithArgs: 中，该方法再负责把栈顶的返回值数据拷贝到调用方传入的返回值地址处。
  
• 调用完成后，虚拟机的栈顶地址应该保持与调用前完全一致。
  
• 如果虚拟机方法的返回值是 NSObject* 类型，OCPack会根据存储返回值的变量是否是强引用而决定是否需要对返回的对象做__brige_retained操作，用以中和调用方对 strong 类型变量的 release 操作。其他情况下因为返回的都是 autorelease 的对象，返回时不做特殊处理（详见编译模块小节中 2.9 段Objective-C方法调用指令）。
  
  

• 运行时上下文（thread_context）指针放在线程局部存储中，每个线程在读、写上下文中数据时都是操作当前线程自己的数据，这样就能保证各个线程之间运行状态相互隔离，从而支持多线程的调用场景。
  
• OCPack注册了线程退出的回调函数，当一个线程退出时OCPack会删除所有虚拟机在此线程中的上下文相关数据。
  
  

• 二进制文件加载使用 mmap，全局数据区使用shared & anonymous mmap，常量字符串数据直接指向 .bin 中的地址。
  
• 运行时上下文（thread_context）是每个线程一份，都使用shared & anonymous mmap。
  
• 运行时的虚拟机类本身只维护导入函数和导出函数数据以及少量指针数据。
  
  

• 运行时上下文（thread_context）中维护有一个栈帧结构（thread_frame）的链表，对应的就是虚拟机中方法的调用关系。
  
• 崩溃时遍历所有线程中所有虚拟机的 thread_context，遍历其栈帧结构链表，取出每个栈帧中存储的 ip 地址写到崩溃日志中。
  
• 崩溃日志中按照线程组织崩溃栈，还会记录每个虚拟机的地址和其加载的 .bin 文件的 GUID，用以正确区分线程、虚拟机的实例和 bin 文件。
  
  

• 原理与 JSPatch 类似，通过将目标类的目标方法替换为 objc_msgForward，同时将 forwardInvocation 替换为自定义的 forward 方法，实现当目标方法被调用时，转向 forwardInvocation 的自定义实现。在自定义的 forward 的实现中，将 NSInvocation 传给内置的虚拟机，虚拟机会取出其参数并调用相应的虚拟机方法，最后将返回值设回给 NSInvocation，即完成了 Hook 的功能。
  
• 与 JSPatch 相比，用OCPack的方法调用省去了大量的字符串解析操作，参数大都可直接传入虚拟机进行处理，方法调用的整体开销比 JSPatch 小。
  

答案对人有帮助，有参考价值 0

• 二进制程序的大小优化
  
  

• OCPack在实现初期，采用了模板类的方式实现一、二元操作符的对不同操作数和返回值类型的支持，这样调试起来比较方便。但后来发现这种方案会导致代码体积会暴增。模板方法会根据输入、输出参数的类型生成大量的方法，而其中大部分方法都只有很短的几条指令，从最后的二进制内容分析看，光方法名就占用了大量内存。
  
  
  
  
  
  • 在功能基本稳定后，在单元测试的保证下，将模板改为了宏实现，大幅地减小代码段和数据段的体积，framework 文件的大小从3.5M减到了不到150k。
    
    
  
  

• 性能优化
  
  

• 汇编代码优化
  
  
  
  
  
  • 由语法树直接生成的汇编代码里面会有很多无用的 push 操作，主要原因是某些表达式的返回值没有被用到，此时 push 是多余的，而且在比较大的循环还可能会使栈长度暴增，影响性能和稳定性
    
  • 优化方法是尽量去掉无用的 push 指令。主要是通过定义一些规则来判别某指令的返回值是否被用到，对于无用的表达式返回值不进行 push 操作。
    
    
  
  

• 虚拟机性能优化
  
  
  
  
  • 将频繁用到的数据缓存下来：取运行时上下文和读写栈帧是频繁操作，涉及线程局部存储数据的读取，运行时上下文结构的指针只会在一个线程中访问，通过对代码进行重构，将它缓存到 executor 类中，提高了运行时效率。
    
  • 尽量减少核心循环处代码的内存访问次数：将栈帧中的部分数据（如：ip）提出来放到 executor 类中，减少频繁读写ip时导致的不必要的内存操作次数。
    
  • 尽量提高核心循环处代码效率：用数组代替 map 实现指令到指令处理器的映射关系，提高运行时查询效率。
    
  • 优化后比优化前提高了将近一倍
    
  
  

答案对人有帮助，有参考价值 0

• 支持多个 .m 对应的多个 .bin 链接成一个 .bin 文件，且各个 .bin 文件之间能够互相调用
  
  

• 支持声明 block 的语法
  
  

• 去掉虚函数调用
  
• 指令长度对齐
  
• 保证 sp、ip 等频繁操作的数据都放入寄存器——汇编实现相关核心方法、或者改变代码结构
  
• 生成汇编代码的优化（窥孔优化等）
  
• 其他
  
  

• 因为虚拟机执行时是按指令执行的，不容易直接对应到 Objective-C 代码，调试起来有点麻烦，后续计划做一些功能，调试时方便地显示指令地址到 Objective-C 源代码的对应关系。