【环球播资讯】谁动了我的内存,揭秘 OOM 崩溃下降 90% 的秘密
2022-07-25 10:06:36来源:ByteCode
最近一直在做内存和 ANR 相关的优化,接下来我将会花几篇文章梳理一下内存相关的优化,以及我是如何将 OOM 崩溃率下降 90% 。
今天这篇文章主要介绍内存相关的知识点,以及那些因素会导致 OOM 崩溃和相对应的解决方案,所以通过这篇文章你将学习到以下内容:
(资料图)
什么是虚拟内存和物理内存32 位和 64 位设备可用虚拟内存分别是多少为什么虚拟内存不足主要发生在 32 位的设备上如何解决虚拟内存不足的问题App 启动完成之后,虚拟内存的分布如何解决 Java 堆内存不足的问题Java 堆上还有很多可用的内存,为什么还会出现 OOM做性能优化时,需要关心那些指标数据不知道小伙伴们有没有经历过,相同的优化方案,A 应用上线之后,崩溃率下降很多,但是 B 应用上线只有一点点收益,每个优化方案,在不同的 App 上所得到的优化效果未必一样,因为每个 App 在不同的国家和地区面对的用户群体不一样,因此机型也都不一样,所以我们需要了解内存相关的知识点,结合线上和线下数据,对自己的 App 进行归因,对症下药,才能取得较大的收益。
内存是极其稀缺的资源,不合理的使用会导致可用内存越来越少,可能会引发卡顿、ANR、OOM 崩溃、Native 崩溃等等,严重影响用户的体验。所以当我们在做性能优化的时候,内存优化是非常重要的环节。
初期在做内存优化的时候,在我们的脑海里都会有一个潜意识「内存占用越少越好」,在某些情况下是不对的。例如在高端机上我们可以多分配点内存,可以提升用户的体验,但是在低端机上内存本身就很小,所以我们应尽量减少内存的分配。例如针对损耗性能的动画、特效等等,在低端机上是不是可以关掉,或者关掉硬件加速、采用其他的方案代替,这样不仅可以减少崩溃,还可以减少卡顿,提高用户体验。
因为 Java 有自动回收机制,所以在开发过程中,很少有人会去关心内存问题,在脑海中都会有一个潜意识 GC 会自动回收,所以用完不会主动释放掉无用资源例如 Bitmap、动画、播放器等等,等待 GC 来回收,在实际项目中,依赖 GC 是不可靠的。首先 GC 自动回收机制具有不确定性,GC 也分为了不同的类型,如果发生 Full GC 时,会触发 stop the work 事件,会使 App 变得更加严重。
另外 GC 的回收机制根据可达性分析算法判断一个对象是否可以被回收,如果存在内存泄露,GC 是不会回收这些资源的,逐渐累积,当达到堆的内存上限时,发生 OOM 崩溃了,所以你要保证自己不要写出内存泄露的代码,以及团队其他人不要写出内存泄露的代码,然而实际情况这是不可能的,所以依靠 GC 自动回收机制这种想法是不可靠的。虽然 Java 有内存回收机制,但是我们应该在脑海中保留内存管理的意识,所以当申请完内存,退出或者不在使用时,及时释放掉内存。真正做到 用时分配,及时释放。
可用内存越来越少时,严重时会导致 OOM 崩溃,做过 OOM 优化的朋友应该会发现,线上捕获的大部分 OOM 崩溃堆栈,都是压死骆驼的最后一根稻草,并不是问题的根本所在,所以我们需要对 OOM 崩溃进行归因,找到占用内存的大头。降低整机已使用的内存,从而降低 OOM 崩溃,因此我大概分为了以下几个方面。
虚拟内存和物理内存堆内存堆内存泄露,指的是在程序运行时,给对象分配的内存,当程序退出或者退出界面时,分配的内存没有释放或者因为其他原因无法释放资源泄露,比如 FD、socket、线程等等,这些在每个手机上都是有数量的限制,如果使用了不释放,就会因为资源的耗尽而崩溃,我们在线上就出现过 FD 的泄露,导致崩溃率涨了 3 倍分配的内存到达 Java 堆的上限可用内存很多,因为内存碎片化,没有足够的连续段的空间分配对象的单次分配或者多次分配累计过大,例如在循环动画中一直创建 BitmapJava 堆内存溢出内存泄露FD 的数量超出当前手机的阈值线程的数量超出当前手机的阈值其中 FD 和线程崩溃占比很低,因此这不是我们前期优化的重点。这篇文章我们重点介绍 虚拟内存和物理内存,下篇文章将会介绍堆内存, 堆内存是程序在运行过程中为对象分配内存的区域,它也属于虚拟内存的范围。
虚拟内存和物理内存介绍虚拟内存之前,我们需要先介绍物理内存,物理内存就是实实在在的内存(即内存条),如果应用直接对物理内存操作,会存在很多问题:
安全问题,应用之间的内存空间没有隔离,会导致应用 A 可以修改应用 B 的内存数据,这是非常不安全的内存空间利用率低,应用对内存的使用会出现内存碎片化的问题,即使还有很多内存可以用,但是没有足够的连续段的内存分配,而导致崩溃效率低,多个应用同时对物理内存进行读取和写入时,使用效率会非常低为了解决上面的问题,我们需要为每个应用分配 "中间内存" 最终会映射到物理内存上,这就是接下来要说的虚拟内存。
操作系统会为每个应用分配一个独立的虚拟内存,实现应用间的内存隔离,避免了应用 A 修改应用 B 的内存数据的问题,虚拟内存最终会映射到物理内存上,当应用申请内存时,得到的是虚拟内存,只有真正执行写操作时,才会分配到物理内存,好处是应用可以使用连续的地址空间来访问不连续的物理内存。
每个应用程序可使用的虚拟内存大小受 CPU 位宽及内核的限制。我们常说的 16 位 cpu,32 位 cpu,64 位 CPU,指的都是 CPU 的位宽,表示的是一次能够处理的数据宽度,即 CPU 能处理的 2 进制位数,即分别是 16bit,32bit 和 64bit。而目前市面上常用的是 32 位和 64 的设备。
32 位和 64 位设备可用虚拟内存分别是多少32 位设备可以使用的虚拟内存大小 3GB32 位 CPU 架构的设备可使用的地址空间大小为 2^32=4GB, 虚拟内存空间分为 内核空间和 用户空间,系统提供了三种虚拟地址空间分配的参数,代表用户空间可访问的虚拟地址空间大小。
VMSPLIT_3G : 默认值,表示用户空间可使用 3GB 的低地址,剩下的 1GB 高地址分配给内核VMSPLIT_2G : 表示用户空间可使用 2GB 的低地址VMSPLIT_1G : 表示用户空间可使用 1GB 的低地址64 位应用可以使用的虚拟内存大小 512GB64 位 CPU 架构的设备虽然拥有 64 位的地址空间,但是不是全部都可以使用的,为了后期的扩展,只能使用部分地址。
Android 默认的虚拟地址的长度配置为 CONFIG_ARM64_VA_BITS=39,即 Android 的 64 位应用可使用的地址空间大小为 2^39=512GB。
当 32 位应用在 64 位的设备上运行时,可使用 4GB 虚拟地址空间,而 64 位应用可使用 512GB 的空间。因此在 64 位机器上不存在虚拟空间不足的问题。因此在 2019 年的时候 Google Play 要求除了提供 32 位的版本之外,还需要提供 64 位的版本。
在我们的 OOM 崩溃设备中,32 位的设备占比 50%+ 以上,虚拟内存不足主要发生在 32 位的设备上。
为什么虚拟内存不足主要发生在 32 位的设备上在 32 位的设备上,受地址空间最大内存 4 GB 限制,内核空间占用 1G,剩下的 3G 是用户空间,我们可以通过解析 /process/pid/smaps 文件,查看当前虚拟内存分配情况。https://android.googlesource.com/platform/frameworks/base/+/3025ef332c29e255388f74b2afefe05f64bce07c/core/jni/android_os_Debug.cpp
系统资源预分配,包含了 Zygote 进程初始化时,需要加载 Framework 层的代码和资源。供 Fork 出来的子进程可以直接使用。Framework 资源包含:Framework 层 Java 代码、so、art 虚拟机、各种静态资源字体、文件等等系统预分配区域中其中 [anon:libwebview reservation] 区域占用 130MB 内存App 自身资源,包括 App 中的代码、资源、 App 直接或者间接开启线程消耗的栈空间、 App 申请的内存、内存文件映射等内容。Java 堆用于分配 Java / Kotlin 创建的对象。由 GC 管理和回收,GC 回收时将 From Space 里的对象复制到 To Space,这两片区域分别为 dalvik-main space 和 dalvik-main space 1, 这两片区域的大小和我当前测试机 Java 堆大小一样,都是 512 MB,如下图所示根据 Android 源码中的解释,Java 堆的大小应该是根据 RAM Size 来设置的,这是一个经验值,厂商是可以更改的,如果手机 Root 之后,自己也可以改,无论 RAM 多大,到目前为止 Java 堆的上限默认都是 512MB,Google 源码的设置如下如下图所示。https://android.googlesource.com/platform/frameworks/native/+/master/build
RAM (MB)-dalvik-heap.mk | heapsize (MB) |
phone-hdpi-dalvik-heap.mk | 32 |
512-dalvik-heap.mk | 128 |
1024-dalvik-heap.mk | 256 |
2048-dalvik-heap.mk | 512 |
4096-dalvik-heap.mk | 512 |
无论 RAM 多大,到目前为止堆的上限默认都是 512MB |
经过分析内核、系统资源、以及各 APP 的资源占用,最后留给我们使用的内存并不是很多,所以我们要合理使用系统资源,真正做到 "用时分配,及时释放"。
如何解决虚拟内存不足的问题目前业界也有很多黑科技来释放因系统占用的虚拟内存不足的问题,这些黑科技可以参考微信分享的文章 快速缓解 32 位 Android 环境下虚拟内存地址空间不足的“黑科技”,大概有以下几个方面的优化。
Native 线程默认的栈空间大小为 1M 左右,经过测试大部分情况下线程内执行的逻辑并不需要这么大的空间,因此 Native 线程栈空间减半,可以减少 pthread_create OOM 崩溃
系统预分配区域中其中 [anon:libwebview reservation] 区域占用 130MB 内存,可以尝试释放 WebView 预分配的内存,减少一部分虚拟内存
虚拟机堆空间减半,在上面提到过有两片大小相同的区域分别 dalvik-main space 和 dalvik-main space 1,虚拟机堆空间减半其实就是减少其中一个 main space 所占用的内存
快手针对垃圾回收器 jemalloc 的优化,释放的是 anon:libc_malloc 所占用的虚拟内存。
以下统计的是在 Android 7.0 App 首次启动完成 libc_malloc 占用的虚拟内存 156MBVss Pss Rss name159744 kB 81789 kB 82320 kB [anon:libc_malloc]
Android 11 之前使用的垃圾回收器是 jemalloc,Android 11 之后默认使用的垃圾回收器是 scudo。
App 启动完成之后,虚拟内存的分布下图是 App 在 Android 7.0 上启动完成之后所占用的虚拟内存 (Vss),不同系统、不同的 App 虚拟内存的分布都不一样,,我们可以通过解析 /process/pid/smaps 文件,查看自己的 App 虚拟内存分配情况。https://android.googlesource.com/platform/frameworks/base/+/3025ef332c29e255388f74b2afefe05f64bce07c/core/jni/android_os_Debug.cpp
正如上图所示,主要分为三个部分:
dalvik(即 Java 堆),程序在运行过程中为对象分配内存的区域程序文件 dex 、 so 、 oatNative针对上面的问题,我们在项目中通过以下手段进行优化,重点优化 dalvik 占用的内存,因篇幅问题,将会在后面的文章中,做详细的分析:
Android 3.0 ~ Android 7.0 上主要将 Bitmap 对象和像素数据统一放到 Java 堆中,Java 堆上限 512MB,而 Native 占用虚拟内存,32 的设备可使用 3GB,64 位的设备更大,因此我们可以尝试将 Bitmap 分配到 Native 上,缓解 Java 堆的压力,降低 OOM 崩溃。N使用第三方图片库时,需要针对高端机和低端机设置图片库不同的缓存大小,这样我们在高端机上保证体验的同时,降低低端机 OOM 崩溃率收敛 Bitmap,避免重复创建 Bitmap,退出界面及时释放掉资源(Bitmap、动画、播放器等等资源)内存回收兜底策略,当 Activity 或者 Fragment 泄露时,与之相关联的动画、Bitmap、 DrawingCache 、背景、监听器等等都无法释放,当我们退出界面时,递归遍历所有的子 view,释放相关的资源,降低内存泄露时所占用的内存收敛线程,祖传代码在项目中有很多地方使用了 new Thread 、 AsyncTask 、自己创建线程池等等操作,通过统一的线程池等手段减少 App 创建线程数量,降低系统的开销针对低端机和高端机采用不同的策略,减少低端机内存的占用内存泄露是永远也解决不完的,所以需要梳理一下 Top 系列泄露问题,重点解决占用内存最多的泄露,以及使用频率最高的场景所产生的泄露繁创建小对象,堆内存累计过大,这些一般都是有明显堆栈的,根据堆栈信息解决即可。例如在循环动画中一直创建 Bitmap大对象,堆的单次分配内存过大删减代码,减少 dex 文件占用的内存减少 App 中 dex 数量,非必要功能,可以通过动态下发按需加载 so 文件,不要提前加载所有的 so 文件,需要使用时再去加载Java 堆上还有很多可用的内存,为什么还会出现 OOM很多小伙伴们都问过我这么一个问题,大概归因了一下,主要有以下几个原因:
内存碎片化,没有足够的连续段的内存分配虚拟内存不足线程或者 FD 的数量超过当前手机的阈值文章的最后想提一点,我们在做性能优化的时候,不仅要关心性能指标数据,还需要关心对业务指标数据的影响,比如对使用时长、留存等等能提升多少。
为什么需要关心业务指标数据?性能指标数据,比如 OOM 崩溃率、Native 崩溃率、ANR 等等、可能只有客户端的小伙伴才知道 OOM、Native、ANR 是什么意思,但是其他人(产品经理、老板等等)他们是不知道的,也不会去关心这些,但是他们对使用时长、留存等业务指标数据更加的敏感,更能够体现做这件事的价值,这只是阐述了我自己的观点,每个人站的角度不一样,观点也不一样。
全文到这里就结束了,这篇文章只是梳理一下内存相关的知识点,以及有那些因素会导致 OOM 崩溃和相对应的解决方案。