荆门市住房和城乡建设局网站,it运维解决方案,wordpress菜单美化插件,个人网站用wordpress吗垃圾回收相关概念
什么是垃圾
垃圾就是指在运行程序中没有任何指针指向的对象,这个对象就是需要被回收掉的垃圾,如果不及时进行清理,越积越多就会导致内存溢出.
为什么需要GC
不进行回收,早晚会导致内存溢出,Java自动管理垃圾回收,不需要开发人员手动干预,这就有可能导致开…垃圾回收相关概念
什么是垃圾
垃圾就是指在运行程序中没有任何指针指向的对象,这个对象就是需要被回收掉的垃圾,如果不及时进行清理,越积越多就会导致内存溢出.
为什么需要GC
不进行回收,早晚会导致内存溢出,Java自动管理垃圾回收,不需要开发人员手动干预,这就有可能导致开发人员缺少内存溢出时解决问题的能力,所以了解JVM垃圾回收的底层原理就变得非常重要,当垃圾回收成为系统性能瓶颈时,也需要开发人员去进行监控和调节.
垃圾回收区域
垃圾回收器可以对年轻代,老年代,甚至是全堆和方法区进行回收.其中Java堆是垃圾收集器的重点工作区.从次数上讲是频繁收集年轻代,较少收集老年代,基本不回收方法区(元空间)
System.gc()方法
在默认情况下通过System.gc()或者Runtime.getRuntime().gc()的调用会显式触发FullGC同时对老年代和新生代进行回收尝试释放被丢弃对象占用的内存。然而System.gc()调用附带一个免责声明无法保证对垃圾收集器的调用。JVM实现者可以通过System.gc()调用来决定JVM的GC行为。而一般情况下垃圾回收应该是自动进行的无须手动触发否则就太过于麻烦了。在一些特殊情况下如我们正在编写一个性能基准我门可以在运行之间调用System.gc()。
finalize()方法
finalize作用
finalize()与C中的析构函数不是对应的。C中的析构函数调用的时机是确定的(对象离开作用域或delete掉)但Java中的finalize的调用具有不确定性不建议用finalize方法完成“非内存资源”的清理工作但建议用于:清理本地对象(通过JNI创建的对象);作为确保某些非内存资源(如Socket、文件等)释放的一个补充:在finalize方法中显式调用其他资源释放方法。
finalize的执行过程(生命周期)
(1)首先大致描述一下finalize流程: 当对象变成(GC Roots)不可达时GC会判断该对象是否覆盖了finalize方法若未覆盖则直接将其回收。否则若对象未执行过finalize方法将其放入F-Queue队列由一低优先级线程执行该队列中对象的finalize方法。执行finalize方法完毕后GC会再次判断该对象是否可达若不可达则进行回收否则对象“复活” (2) 具体的finalize流程: 对象可由两种状态涉及到两类状态空间一是终结状态空间 F unfinalized,finalizablefinalized}; 二是可达状态空间 R reachable, finalizer-reachable, unreachable》。各状态含义如下:
unfinalized; 新建对象会先进入此状态GC并未准备执行其finalize方法因为该对象是可达的finalizable: 表示GC可对该对象执行finalize方法GC已检测到该对象不可达。正如前面所述GC通过F-Queue队列和一专用线程完成finalize的执行finalized: 表示GC已经对该对象执行过finalize方法reachable: 表示GC Roots引用可达finalizer-reachable(f-reachable): 表示不是reachable但可通过某finalizable对象可达
finalize的问题
一些与finalize相关的方法由于一些致命的缺陷已经被废弃了如System.runFiralizersOnExit()方法,Runtime.runFinalizersOnExit()方法System.gc)与System.runFinalization()方法增加了finalize方法执行的机会但不可盲目依赖它们Java语言规范并不保证finalize方法会被及时地执行、而且根本不会保证它们会被执行finalize方法可能会带来性能问题。因为JVM通常在单独的低优先级线程中完成finalize的执行对象再生问题: finalize方法中可将待回收对象赋值给GC Roots可达的对象引用从而达到对象生的目的finalize方法至多由GC执行一次(用户当然可以手动调用对象的finalize方法但并不影响GC对finalize的行为)
内存溢出
内存溢出相对于内存泄漏来说尽管更容易被理解但是同样的内存溢出也是引发程序崩溃的罪魁祸首之一。由于GC一直在发展所有一般情况下除非应用程序占用的内存增长速度非常快造成垃圾回收已经跟不上内存消耗的速度否则不太容易出现OOM的情况。大多数情况下GC会进行各种年龄段的垃圾回收实在不行了就放大招来一次独占式的Ful1 GC操作这时候会回收大量的内存供应用程序继续使用。javadoc中对OutofMemoryError的解释是没有空闲内存并且垃圾收集器也无法提供更多内存。
内存不够的原因
首先说没有空闲内存的情况: 说明Java虚拟机的堆内存不够。原因有二: (1) Java虚拟机的堆内存设置不够。 比如:可能存在内存泄漏问题 也很有可能就是堆的大小不合理比如我们要处理比较可观的数据量但是没有显式指定JVM堆大小或者指定数值偏小。我们可以通过参数-Xms、-Xmx来调整。 (2)代码中创建了大量大对象,并且长时间不能被垃圾收集器收集 (存在被引用) 对于老版本的oracle JDK因为永久代的大小是有限的并且JVM对永久代垃圾回收(如常量池回收、卸载不再需要的类型) 非常不积极所以当我们不断添加新类型的时候永久代出现outofMemoryError也非常多见尤其是在运行时存在大量动态类型生成的场合;类似intern字符串缓存占用太多空间也会导致OOM问题。对应的异常信息会标记出来和永久代相关:“java.lang.OutofMemoryError: PermGen space” 随着元数据区的引入方法区内存已经不再那么窘迫所以相应的OOM有所改观出现00M异常信息则变成了:“java.lang.OutofMemoryError: Metaspace”。i直接内存不足也会导致OOM。
内存泄露
内存泄露8种形态
静态集合内部类:静态集合类如HashMap、LinkedList等等。如果这些容器为静态的那么它们的生命周期与JVM程序一致则容器中的对象在程序结束之前将不能被释放从而造成内存泄漏。简单而言长生命周期的对象持有短生命周期对象的引用尽管短生命周期的对象不再使用但是因为长生命周期对象持有它的引用而导致不能被回收。单例模式:与静态集合导致内存泄露的原因类似因为单例的静态特性它的生命周期和JVM 的生命周期一样长所以如果单例对象如果持有外部对象的引用那么这个外部对象也不会被回收那么就会造成内存泄漏。内部类持有外部锁:内部类持有外部类如果一个外部类的实例对象的方法返回了一个内部类的实例对象。这个内部类对象被长期引用了即使那个外部类实例对象不再被使用但由于内部类持有外部类的实例对象这个外部类对象将不会被垃圾回收这也会造成内存泄漏。各种连接,如数据库连接,网络连接和IO连接等:各种连接如数据库连接、网络连接和IO连接等在对数据库进行操作的过程中首先需要建立与数据库的连接当不再使用时需要调用close方法来释放与数据库的连接。只有连接被关闭后垃圾回收器才会回收对应的对象否则如果在访问数据库的过程中对Connection、Statement或ResultSet不显性地关闭将会造成大量的对象无法被回收从而引起内存泄漏。变量不合理的作用域:变量不合理的作用域。一般而言一个变量的定义的作用范围大于其使用范围很有可能会造成内存泄漏。另一方面如果没有及时地把对象设置为nu11很有可能导致内存泄漏的发生改变哈希值:改变哈希值当一个对象被存储进HashSet集合中以后就不能修改这个对象中的那些参与计算哈希值的字段了。否则对象修改后的哈希值与最初存储进HashSet集合中时的哈希值就不同了在这种情况下即使在contains方法使用该对象的当前引用作为的参数去HashSet集合中检索对象也将返回找不到对象的结果这也会导致无法从HashSat集合中单独删除当前对象造成内存泄漏。缓存泄露:内存泄漏的另一个常见来源是缓存一旦你把对象引用放入到缓存中他就很容易遗忘。比如:之前项目在一次上线的时候应用启动奇慢直到夯死就是因为代码中会加载一个表中的数据到缓存(内存) 中测试环境只有几百条数据但是生产环境有几百万的数据监听器和回调:内存泄漏另一个常见来源是监听器和其他回调如果客户端在你实现的API中注册回调却没有显式的取消那么就会积聚需要确保回调立即被当作垃圾回收的最佳方法是只保存它的弱引用例如将他们保存成为WeakHashMap中的键。
垃圾回收的并行和并发
并行的多个任务之间是不互相抢占资源的。 只有在多CPU或者一个CPU多核的情况中才会发生并行。 否则看似同时发生的事情其实都是并发执行的。 并发和并行在谈论垃圾收集器的上下文语境中它们可以解释如下:
并行 (Paralle1) : 指多条垃圾收集线程并行工作但此时用户线程仍处于等待状态如ParNew、Parallel Scavenge、Parallel old;串行 (Serial)相较于并行的概念单线程执行。如果内存不够则程序暂停启动JVM垃圾回收器进行垃圾回收。回收完再启动程序的线程。并发 (Concurrent) : 指用户线程与垃圾收集线程同时执行(但不一定是并行的可能会交替执行)垃圾回收线程在执行时不会停顿用户程序的运行。用户程序在继续运行而垃圾收集程序线程运行于另一个CPU上;如:CMS,G1
安全点和安全区域
安全点
程序执行时并非在所有地方都能停顿下来开始 GC只有在特定的位置才能停顿下来开始GC这些位置称为“安全点 (Safepoint) ” safe Point的选择很重要如果太少可能导致GC等待的时间太长如果太频繁可能导致运行时的性能问题。大部分指令的执行时间都非常短暂通常会根据“是否具有让程序长时间执行的特征”为标准。比如: 选择一些执行时间较长的指令作为Safe Point如方法调用、循环跳转和异常跳转等。 如何在GC发生时检查所有线程都跑到最近的安全点停顿下来呢?
抢先式中断:(目前没有虚拟机采用了 )首先中断所有线程。如果还有线程不在安全点就恢复线程让线程跑到安全点。主动式中断: 设置一个中断标志各个线程运行到safe Pont的时候主动轮询这个标志如果中断标志为真则将自己进行中断挂起。
安全区域
Safepoint 机制保证了程序执行时在不太长的时间内就会遇到可进入 GC 的Safepoint 。但是程序“不执行”的时候呢? 例如线程处于 Sleep 状态或Blocked 状态这时候线程无法响应 JVM 的中断请求“走”到安全点去中断挂起JVM 也不太可能等待线程被唤醒。对于这种情况就需要安全区域 (Safe Region)来解决。 安全区域是指在一段代码片段中对象的引用关系不会发生变化在这个区域中的任何位置开始GC都是安全的。我们也可以把 Safe Region 看做是被扩展了的 safepoint。 实际执行时:
当线程运行到Safe Region的代码时首先标识已经进入了Safe Region如果这段时间内发生GCJVM会忽略标识为Safe Region状态的线程;当线程即将离开Safe Region时会检查JVM是否已经完成GC如果完成了则继续运行否则线程必须等待直到收到可以安全离开Safe Region的信号为止;
垃圾回收算法
垃圾判别阶段算法
引用计数法
对每个对象保存一个整型的引用计数器属性,用于记录对象被引用的情况,为0就表示没有任何引用
优缺点
优点:实现简单,垃圾对象便于辨识,判定效率高,回收没有延迟性 缺点:
他需要单独的字段存储计数器,这样的做法增加了存储空间的开销(其实是可以接受的,现在硬件资源没那么昂贵了)每次赋值需要更新计数器,增加时间开销(其实也还OK,现在都是多核高频CPU了)重点问题:它无法解决循环引用的问题,这是一个非常致命的缺陷会导致互相引用的对象内存泄露,所以java并没有使用这种算法
使用这种方法怎么解决循环引用
引用计数算法是很多语言的资源回收选择例如因人工智能而更加火热的Python它更是同时支持引用计数和垃圾收集机制。具体哪种最优是要看场景的业界有大规模实践中仅保留引用计数机制以提高吞吐量的尝试。Java并没有选择引用计数是因为其存在一个基本的难题也就是很难处理循环引用关系.Pvthon如何解决循环引用?手动解除: 很好理解就是在合适的时机解除引用关系。使用弱引用weakefweakref是Python提供的标准库旨在解决循环引用。
可达性分析算法(跟搜索算法)
相对于引用计数算法而言可达性分析算法不仅同样具备实现简单和执行高效等特点更重要的是该算法可以有效地解决在引用计数算法中循环引用的问题防止内存泄漏的发生。相较于引用计数算法这里的可达性分析就是Java、C#选择的。这种类型的垃圾收集通常也叫作追踪性垃圾收集 (Tracing Garbage Collection)。
原理思路
原理:其原理简单来说就是将对象及其引用关系看作一个图选定活动的对象作为 GC Roots然后跟踪引用链条如果一个对象和GC Roots之间不可达也就是不存在引用链条那么即可认为是可回收对象。 基本思路:
可达性分析算法是以根对象集合(GC Roots)为起始点按照从上至下的方式搜索被根对象集合所连接的目标对象是否可达。使用可达性分析算法后内存中的存活对象都会被根对象集合直接或间接连接着搜索所走过的路径称为引用链(Reference Chain)如果目标对象没有任何引用链相连则是不可达的就意味着该对象已经死亡可以标记为垃圾对象。在可达性分析算法中只有能够被根对象集合直接或者间接连接的对象才是存活对象。
GC Roots都有什么
在Java 语言中 GC Roots 包括以下几类元素:虚拟机栈中引用的对象比如:各个线程被调用的方法中使用到的参数、局部变量等。本地方法栈内JNI(通常说的本地方法)引用的对象类静态属性引用的对象比如: Java类的引用类型静态变量方法区中常量引用的对象比如: 字符串常量池 (string Table) 里的引用所有被同步锁synchronized持有的对象Java虚拟机内部的引用。基本数据类型对应的class对象一些常驻的异常对象 (如: NullPointerException、OutofMemoryError) 系统类加载器反映java虚拟机内部情况的JMXBean、JVMTI中注册的回调、本地代码缓存等除了这些固定的GC Roots集合以外根据用户所选用的垃圾收集器以及当前回收的内存区域不同还可以有其他对象“临时性”地加入共同构成完整GC Roots集合。比如: 分代收集和局部回收(Partial GC) 。如果只针对Java堆中的某一块区域进行垃圾回收(比如:典型的只针对新生代》必须考虑到内存区域是虚拟机自己的实现细节更不是孤立封闭的这个区域的对象完全有可能被其他区域的对象所引用这时候就需要一并将关联的区域对象也加入GC Roots集合中去考虑才能保证可达性分析的准确性。 小技巧:由于Root采用栈方式存放变量和指针,所以如果一个指针,它保存了堆内存里面的对象,但是自己又不存放在堆内存里面,那它就是一个Root 注意点
如果要使用可达性分析算法来判断内存是否可回收那么分析工作必须在一个能保障一致性的快照中进行。这点不满足的话分析结果的准确性就无法保证。这点也是导致GC进行时必须“stop The world”的一个重要原因。即使是号称(几乎) 不会发生停顿的CMS收集器中枚举根节点时也是必须要停顿的.
垃圾清楚阶段算法
标记清除算法
背景: 标记 - 清除算法( Mark-Sweep 是一种非常基础和常见的垃圾收集算法该算法被J.McCarthy等人在1960年提出并并应用于Lisp语言。 执行过程: 当堆中的有效内存空间 (available memory) 被耗尽的时候就会停止整个程序 (也被称为stop the world)然后进行两项工作第一项则是标记第二项则是清除。
标记: Collector从引用根节点开始遍历标记所有被引用的对象。一般是在对象的Header中记录为可达对象。清除: Collector对堆内存从头到尾进行线性的遍历如果发现某个对象在其Header中没有标记为可达对象则将其回收。 很多书、视频讲错了! 说是标记的垃圾对象。这里要注意了!这里是把不是垃圾的标记出来
缺点
效率比较低: 递归与全堆对象遍历两次在达行GC的时候需要停止整个应用程序导致用户体验差这种方式清理出来的空闲内存是不连续的产生内存碎片 这里所谓的清除并不是真的置空而是把需要清除的对象地址保存在空闲的地址列表里。下次有新对象需要加载时判断垃圾的位置空间是否够如果够就存放。 复制算法
将活着的内存空间分为两块每次只使用其中一块在垃圾回收时将正在使用的内存中的存活对象复制到未被使用的内存块中之后清除正在使用的内存块中的所有对象交换两个内存的角色最后完成垃圾回收。
优缺点
优点:
没有标记和清除过程实现简单运行高效复制过去以后保证空间的连续性不会出现“碎片”问题。 缺点:此算法的缺点也是很明显的就是需要两倍的内存空间。对于G1这种分拆成为大量region的GC复制而不是移动意味着GC需要维护region之间对象引用关系不管是内存占用或者时间开销也不小。 特别的:如果系统中的存活对象很多复制算法不会很理想。因为复制算法需要复制的存活对象数量并不会太大或者说非常低才行。
标记-压缩算法
背景: 复制算法的高效性是建立在存活对象少、垃圾对象多的前提下的。这种情况在新生代经常发生但是在老年代更常见的情况是大部分对象都是存活对象。如果依然使用复制算法由于存活对象较多复制的成本也将很高。因此基于老年代垃圾回收的特性需要使用其他的算法。 标记一清除算法的确可以应用在老年代中但是该算法不仅执行效率低下而且在执行完内存回收后还会产生内存碎片所以JVM 的设计者需要在此基础之上进行改进。标记 压缩(MarkCompact) 算法由此诞生。 执行过程:
第一阶段和标记-清除算法一样从根节点开始标记所有被引用对象第二阶段将所有的存活对象压缩到内存的一端按顺序排放。之后清理边界外所有的空间。 标记-压缩算法的最终效果等同于标记-清除算法执行完成后再进行一次内存碎片整理因此也可以把它称为标记-清除-压缩 (Mark-Sweep-Compact) 算法。 两者的本质差异在于标记-清除算法是一种非移动式的回收算法标记-压缩是移动式的。是否移动回收后的存活对象是一项优缺点并存的风险决策。 可以看到标记的存活对象将会被整理按照内存地址依次排列而未被标记的内存会被清理掉如此一来当我们需要给新对象分配内存时JVM只需要持有一个内存的起始地址即可这比维护一个空闲列表显然少了许多开销。
优缺点
优点:(此算法消除了“标记-清除”和“复制”两个算法的弊端。)
消除了标记/清除算法当中内存区域分散的缺点我们需要给新对象分配内存时JVM只需要持有一个内存的起始地址即可。消除了复制算法当中内存减半的高额代价。 缺点:从效率上来说标记-压缩算法要低于复制算法。效率不高不仅要标记所有存活对象还要整理所有存活对象的引用地址。对于老年代每称都有大量对象存活的区域来说极为负重。移动对象的同时如果对象被其他对象引用则还需要调整引用的地址。移动过程中需要全程暂停用户应用程序。即: STW
分代收集算法
效率上来说复制算法是当之无愧的老大但是却浪费了太多内存。 而为了尽量兼顾上面提到的三个指标标记-整理算法相对来说更平滑一些但是效率上不尽如人意它比复制算法多了一个标记的阶段比标记-清除多了一个整理内存的阶段。 分代收集算法是基于这样一个事实:不同的对象的生命周期是不一样卵。因此不同生命周期的对象可以采取不同的收集方式以便提高回收效率。一般是把Java堆分为新生代和老年代这样就可以根据各个年代的特点使用不同的回收算法以提高垃圾回收的效率。 在Java程序运行的过程中会产生大量的对象其中有些对象是与业务信息相关比如Http请求中的session对象、线程、Socket连接这类对象跟业务直接挂钩因此生命周期比较长。但是还有一些对象主要是程序运行过程中生成的临时变量这些对象生命周期会比较短比如: string对象由于其不变类的特性系统会产生大量的这些对象有些对象甚至只用一次即可回收。
分代详细说明
目前几乎所有的GC都是采用分代收集 (Generational Collecting) 算法执行垃圾回收的。 在HotSpot中基于分代的概念GC所使用的内存回收算法必须结合年轻代和老年代各自的特点。 年轻代(Young Gen) 年轻代特点:区域相对老年代较小对象生命周期短、存活率低回收频繁. 这种情况复制算法的回收整理速度是最快的。复制算法的效率只和当前存活对象大小有关因此很适用于年轻代的回收。而复制算法内存利用率不高的问题通过hotspot中的两个survivor的设计得到缓解。 老年代(Tenured Gen) l 老年代特点: 区域较大对象生命周期长、存活率高回收不及年轻代频繁. 这种情况存在大量存活率高的对象复制算法明显变得不合适。一般是由标记-清除或者是标记-清除与标记-整理的混合实现。
Mark阶段的开销与存活对象的数量成正比。Sweep阶段的开销与所管理区域的大小成正相关Compact阶段的开销与存活对象的数据成正比。 以HotSpot中的CMS回收器为例CMS是基于Mark-Sweep实现的对于对象的回收效率很高。而对于碎片问题CMS采用基于Mark-Compact算法的serial ld回收器作为补偿措施:当内存回收不佳(碎片导致的Concurrent Mode Eailure时)将采用serial old执行FulI GC以达到对老年代内存的整理。 分代的思想被现有的虚拟机广泛使用。几乎所有的垃圾回收器都区分新生代和老年代。
增量升级算法
上述现有的算法在垃圾回收过程中应用软件将处于一种stop the world 的状态。在stop the world 状态下应用程序所有的线程都会挂起暂停一切正常的工作等待垃圾回收的完成。如果垃圾可收时间过长应用程序会被挂起很久将严重影响用户体验或者系统的稳定性。为了解决这个问题即对实时垃圾收集算法的研究直接导致了增量收集 (Incremental collecting) 算法的诞生。 基本思想: 如果一次性将所有的垃圾进行处理需要造成系统长时间的停顿那么就可以让垃圾收集线程和应用程序线程交替执行。每次垃圾收集线程只收集一小片区域的内存空间接着切换到应用程序线程。依次反复直到垃圾收集完成。 总的来说增量收集算法的基础仍是传统的标记-清除和复制算法。增量收集算法通过对线程间冲突的妥善处理允许垃圾收集线程以分阶段的方式完成标记、清理或复制工作。
缺点
使用这种方式由于在垃圾回收过程中间断性地还执行了应用程序代码所以能减少系统的停顿时间。但是因为线程切换和上下文转换的消耗会使得垃圾回收的总体成本上升造成系统吞吐量的下降
分区算法
每一个小区间都独立使用独立回收。这种算法的好处是可以控制一次回收多少个小区间。 -般来说在相同条件下堆空间越大一次GC时所需要的时间就越长有关GC产生的停顿也越长。为了更好地控制GC产生的停顿时间将一块大的内存区域分割成多个小块根据目标的停顿时间每次合理地回收若干个小区间而不是整个堆空间从而减少一次GC所产生的停顿。
