当前位置: 首页 > news >正文

昆明seo网站建设费用wordpress justnews

昆明seo网站建设费用,wordpress justnews,北京市建设厅门户网站,天眼查企业查询公司网络上有很多MySQL表碎片整理的问题#xff0c;大多数是通过demo一个表然后参考data free来进行碎片整理#xff0c;这种方式对myisam引擎或者其他引擎可能有效#xff08;本人没有做详细的测试#xff09;.对Innodb引擎是不是准确的#xff0c;或者data free是不是可以参…网络上有很多MySQL表碎片整理的问题大多数是通过demo一个表然后参考data free来进行碎片整理这种方式对myisam引擎或者其他引擎可能有效本人没有做详细的测试.对Innodb引擎是不是准确的或者data free是不是可以参考还是值得商榷的。本文基于MySQL的Innodb存储引擎数据库版本是8.0.18对碎片fragment做一个简单的分析来说明如何量化表的碎片化程度。涉及的参数1information_schema_stats_expiryinformation_schema是一个基于共享表空间的虚拟数据库存储的是一些系统元数据信息某些系统表的数据并不是实时更新的具体更新是基于参数information_schema_stats_expiry。information_schema_stats_expiry默认值是86400秒也就是24小时意味着24小时刷新一次information_schema中的数据做测试的时候可以设置为0实时刷新information_schema中的元数据信息。2innodb_fast_shutdown因为要基于磁盘做一些统计需要将缓存或者redo log中的数据在重启实例的时候实时刷入磁盘这里设置为0在重启数据库的时候将缓存或者redo log实时写入表的物理文件。3innodb_stats_persistent_sample_pages因为涉及一些系统数据更新时对page的采样比例这里设置为一个较大的值为100000尽可能高比例采样来生成系统数据。4innodb_flush_log_at_trx_commit sync_binlog 因为涉及大量数据的写操作为加快测试关闭double 1模式。5innodb_fill_factor页面填充率保留默认的设置默认值是100以上涉及的参数仅针对本测试并不一定代表最优同时测试过程中数据写入或者删除后会不断地重启实例以刷新相对应的物理文件。碎片的概念数据存储在文件系统上的时候总是不能100%利用分配给它的物理空间比如删除数据会在页面上留下一些”空洞”或者随机写入聚集索引非线性增加会导致页分裂页分裂导致页面的利用空间少于50%另外对表进行增删改会引起对应的二级索引值的随机的增删改也会导致索引结构中的数据页面上留下一些“空洞”虽然这些空洞有可能会被重复利用但终究会导致部分物理空间未被使用也就是碎片。同时即便是设置了填充因子为100%Innodb也会主动留下page页面1/16的空间作为预留使用An innodb_fill_factor setting of 100 leaves 1/16 of the space in clustered index pages free for future index growth.。关系数据库的存储结构原理上是类似的理论上很简单就不过多啰嗦了。碎片是一个客观存在的事实。创建测试表以及数据做个简单的测试表结构如下CREATETABLE fragment_test ( id INTNOTNULL AUTO_INCREMENT, c1 INTNULLDEFAULTNULL, c2 INTNULLDEFAULTNULL, c3 VARCHAR(50) NULLDEFAULTNULL, c4 DATETIME(6) NULLDEFAULTNULL, PRIMARYKEY (id) );CREATEINDEX idx_c1 ON fragment_test(c1);CREATEINDEX idx_c2 ON fragment_test(c2);CREATEINDEX idx_c3 ON fragment_test(c3);生成200W测试数据CALL test_insertdata(2000000);CREATE DEFINERroot% PROCEDURE test_insertdata( IN loopcount INT)BEGINdeclare v_uuid varchar(50); while loopcount0 do set v_uuid uuid(); INSERTINTO fragment_test(c1,c2,c3,c4) VALUES (RAND()*200000000,RAND()*200000000,UUID(),NOW(6)); set loopcount loopcount -1; endwhile;END查询语句参考自最后的链接中的文章SELECT NAME, TABLE_ROWS, UPDATE_TIME, format_bytes(t.data_length) DATA_SIZE, format_bytes(t.index_length) INDEX_SIZE, format_bytes(t.data_lengtht.index_length) TOTAL_SIZE, format_bytes(t.data_free) DATA_FREE, format_bytes(it.FILE_SIZE) FILE_SIZE, format_bytes((it.FILE_SIZE/10- (t.data_length/10 t.index_length/10))*10) WASTED_SIZE FROM information_schema.TABLES as t JOIN information_schema.INNODB_TABLESPACES as it ON it.name concat(table_schema,/,table_name) WHERE TABLE_NAME fragment_test;碎片的量化上面说到数据在存储的时候总是无法100%利用物理存储空间Innodb甚至会自己主动预留一部分空闲的空间1/16那么如何衡量一个表究竟有多少尚未利用的空间这里从系统表information_schema.tables和information_schema.innodb_tablespaces来对比实际使用空间和已分配空间来对比来间接量化碎片或者说未利用空间的程度。然后观察数据空间的分配情况尽管系统表中的数据不是完全准确的但是也比较接近实际的200W系统表显示1971490暂时抛开这一小点误差。可以很清楚地看到数据和索引的空间是329MB文件空间是344MBDATA_FREE空间是6MB。随机删除1/4的数据也就是50W行DELETE FROM fragment_test ORDER BY RAND() LIMIT 500000;然后重启实例并执行分析表analyze table继续来观察这个空间的分配这里看到1系统表显示150000行跟表中的数据完全一致尽管更多的时候这个值是一个大概的值并不一定准确严格说可能非常不准确这里归因于innodb_stats_persistent_sample_pages的设置。2数据文件空间没有增加344MB可以理解因为这里是删数据操作所以不用申请空间。3删除了1/4的数据数据和索引的的大小基本上不变这里就开始有疑问了为什么没有成比例减少4data_free增加了3MB显然这不是跟删除的数据成比例增加的那么怎么理解碎片DATA_FREE怎么理解碎片或者说可用空间又怎么衡量从200W数据中随机删除50W也就是1/4表的空间没有变化可以肯定的是现在存在大量的碎片或者说可用空间但是表的总的大小没变化data_free也基本上没有变化到这里就有点说不通了。那么data free到底是怎么计算的看官方的解释The number of allocated but unused bytes.InnoDB tables report the free space of the tablespace to which the table belongs. For a table located in the shared tablespace, this is the free space of the shared tablespace.If you are using multiple tablespaces and the table has its own tablespace, the free space is for only that table.Free space means the number of bytes in completely free extents minus a safety margin. Even if free space displays as 0, it may be possible to insert rows as long as new extents need not be allocated.data_free的计算方式或者说条件是完全空闲的区extents每个区1MB64个连续的16 kb 大小的page只有一个完全没有使用的区才统计为data_free因此data_free并不能反映出来真正的空闲空间。同时测试中发现performance_schema.tables中的table_rows会受到innodb_stats_persistent_sample_pages的影响但是data_length和index_length看起来是不会受innodb_stats_persistent_sample_pages的影响的这里采样比例已经足够大尽管table_rows已经是一个完全准确的数字了但是data_length和index_length却仍旧是一个误差非常大的数字。说到这里那么这个碎片问题如何衡量如果只是看performance_schema.tables或者information_schema.INNODB_TABLESPACES其实依旧是一个无解的问题因为无法通过这些信息得到一个相对准确的碎片化程度。其实在这里参考链接的评论中也提到这个问题我是比较赞同的。如果要真正得到碎片程度其实还是需要重建表来对比实现这里删除了1/4的数据理论上就有大概1/4的可用空间但是上面的查询结果并不能给出一个明确的答案怎么验证这个答案呢这里就要粗暴地优化表了optimize table fragment_testanalyze table优化表只是“重整”了碎片但是系统表的数据并没有更新因此必须要再执行一次分析表 analyze table来更新元数据信息其实这里也能说明analyze table只是更新元数据如果存储空间没有更新recreated单纯地analyze table也是没有用的。对标进行optimize和anlayze之后这里可以看到物理空间确实减少了大概1/4的量。这里其实就是为了说明一个问题Innodb表无法通过data free来判断表的碎片化程度。然而这里参考链接的测试说明删除数据后data free有明显的变化这个又是为什么刚特么说无法通过data free来判断表的碎片化程度现在又说删除数据后data free有明显的变化其实参考链接中有另外一个比较有意思的测试相对用随机删除的方式采用连续删除的时候或者是整个表的数据全部删除这个data free确实会相对准确地体现出来删除数据后表size的变化情况。这又是为什么其实不难理解上面已经说了data free的计算方式是按照完全“干净”的区extent来做统计的如果按照聚集索引连续的方式删除相对随机删除那些存储连续数据的区extent是可以完全释放出来的这些区的空间释放出来之后会被认为是data free所以data free此时又是相对来说准确的。因此很多测试如果想到得到客观的数据需要尽可能多地考虑到对应的场景和测试数据情况。碎片的衡量实际业务中对表的删除或者增删改很少是按照聚集索引进行批量删除或者说一旦存在随机性的删除或者更新页分裂都会造成一定程度的碎片而这个碎片化的程度是无法通过data free来衡量的。那么又如何衡量这个碎片程度呢1自己根据业务进行预估在可接受程度内进行optimize table记录optimize table之后的table size变化程度来衡量一个表在一定时间操作后的碎片化程度从而来指导是否或者多久对该表再次进行optimize table2采用上述连接中提到的innodb_ruby 这个工具直接解析表的物理文件这种方式相对来说更加直接。不过这个工具本人没来得及测试理论上是没有问题的。 这里盗用上述链接中的图片绿色的是实际使用的空间中间的黑块就是所谓的碎片或者说是空洞。补充早上起来又想到了另外一种case就是说随机删除后剩余空间中出现了“空洞”这些空洞在写数据的时候会不会被再次利用验证其实很简单写入200W数据随机删除50W后analyze table更新performance_schema,然后继续再写入50W行的数据如果会利用之前随机删除的空洞空间那么就不会重新分配物理空间否则就会重新分配物理空间。因为聚集索引的Id是自增的相当于顺序写入理论上是不会重用之前删除留下的空洞的测试的结果还是在预期之内的重新写入50W数据后表对应的物理文件会有一个很明显的增加。
http://www.dnsts.com.cn/news/12869.html

相关文章:

  • 网络公司网站aspwordpress动图
  • 网站建设 软件有哪些建设通官方网站
  • discuz 修改网站标题wordpress插件 开发
  • 网站模板怎么导入关于对网站建设情况的通报
  • 手机建站哪家好精湛的网站建设排行榜
  • 企业建站模板下载关键词排名怎样
  • 诸城网站建设哪家好公司网站建设与维护
  • 建设银行网站查开户行led灯网站策划书
  • 网站如何做的有特色垂直门户网站的盈利模式探讨
  • 济南免费网站制作网站建设方式优化
  • 网页设计图片怎么居中对齐北京推广优化经理
  • 网站建设制作 优帮云四川省建设厅官方网站三内人员
  • 网站做网页wordpress分类描述
  • 网站建设收费报价表怎么查自己注册的域名
  • 长春网站优化中国品牌网站官网
  • 温州期货公司哪家好网络优化论文
  • 西安网站建设中企建站简单的创意平面设计公司
  • 游戏公司做网站设计赚钱吗工程造价信息网官网定额查询
  • 能上传文件的网站网站开发三大元素
  • 家乡网站怎么做建筑钢模板
  • 厦门最早做网站的公司做视频的软件模板下载网站有哪些内容
  • 浦东教育网站官网网站建设选哪家
  • 电子商务平台网站开发太原 网站建设
  • 公司备案网站被注销吗官网申请
  • 上海网站建设公司大全网站建设电脑维修数据恢复
  • 双语cms网站东莞三合一网站建设
  • 赣州网站建设价位公交车网站怎么做留言板
  • 如何给网站增加关键词做网站如何赚流量钱
  • 哈尔滨网站域名部门长沙多地发布最新通告
  • 怎么修改wordpress主题代码部分北京seo优化哪家公司好