旅游网站规划设计,深圳营销网站建设公司哪家好,全国网站制作前十名,域名和网站空间相互做解析目录
一、简述
二、主要特点
三、基本概念
1、主要概念
2、保留策略
3、连续查询
4、存储引擎—TSM Tree 5、存储目录
四、基本操作
1、Java-API操作
五、项目中的应用
六、单节点的硬件配置
七、性能测试
1、测试环境
2、测试程序
3、写入测试
4、查询测试 一…目录
一、简述
二、主要特点
三、基本概念
1、主要概念
2、保留策略
3、连续查询
4、存储引擎—TSM Tree 5、存储目录
四、基本操作
1、Java-API操作
五、项目中的应用
六、单节点的硬件配置
七、性能测试
1、测试环境
2、测试程序
3、写入测试
4、查询测试 一、简述
时间序列数据从定义上来说就是一串按时间维度索引的数据。 时序数据库TSDB特点 持续高并发写入、无更新、无删除数据压缩存储低查询延时。 常见的TSDB有influxdb、IoTDB、opentsdb、timescaleDB根据DB-engine排名目前在time series数据库领域排名第一位 。 二、主要特点
主要特点 对时序数据(sereis data)使用TSM存储引擎提供高性能的数据写入和压缩功能go语言编写程序只有一个二进制的可执行文件没有其他依赖关系插件支持telegraf采集、granfa可视化提供类似SQL语法格式的数据操作无结构无模式可以是任意数量的列支持与时间有关的相关函数如最大最小求和等保留策略(retention policies)功能可以定期清除老旧数据连续查询(continuous queries) 功能统计聚合数据来使数据查询更有效率。 缺点 社区版只支持单机部署集群功能需要使用收费的企业版。 三、基本概念
1、主要概念 database数据库名可以创建多个数据库不同数据库中的数据文件是隔离存放的存放在磁盘上的不同目录。measurement测量指标名相当于数据库中的表。point相当于传统数据库里的一行数据由时间戳time、数据field、标签tags组成。tag标签相当于传统数据库的索引表名tag一起作为数据库的索引。field各种记录值没有索引的属性。time每条数据记录时间是数据库中的主索引(会自动生成)。series相当于是 InfluxDB 中一些数据的集合在同一个 database 中retention policy、measurement、tag sets 完全相同的数据同属于一个 series同一个 series 的数据在物理上会按照时间顺序排列存储在一起。 2、保留策略 retention policy保留策略用于设置数据保留的时间每个数据库刚开始会自动创建一个默认的存储策略 autogen数据保留时间为永久之后用户可以自己设置例如保留最近2小时的数据。InfluxDB 会定期清除过期的数据。shard 分区是InfluxDB存储引擎的实现负责数据的编码存储、读写服务等。将InfluxDB中时间序列化的数据按照时间的先后顺序存入到shard中每个shard中都负责InfluxDB中一部分的数据存储工作并以tsm文件的表现形式存储在物理磁盘上每个存放了数据的shard都属于一个shard group。 shard group 可以理解为存放shard的容器所有的shard在逻辑上都属于这个shard group每个shard group中的shard都有一个对应的时间跨度和过期时间每一个shard group都有一个默认的时间跨度叫做shard group duration默认为7天。 保留策略、shard、shardGroup三者关系 在一个RP中如果指定的保留时间为24小时那么每个shard的duration为1小时即每个shard的时间跨度为1小时那么总共会有24个跨度为1小时的shard在触发数据的RP后删除最早时间跨度的shard。 例如我们在mydb数据库中指定保留策略为24小时。 那么此时shard group中对应就会存在24个shard每次到达过期时间时删除最早的shard并生成一个新的shard。 3、连续查询 InfluxDB的连续查询是在数据库中自动定时启动的一组语句语句中必须包含 SELECT 关键词和 GROUP BY time() 关键词。 InfluxDB会将查询结果放在指定的数据表中。 目的使用连续查询是最优的降低采样率的方式连续查询和存储策略搭配使用将会大大降低InfluxDB的系统占用量。而且使用连续查询后数据会存放到指定的数据表中这样就为以后统计不同精度的数据提供了方便。 4、存储引擎—TSM Tree TSM Tree 是 InfluxDB 根据实际需求在 LSM Tree 的基础上稍作修改优化而来。LSM-tree日志结构的合并树是一种基于硬盘的数据结构核心思想就是放弃部分读能力换取写入的最大化能力。TSM 存储引擎主要由几个部分组成 cache、wal、tsm file、compactor。 Cache插入数据时实际上是同时往 cache 与 wal 中写入数据可以认为 cache 是 wal 文件中的数据在内存中的缓存。当 InfluxDB 启动时会遍历所有的 wal 文件重新构造 cache这样即使系统出现故障也不会导致数据的丢失。WALwal 文件的内容与内存中的 cache 相同其作用就是为了持久化数据当系统崩溃后可以通过 wal 文件恢复还没有写入到 tsm 文件中的数据。TSM File单个 tsm file 大小最大为 2GB用于存放数据。Compactorcompactor 组件在后台持续运行每隔 1 秒会检查一次是否有需要压缩合并的数据。 主要进行两种操作 一种是 cache 中的数据大小达到阀值后进行快照之后转存到一个新的 tsm 文件中。 另外一种就是合并当前的 tsm 文件将多个小的 tsm 文件合并成一个使每一个文件尽量达到单个文件的最大大小减少文件的数量并且一些数据的删除操作也是在这个时候完成。 5、存储目录
influxdb的数据存储有三个目录分别是meta、wal、data。
meta 用于存储数据库的一些元数据meta 目录下有一个 meta.db 文件。 wal 目录存放预写日志文件以 .wal 结尾。 data 目录存放实际存储的数据文件以 .tsm 结尾。 四、基本操作 客户端命令行HTTP API 接口各语言API 库对 go 语言 API 封装基于 WEB 管理页面操作从1.3版开始InfluxDB官方就把web界面给取消 1、Java-API操作
1.1、引入java插件influxdb-java 1.2、执行写入写入的同时会创建measurement无结构可写入任意数量的列 1.3、Sql方式执行查询 1.4、开启批量写入
通过设置定时定量大小实现批量写入 五、项目中的应用
1、自动生成主索引字段time索引字段ID非索引字段Value 2、ID为车辆主键Value为十六进制转换的JT809协议减少空间存储 3、数据保留时间500天7天一个分区文件 4、3万辆车截止目前有450G左右的数据
5、一天的数据量有2500万左右 六、单节点的硬件配置
这里定义的InfluxDB的负载是基于每秒的写入的数据量、每秒查询的次数以及唯一series的数目。 什么时候需要更多的内存 一般来讲内存越多查询的速度越快增加更多的内存总没有坏处。影响内存的最主要的因素是series基数series的基数大约或是超过千万时就算有更多的内存也可能导致OOM所以在设计数据的格式的时候需要考虑到这一点。内存的增长和series的基数存在一个指数级的关系。 需要哪种类型的磁盘 InfuxDB被设计运行在SSD上InfluxData团队不会在HDD和网络存储上测试InfuxDB,所以不太建议在生产上这么去使用。在机械磁盘上性能会下降一个数量级甚至在中等负载下系统都可能死掉。为了最好的结果InfuxDB至少需要磁盘提供1000IOPS的性能。 七、性能测试
1、测试环境 2、测试程序 从github上找的influxdata公司提供的两款测试工具 influx-stress 用于写入测试influxdb-comparisons 用于查询测试 3、写入测试
测试工具influx-stress
测试原理 该工具是通过go语言的fasthttp库编写的。 1、会在服务器上创建一个数据库stress 2、然后创建一个MEASUREMENT(类似关系数据库的表)名为ctr该表有time,n,some三个字段。 3、不断的向stress数据库的ctr表插入数据每次插入的数据都包含三个字段。每一条数据称为一个points。插入数据的方法是通过influxDB的HTTP API发送请求(POST /write?dbstress)。 测试结论最大吞吐量为每秒写入60万条数据 4、查询测试
测试工具influxdb-comparisons
测试原理 该工具是通过go语言的fasthttp库编写的。 1、会在服务器上创建一个数据库benchmark_db 2、然后创建9个MEASUREMENT:cpu,disk,diskio,kernel,mem,net,nginx,postgresl。每个measurement有2160行数据。 3、通过http GET请求GET/query?dbbenchmark_db查询cpu这张表。查询语句为:SELECT max(usage_user) from cpu where (hostname host_0) and time 2016-01-01T01:16:32Z and time2016-01-01T02:16:32Z group by time(1m) 可以取出61条数据。 测试结论平均每秒执行600次查询
