长春网站建设于健,官方网站建设哪儿有,wordpress 工业主题,数字博物馆网站建设1. 引言 在大多数的场景里#xff0c;存储数据都是用MySQL这类关系型数据库#xff0c;这类数据库的特点是数据存储安全性和一致性高#xff0c;可以用于事务操作#xff0c;但是随着数据量的增加#xff0c;查询的速度也会随之降低#xff0c;并且其扩展能力有限#x… 1. 引言 在大多数的场景里存储数据都是用MySQL这类关系型数据库这类数据库的特点是数据存储安全性和一致性高可以用于事务操作但是随着数据量的增加查询的速度也会随之降低并且其扩展能力有限因此在日志记录和查询等场景下MySQL就显得力不从心为了解决对海量数据的搜索、分析和计算引入ES(ElasticSearch)搜索引擎。
对于IOT领域记录设备的控制日志非常的有必要对于客诉排查或者之后的数据分析起着很重要的作用假如共有100w的设备一天控制5次那一年的数据
100w * 5 * 365 9 亿因此为了更为较好地存储和查询数据对于这种大量增加的数据建议用es来存储。 2. ES使用 接下来就介绍一下如何利用SpringBoot框架联合es存储和查询数据。
首先引入依赖
dependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-data-elasticsearch/artifactIdversion2.7.4/version
/dependency通过引入依赖之后就可以使用SpringBoot提供的ElasticsearchRestTemplate模版类在该类中有着很多方法很方便使用。
配置文件配置es连接
server:port: 8080spring:elasticsearch:rest:uris: http://127.0.0.1:9200
# username: #用户名
# password: #密码connection-timeout: 6000read-timeout: 6000接着在使用的地方注入ElasticsearchRestTemplate
Autowired
ElasticsearchRestTemplate elasticsearchRestTemplate;保存数据使用es提供save方法
elasticsearchRestTemplate.save(saveBO, getIndex(index_name));// getIndex() 方法
private IndexCoordinates getIndex(String index) {return IndexCoordinates.of(index);
}在save方法中共有两个入参第一个参数就是自己想存储的数据里面的字段根据业务自定义第二参数就是定义一个在es中的索引其索引就像MySQL中的表名字。
查询es中的数据
public List query(QueryParam queryParam){// 构建查询的条件BoolQueryBuilder queryBuilder QueryBuilders.boolQuery();// 查询条件1设备idif (!StringUtil.isEmpty(queryParam.getApplianceId())) {queryBuilder.filter(QueryBuilders.termQuery(applianceId.keyword, queryParam.getApplianceId()));}// 查询条件2时间区效开始时间结速时间需同时传输才生效if (queryParam.getOperateBeginDate() ! null queryParam.getOperateEndDate() ! null) {queryBuilder.filter(QueryBuilders.rangeQuery(operateDate).timeZone(Asia/Shanghai) .gte(queryParam.getOperateBeginDate()).lte(queryParam.getOperateEndDate()));}// 实现查询条件组装设置分页中的起始页和每页大小。NativeSearchQuery nativeSearchQuery new NativeSearchQueryBuilder().withQuery(queryBuilder).withPageable(PageRequest.of(queryParam.getPageNo(), queryParam.getPageSize())).withSorts(SortBuilders.fieldSort(operateDate).order(SortOrder.DESC)).build();// 使用elasticsearchRestTemplate.search查询数据SearchHitsQueryResult search elasticsearchRestTemplate.search(nativeSearchQuery, QueryResult.class, getIndex(index_name));// 提取其中的数据提出存储的数据QueryResultListQueryResult list search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList());
}在查询方法中首先使用BoolQueryBuilder来构建查询的条件在代码中使用设备id和时间进行过滤使用NativeSearchQueryBuilder构建好查询条件、分页和降序排序接着使用elasticsearchRestTemplate.search()查询结果最后使用search.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList())对查询的结果进行提取。 3. 小结 通过以上的步骤就可以使用es存储和查询数据其中elasticsearchRestTemplate集成度高只需定义好入参和出参即可其他基本都是模块化操作非常简单方便。知道了如何使用其里面的原理也需要了解下有机会再探索下。
