三千万电表集抄压测
项目背景
dgiot海量用电信息采集与管理平台实现对关口、专变用户、公用配变、低压用户的采集全面覆盖对各类用电信息实现全面采集、监测;实现购电侧、供电侧、售电侧综合统一的信息管理,涵盖了传统意义上的厂站电能计量遥测、负荷管理、低压集抄等系统满足售电企业电能信息精益化管理要求,为企业提升快速响应市场变化、快速反映客户需求从客户用电信息的源头提供数据支持。平台不仅支持宽(窄)带载波、微功率、RS485、2/3/4G等传统采集网络,同时支持LoRa(WAN)、NB-IoT、ZETA等新型物联网网络采集;为国家电网公司泛在电力物联网建设中的高频采集、停电上报统计、电表分钟级召测、电压电流采集等营销业务策略的实施提供宝贵建设经验与技术支撑。同时,平台在支持单通道采集同时,新增了多通道采集与采集通道智能切换功能,不但可以提升采集成功率与稳定性,而且可以为传统用电信息采集优化运维模式、提高运维效率、进行物联网探索应用提供典型经验。
平台基于弹性分布式计算的高扩展性技术架构,各组件充分冗余实现高可靠性,主要实现自动化抄表、用电监测、线损分析、配用电分析等功能。同时,平台具备海量物联网连接管理、设备管理、海量数据存储等功能,可提供覆盖电网领域全产业链各专业方向的物联网增值服务;辅助实现配用电设备广泛互联、信息深度采集的建设目标;实现用电侧采集监控深度覆盖,提升终端智能化和边缘计算水平。使用精细化的数据采集技术,提炼数据模型,快速迭代商用抄表用户服务,为用户提供智能化、个性化、精准化的商业抄表的高质量客户增值服务
测试目的
当前电里系统用电信息采集业务过程管控以地市应用为主,严重缺乏省级采集日常监控、指标分析、数据质量分析等实时监控与智能分析,数据可视化水平不高,需开展省级采集运营分析与监控技术研究工作,实现全省采集数据质量综合的管控与展示。此次压力测试的目的是:通过在测试环境中,运用压力测试策略和定制化测试工具(dgiot虚拟电表集群、虚拟主站集群、虚拟前置机集群)对dgiot海量用电信息采集与管理平台的关键节点进行压力测试。通过系统内模拟5万集中器、3000万智能电表(参照省级电力用户用电信息采集系统规模)高频数据采集业务场景,利用科学智能化采集策略与任务调度实现不同类型(周期任务、补抄任务、临时任务、即时任务)采集任务高效平稳的下发、执行、返回;利用定制化数据工具对海量采集数据进行快速高效检索;利用影子设备对计量设备运行状态的在线监测;通过与模拟用电信息采集系统主站的对接,模拟采集数据的节奏可控、策略可调的主动上报或高频度召测、召读即时响应;通过虚拟发送的方式可以实现错峰主动上报,保障各服务运行稳定;提供标准API接口,可供数据分析、大数据挖掘;最终得出各系统节点的性能情况指标数据,以此来对整个海量用电信息采集与管理平台性能做出评估。
术语、定义和缩略语
名称 | 解释 |
---|---|
海量用电信息采集与管理平台 | 海量用电信息采集与管理平台是指通过物联网等技术手段及时采集用户用能数据,实现对各类用电信息实现全面采集、监测和动态分析功能的软件系统的统称。 |
dgiot全连接高并发物联网设备云平台 | dgiot全连接高并发物联网设备云平台是指杭州dgiot自主研发的海量设备接入、设备管理平台,为各种跨平台物联网应用、行业解决方案等提供海量设备简便的云端接入、存储、计算、展现等综合服务 |
响应平均时间 | 请求从发送开始到接收完服务器响应结果的时间 |
吞吐量 | 系统最大的每秒处理请求量,单位是:请求/秒 |
测试内容和范围
此次压力测试的内容和范围是dgiot海量用电信息采集与管理平台采集任务综合管理模块、云设备管理模块、智能协议解析服务组件、数据网关服务模块,从数据采集数据开始到dgiot海量用电信息采集与管理平台展现数据、查询。dgiot海量用电信息采集与管理平台又分为前后台,由于后台使用频率较小,故不纳入此次压力测试范围。由于整个业务流程需要和设备云平台交互,虽然设备云平台不在此次测试范围内,但也需要模拟设备云平台向设备发起获取数据请求,测试整体业务性能。如发现由设备云平台引起的性能问题则推动外部解决,不作为此次测试的重点。此次只针对于海量用电信息采集与管理平台自身开发的海量任务抄表功能或接口服务程序进行测试。
测试环境准备
测试对象
图1:海量用电信息采集与管理平台业务数据流向图
dgiot海量用电信息采集与管理平台前台应用的主要功能包括户表关系管理、任务综合管理、实时采集、设备管理、运行监控、数据展示、系统管理七大体系组成。由于实时采集和系统管理使用频率非常低,所以不作为此次测试对象。其余的功能模块按优先级由高到低依次递减为:任务综合管理、运行监控、设备管理、实时采集、数据展示。在此选取了部分主要业务场景作为测试对象,一共有如下几点:
场景名称 | 业务场景描述 | 使用占比 | 数量级 |
---|---|---|---|
登录 | 用户登录系统打开首页 | 不计 | 500个同时请求 |
任务综合管理 | 用户登录系统,根据业务需求对抄表结果进行周期采集任务配置 | 40% | 5万集中器、3000万电能表 |
运行监控 | 用户登录系统,到运行监控页面查看设备实时监控数据(在线状态、运行信息等) | 20% | 5万集中器、3000万电能表 |
设备管理 | 用户登录系统后增删改查集中器、采集器、电能表信息 | 20% | 5万集中器、3000万电能表 |
实时采集 | 对指定电能表进行选定数据指标的采集,采集完成后直接返回采集结果 | 10% | 5万集中器、3000万电能表 |
数据展示 | 用户登录系统查看用电信息采集数据,可以查看每个电能表的采集结果 | 10% | 5万集中器、3000万电能表 |
如图1所示,主要测试对象,共有如下四个:
1)dgiot海量用电信息采集与管理平台影子设备的整体性能
2)与设备云平台交互的数据网关服务模块
3)智能协议解析服务组件
4)采集任务综合管理(主要是定时任务下发、任务执行功能)
各测试对象的详细说明如下:
- dgiot海量用电信息采集与管理平台(WEB应用服务)
对于dgiot海量用电信息采集与管理平台(WEB应用服务)部分,主要对应平台档案信息管理、设备管理模块;通过查看影子设备运行情况掌握真实物理设备的运行情况,可以及时;了解智能电表、集中器的运行情况;对存在问题的设备进行检修与维护等。主要测试的是平台应用服务的平均响应时间和吞吐量等。
- 与设备云平台交互的数据网关服务模块
处理用电信息采集与设备云平台收发数据的程序是数据网关服务组件,双方根据设备云平台接入接口进行交互。设备云平台获取数据消息为DL/T645-2007协议、Q/GDW1376.1-2013电力用户用电信息采集系统通信协议-主站与采集终端通信协议。
主要测试服务功能如下:
服务功能 | 功能描述分析 | 使用占比 | 数量级 |
---|---|---|---|
接收设备云平台透传过来的数据 | 这块功能包括以下几个步骤:1)设备云平台下发消息给虚拟电表获取采集数据。2)虚拟集中器向设备云平台传输运行监测数据。3)设备云平台存储转发虚拟集中器上传给它的数据。4)数据网关接收设备云平台透传过来的数据并写入消息队列。 | 90% | 5万集中器,3000万电表 |
下发设备命令数据到终端 | 这块功能包括以下几个步骤:1)WEB应用发起请求至平台。2)平台下发指令到消息队列。3)程序到智能协议解析服务去获取下发指令下发到设备云平台。4)设备云平台转发到物理设备。 | 10% | 5万集中器,3000万电表 |
登录设备云平台与设备云平台保持心跳连接 | 虚拟集中器收发数据之前需要登录到设备云平台,登录后需要定时发送心跳保持激活状态。 | 忽略不计 | 单个虚拟集中器每分钟发一次,每天1440次 |
针对数据网关服务模块主要测试的是程序收发数据的速度。
- 智能协议解析服务组件
该程序是用于从消息队列中获取信息并解析成数据写入缓存和数据库中。从消息队列里取任务数据、任务结果数据进行处理。针对这块程序主要测试程序的处理速度和稳定性。
- 任务综合管理模块(主要是定时任务配置、下发、任务执行功能)
定时任务一共有如下7个:
1)任务配置
2)策略配置
3)任务触发
4)任务下发
5)结果返回
6)任务结果存储
7)任务结果展示
这块主要测试的是定时任务在大数据量的情况下的稳定性、执行速度、存库成功率、抄表结果查询效率等。
网络拓扑结构
dgiot海量用电信息采集与管理平台的网络拓扑结构图如下:
图2:dgiot海量用电信息采集与管理平台系统网络拓扑结构图
各个测试对象对应上图中的部署机器如下:
1)"WEB应用服务器"部署的是dgiot海量用电信息采集与管理平台web应用(前端)、平台缓存是在"缓存服务器"、平台数据库是在"数据库"服务器上。
2)与设备云平台交互的数据网关服务部署在"接口服务器"上。
3)消息解析程序部署在"智能协议解析处理服务器"上。消息队列单独部署在"消息队列服务器"上。
软硬件环境
测试环境机器配置:
机型 | CPU | 内存 | 硬盘 | 数量和用途 |
---|---|---|---|---|
云服务器1 | Intel(R) Xeon(R) CPU E5-26xx 16核 | 32G | 500G | 抄表平台服务:如缓存、消息队列、虚拟设备集群、智能协议解析程序 |
云服务器2 | Intel(R) Xeon(R) CPUE5-26xx 4核 | 8G | 200G | 基础档案,海量抄表结果存储 |
云服务器3 | Intel(R) Xeon(R) CPUE5-26xx 1核 | 1G | 50G | 抄表web应用服务,如档案查询、任务配置、抄表结果查询、运行监测等 |
测试策略和方法
针对dgiot海量用电信息采集与管理平台(WEB应用)采用的测试策略如下:
1、首先在数据库中把业务数据量加到压力测试标准值后,单次访问各主要页面功能,先确保平台上的各块功能在单次操作下,响应时间不超过5秒。排除明显的性能问题。
2、选取典型省级用电信息采集业务场景,对整个平台进行负载测试。按照省级平台并发数,直到请求响应报错(包括服务器拒绝、超时、程序报错)或者系统、程序崩溃。由于时间问题,此次不单独针对单个业务场景做测试,如果在测试过程中发现某个业务场景性能可能存在问题,再单独压测。
3、平台稳定性测试,在用户访问峰值压力下,持续访问平台功能,测试平台是否能长时间稳定运行。
预期得到的测试结果指标有:
指标名称 | 指标说明 | 限制条件 |
---|---|---|
最优并发数 | 在一定限制条件下,平台所能承受的最大并发数(严格并发) | 在这个并发数下,平均响应时间不超过5秒,系统无报错,服务器系统资源CPU不超过75%,内存不超过75% |
最大吞吐量 | 系统每秒能够处理的最大请求数。单位:请求数/秒 | 在这个吞吐量下,平均响应时间不超过5秒,系统无报错,服务器平均系统资源CPU不超过75%,内存不超过75% |
平均响应时间 | 最优并发数下的系统平均响应时间 | 条件同最优并发数 |
持续稳定运行时间 | 在最优并发数下持续运行的时间 | 持续稳定运行期间系统不报错,不崩溃,系统资源占用稳定。一般不小于72小时。 |
针对dgiot数据网关服务的测试采用如下策略:
1、先测试单次收发数据的处理响应时间,排除明显性能问题。
2、再分别测试数据接收和下发的处理速度。测试数据接收速度的时候,写程序用协议模拟智能电表直接上传大量的实时监控数据。发送完后统计全部写入消息队列的时间、验证正确率。测试下发时,先在消息队列中加入大量下发数据,再开启程序发送到设备云平台,记录消息全部出队列时间,即下发完成耗时。
3、最后测试程序较长时间运行的稳定性。
4、测试过程中需要监控消息队列的处理情况和系统资源占用情况。
预期得到的测试结果指标有:
指标名称 | 指标说明 | 限制条件 |
---|---|---|
数据接收处理速度 | 在一定限制条件下,程序处理消息的速度(单位:消息数/秒) | 在这个处理速度下,消息处理错误率为0,系统无报错,服务器系统资源在处理完成后回落到正常值。 |
数据下发处理速度 | 在一定限制条件下,程序下发消息的速度(单位:消息数/秒) | 在这个处理速度下,消息处理错误率为0,系统无报错,服务器系统资源在处理完成后回落到正常值。 |
持续稳定运行时间 | 在整体最大处理速度下,程序能持续稳定运行的时间 | 运行期间系统不报错,不崩溃,系统资源占用稳定(CPU持续值不超过85%,内存持续值不超过85%,且执行完后迅速回落到正常值)。一般不小于72小时。 |
针对智能协议解析服务程序的测试采用如下策略:
模拟真实海量电力集抄(3000万智能电表)业务场景,准备大量抄表业务数据消息进入消息队列,开启数据网关程序执行智能协议解析程序及入库操作,执行完后记录处理时间,校验处理结果的正确性。
预期得到的测试结果指标有:消息处理速度5000条/秒和最小持续稳定运行时间(电信级稳定,年中断时间不超过5分钟)。
针对定时任务的测试策略和方法如下:
在测试数据库中加入一定量的用电信息采集业务数据,然后开启各个定时任务执行,记录定时任务的执行时间和资源消耗情况,校验处理结果的正确性。
预期得到的测试结果指标有:每个定时任务的执行耗时。
测试工具及程序
本次压力测试要使用到的测试工具和用途如下:
工具名称 | 工具用途 | 工具版本 |
---|---|---|
虚拟电表 | 用于模拟海量集抄场景 | V3.0 |
虚拟集中器 | 用于测试虚拟电表协议;模拟海量电表采集网络 | V2.1 |
虚拟主站 | 用于测试用采主站规约;模拟用采主站对接场景 | V1.5 |
本次dgiot海量用电信息采集与管理平台测试使用开源压力测试工具虚拟电表模拟用智能电表接收平台数据情况,通过MQTT通信完成采集数据回传,对被测系统进行负载测试。如果在测试WEB应用过程中发现某些页面单次访问加载时间很慢则采用ChromeNetwork工具进行排查。对于服务器端使用Grafana服务直接通过目标拉取数据,或者间接地通过中间网关拉取数据实现。
监控的目的根据压力测试下不同业务场景、不同复杂度环境的下服务器的性能指标、平台业务数据指标确定平台的运行状况,对平台调优,确保平台可以支持同等规模真实场景业务的运行。
本次压力测试要使用到的测试程序及其功能定义如下:
程序名称 | 程序主要实现功能 | 程序开发语言 | 使用说明 |
---|---|---|---|
虚拟集中器 | 模拟物理集中器设备向设备云平台上传监控数据 | ERLANG | 抄表任务启动后平均每隔4秒钟发送5万条消息到数据网关服务 |
系统资源监控及关注指标
每次压力测试结果数据由测试工具Grafana自带的监听器搜集成聚合报告。
压力测试报告需关注的参数和指标如下:
指标名称 | 性能参数 | 说明 | 正常范围值 |
---|---|---|---|
平均响应时间 | average | 指单次测试总请求数的平均响应时间 | 小于3-5秒 |
中间时间 | Median | 中位数,也就是 50 % 用户的响应时间 | 小于3秒 |
90%请求响应时间 | 90%_line | 90 %请求的响应时间 | 小于5秒 |
最大响应时间 | Max | 单次测试中最大的响应时间 | 小于5秒 |
事务错误率 | error% | 本次测试中错误的请求数/请求总数 | 等于0% |
吞吐量 | Throughput | 表示每秒完成的请求数 | 越大越好 |
每秒数据量 | KB/Sec | 每秒从服务器端接收到的数据量 | 略小于带宽 |
服务器资源占用监控工具选用Prometheus服务来监控,具体需要监控的服务器指标有:
指标名称 | 说明 | 正常范围值 |
---|---|---|
CPU使用率 | 服务器的CPU使用率 | 不超过80% |
内存使用率 | 程序的内存使用率 | 不超过75% |
平均负载 | 过去1分钟、5分钟、15分钟内运行进程队列中的平均进程数量 | 不超过测试服务器核心数(16)的一半,8 |
对于数据库需要监控的指标有数据库连接数、SQL执行时间、监控执行太慢的SQL。对于web服务器需要监控的有:当前连接请求数、log日志。
测试结果
dgiot海量用电信息采集与管理平台
测试环境准备:
测试机器内存使用情况:(开销平稳,低于 50% )
测试机器 CPU 使用率:(开销平稳,无明显)
测试加载智能电表( 3000 万):
测试加载集中器( 50000 台):
智能电表运行监控:
集中器运行监控:
测试结果
根据测试方案既定的测试策略和方法,测试出dgiot海量用电信息采集与管理平台性能情况如下:
- 主要业务功能的单次响应时间
dgiot海量用电信息采集与管理平台主要页面单次访问耗时测试 | ||
---|---|---|
前置条件 | 5万集中器,3000万智能电表 | |
使用工具 | ChromeNetwork:用于页面加载耗时分析Grafana:用于监测服务器端响应时间 | |
页面 / 功能名称 | 请求响应平均时间 | 页面加载总耗时 |
用户登录 | 359ms | 1.6s |
首页 | 371ms | 2.6s |
档案管理 | 343ms | 3.37s |
集中器管理页面 | 382ms | 1.2s |
采集器管理页面 | 196ms | 500ms |
智能电表页面 | 255ms | 579ms |
定制任务管理页面 | 755ms | 2084ms |
打开实时采集页面 | 419ms | 2295ms |
远程控制 | 117ms | 453ms |
任务管理页面 | 175ms | 460ms |
主站交互页面 | 360ms | 505ms |
运行监控 | 375ms | 3.22s |
抄表结果查询 | 228ms | 800ms |
配置任务页面 | 576ms | 1s |
任务详情 | 167ms | 413ms |
立即补抄 | 341ms | 586ms |
集中器基本信息 | 220ms | 300ms |
新增档案 | 100ms | 400ms |
测试结果 | 测试通过(平台的主要功能页面无单次访问响应特别慢的功能) | |
测试通过标准 | 1)每个页面功能单次访问加载总耗时不超过4秒。2)服务器响应时间不超过1秒。 | |
备注说明 | 1. 页面加载总耗时是指:浏览器首次发送请求到页面完全加载出来的时间。2)服务器响应时间是指:发送请求到服务器端,服务器端返回的时间,不算客户端加载呈现时间。 |
|
- 平台整体负载测试
dgiot海量用电信息采集与管理平台整体负载测试 | |||||
---|---|---|---|---|---|
测试目的 | 测试平台能承受在3000万台电表采集压力下的运行情况 | ||||
电能表数量 | 平均采集时间 | 吞吐量(次 / 秒) | 错误率 | 系统资源占用(平均) | 测试结果 |
3000万 | 0.2ms | 5000 | 0 | 应用:CPU42.7%,内存40.2%数据库:CPU19.9%,内存28.8% | 通过 |
测试结论 | 1)数据库均为单机的环境下,平台能支持20000个并发抄表结果请求2)平台最大吞吐量为46个请求每秒(3000万电表条件下) |
发现的问题
暂无
海量数据网关服务
测试与设备云平台交互的数据收发模块分为两部分:一部分是虚拟设备(集中器、智能电表)采集数据、登录与心跳接收,另一部分是采集任务指令、登录确认、心跳确认数据下发。主要测试程序收发数据的速率是否平稳。
测试结果
- 测试数据上传下发消息
数据上传下发测试 | |||||
---|---|---|---|---|---|
测试目的 | 测试程序处理数据接收下发的速度 | ||||
上传 / 下发 | 处理消息总量 | 总耗时 | 错误率 | 系统资源占用 | 测试结果 |
上传消息 | 3000万条 | 1.67h | 0 | 平均CPU 40%,内存开销45% | 通过 |
持续三天,每分钟30万数据 | 72小时 | 0 | 平均CPU 40%,内存开销45% | 通过 | |
下发消息 | 3000万条 | 1.67h | 0 | 平均CPU 35%,内存开销40% | 通过 |
持续三天,每分钟30万数据 | 72小时 | 0 | 平均CPU 35%,内存开销40% | 通过 | |
测试结论 | 数据网关服务接收上传数据速度为:5000条/秒数据网关服务处理下发数据速度为:5000条/秒 | ||||
备注说明 | 1)3000万台智能电表,每台设备1条数据流,则完成一次采集数据3000万上传的时间是1.67h,可以满足业务需求。2)每天凌晨设备指令下发是3000万,全部下发完毕是100分钟,也满足业务需求。 |
发现的问题
暂无
智能协议解析服务
测试结果
消息解析程序测试 | |||||
---|---|---|---|---|---|
测试目的 | 测试消息解析程序的处理速度 | ||||
消息总数 | 总耗时 | 平均入库速度 | 是否全部入库 | 系统资源占用 | 测试结果 |
47452 | 1分钟 | 47452条/分钟 | 是 | 应用:CPU 45%,内存38.1%数据库:CPU 35%,内存32%队列/缓存:CPU 10%,内存 10% | 通过 |
2417520 | 10分钟 | 241752条/分钟 | 是 | 应用:CPU 42%,内存40.2%数据库:CPU 35%,内存31%队列/缓存:CPU10.8%,内存10% | 通过 |
17456800 | 60分钟 | 290945条/分钟 | 是 | 应用:CPU 38.9%,内存 40%数据库:CPU 35%,内存 33%队列/缓存:CPU 11.2%,内存8% | 通过 |
3000万 | 105分钟 | 285714条/分钟 | 是 | 应用:CPU 50%,内存 39.3%数据库:CPU 33%,内存 32%队列/缓存:CPU 11%,内存9% | 通过 |
测试结论 | 智能协议解析处理数据平均30万条/分钟。若以100分钟作为每台智能电表的采集周期,每台虚拟集中器承载1个数据流,则可支撑3000万台设备,已达到业务要求。该程序能在数据量大时,持续不间断正确处理数据72小时以上,能稳定支持数据日常采集处理。 |
发现的问题
暂无
任务综合管理
测试结果
测试抄表任务配置:
定时任务主要测试任务执行时间,详细测试结果见下表:
定时任务名称 | 执行频率 | 数据量 | 执行耗时 | 程序是否报错 | 测试结果 |
---|---|---|---|---|---|
清除数据库表数据 | 1 | 10亿条 | 10s | 否 | 通过 |
电表档案入库 | 1 | 3000万 | 1h | 否 | 通过 |
抄表任务下发 | 2h | 3000万条 | 1.67h | 否 | 通过 |
定时策略扫描 | 10s | 5万 | |||
否 | 通过 | ||||
补抄策略下发 | 2h | 0- | |||
否 | 通过 | ||||
抄表结果查询 | - | - | - | 否 | 通过 |
系统资源占用 | 任务空闲时,系统资源使用统计如下:应用服务:CPU使用 0.7%,内存使用 4.1%;数据库服务:CPU使用 0.7%,内存使用 21.5%多任务并行执行时,系统资源使用统计:应用服务:CPU使用 50%,内存使用 10%;数据库服务:CPU使用25%,内存使用58% |
| | 测试结论 | 按照5万集中器、3000万智能电表的业务量测试结果,所有定时任务的执行速度都能够满足业务需求 |
发现的问题
暂无
测试结论及指标
界面测试
平台实现与设计稿一致。站点的导航条位置,导航的内容布局,首页呈现的样式与需求一致。网站的界面符合标准和规范,直观性强。
功能测试
分不同账号、总权限账号,以及管理员账号分别进行功能测试。
1:链接测试无问题,不存在死链接,测试链接都存在.
2:对页面各个不同数据的测试,主要的出入库,销售报表,订单查看管理等一一对应,不存在数据有误差的问题.
兼容性测试(Windows下)
测试总的浏览器包括:谷歌浏览器, 360浏览器,IE浏览器,测试通过,主要逻辑以及次要功能均运行正常;
【注】:因浏览器的差异,有时候会导致界面浏览的显示差异。
易用性
网站实现了如下易用性:
输入限制的正确性
输入限制提示信息的正确性,可理解性,一致性
界面排版美观
web应用系统易于导航,直观
web应用系统的页面结构、导航、菜单、连接的风格一致
负载/压力测试
本次测试主要进行了压力测试:
测试整体结果:
单库5亿抄表结果下查看单个任务的抄表结果:
按照集中器查询抄表结果:
能耗监控项目压力测试结果 |
---|
dgiot海量用电信息采集与管理平台性能情况 |
1、dgiot海量用电信息采集与管理平台单机(16核32G),模拟5万台集中器、3000万只电表,每2小时进行一轮抄表,WEB应用服务平均响应时间(去除网络时延外)均小于100毫秒2、dgiot海量用电信息采集与管理平台单机(16核32G),模拟5万台集中器、3000万只电表,每2小时进行一轮抄表,服务器持续72小时以上稳定运行,应用服务器资源使用,平均CPU使用率低于50%,内存使用率低于50%;数据库服务器资源使用,平均CPU使用率低于60%,内存使用率低于50% |
与设备云平台交互的数据网关服务性能情况 |
1、接收完3000万条设备云平台上传的消息总耗时1.67小时,平均5000条/秒2、单纯处理完下行消息队列中的3000万条消息共耗时80秒,平均375条/秒3、在同时不间断处理上传下发消息的情况下,至少可持续运行24小时,无丢包无异常,服务器资源占用保持在安全范围内 |
智能协议解析服务和任务综合管理性能情况 |
1. 3000万电表任务下发解析2. 每10s所有集中器抄表一次,5000条抄表结果每秒入库3. 凌晨清除数据库表数据任务执行内完成4. 当日能耗统计任务执行3000万数据耗时103秒5. 整点报告定时任务执行耗时142秒6. 任务策略下发(50000条数据)定时任务执行耗时1秒7. 定时策略定点扫描任务耗时1秒内8. 定时策略下发(50000条数据)定时任务执行耗时10秒 |
测试结果数据整体分析 |
根据海量用电信息采集与管理平台的架构结合以上性能数据,对系统有5万集中器、3000万台智能电表接入后的性能进行如下分析:1、3000万智能电表采集数据,同时上传经过数据网关服务,进入队列的时间大约20秒;进入队列后,智能协议解析全部处理入库的耗时大约是3分钟,设备采集周期为120分钟,因此不会产生数据的积压延迟,满足业务要求。若以1小时作为每台设备的采集周期,每台智能电表1个数据流,则最大可支撑3000万台智能电表同时采集数据。2、3000万台智能电表,隶属于5万个台区(设定1个台区1个物理集中器),平台每天可支持全部电表执行12轮次的抄表任务,不仅能能够满足当前业务需求,同时支持高频数据采集。且以上结果只是单机性能,如进行横向扩展,则每增加一台机器,预测可支持的接入智能电表数量增加80%以上。3、系统的后台定时任务大多设置在凌晨开始执行,且在业务量级为3000万智能电表时,执行速度仍保持在毫秒的级别,且资源占用率较低。满足日常海量抄表的需求,同时可支持高频采集、电压电流采集、电压治理跟踪等业务扩展。 |
结论概述 |
通过上述分析可得出以下结论:1、海量用电信息采集与管理平台,能够满足50000台物理集中器、3000万台智能电表接入与日常数据采集要求,通过集群化部署,可支持接入设备的无限扩展。2、dgiot海量用电信息采集与管理平台,单台测试机可支持省级用电信息采集业务的稳定开展。 |
测试过程经验总结
本次压力测试模拟5万个物理集中器、3000万智能电表的真实用电信息采集场景(参照省级电力营销计量真实业务场景设计),进行72小时不间断压力测试,每2小时完成一轮全局抄表、补抄,测试期间服务运行稳定;测试服务器(单台,12核,48G内存)各项指标平稳;采集任务调度执行满足要求,抄表成功率(基本稳定趋近于100%)高于传统用采系统。在稳定性与性能方面,可达到电信级的指标。
测试主要数据说明:
1、海量用电信息采集与管理平台V2.0,可满足5000台物理集中器、3000万台智能电表业务承载;通过集群化部署,可支持物理集中器对接、智能电表的无限扩展。