AppDA 数据分析系统

　　数据分析系统AppDA(AppSoft Data Analysis System)是北京神州普惠科技股份有限公司自主研发的一款数据分析软件。旨在解决生产、试验过程中数据分析处理、可视化展示和数据分析建模等问题，适用于军事仿真、销售分析、市场调查、统计报告、质量控制、科学研究、社会调查、企业管理、教学及行政管理等领域。系统涵盖分析模型定义、算子之间的聚合算法、分析数据来源、分析的执行等，还包括常用的分析算法以及自定义分析算子，具有算法多、可视化、可扩展等特点，是一款优秀的数据分析工具。

 

总体流程图

 

数据分析系统AppDA的功能介绍

　　AppDA系统的功能包括：系统基本功能、数据分析工程管理、数据预处理、数据分析算法库、分析流程设计、分析算法扩展等。下面针对部分功能做简要介绍：

 

系统功能模块图

 

　　1)数据分析工程管理

　　数据分析流程的每个步骤需要创建很多资源文件，资源文件通过数据分析工程进行关联。通过建立数据分析工程，可以对分析相关的各类信息进行统一收集和整理。分析工程保存的信息主要包括：分析流程、数据聚集，各类信息以工程项的形式与分析工程关联，每个工程项都以文件形式保存，分析工程在各工程项之间建立了关联关系。分析工程中所有工程项可以导出为一个rar格式的工程包文件，导出过程中可以选择将工程中所使用到的所有算子压缩到导出的工程包中。

　　2)数据源管理

　　数据源定义了分析数据的来源，数据源中存储了所有已建立的数据库连接信息，通过指定文件名可以在文件系统中找到文件一样，通过提供正确的数据源名称，用户可以找到相应的数据库连接。数据源可根据所使用数据适配器的类型分为通用数据源和专用数据源。系统提供TDM资源面板，通过资源面板可实现TDM系统的登陆、登出、文件上传、下载、删除等操作。通过TDM下载的符合格式文件可直接生成数据集，系统支持数据源的创建、编辑、删除等操作。

　　3)数据集管理

　　数据集是由系统的使用者定义的虚拟数据表，是系统中进一步使用数据的基础。定义好的数据集均为二维表，包括若干列(“字段”)数据，每行为一条记录。数据集可基于不同的原始数据来源，如数据库、XML文件等。并且可以基于对原始数据的处理生成，比如在SQL中进行关联、过滤、计算，使用存储过程等等。甚至可以通过自定义数据集，由开发者自行处理任意需求的数据来源格式和预计算要求。

　　数据集可以直接创建也可以通过数据源创建。直接创建数据集，需设定数据集的属性集合与数据记录数量。通过数据源创建数据集，需要使用与数据源相匹配的数据驱动，通过查询及过滤接口从数据源获得属性信息和记录数据。还支持用户根据数据源来创建静态数据集以及动态数据集。

　　● 静态数据集：数据导入系统后形成数据集文件便与数据源失去连接，只是单纯的获取了数据源中对应的数据。

　　● 动态数据集：数据导入系统后形成数据集文件与数据源保持连接，在进行数据分析时，会自动查询一次数据库，获取最新的数据。

 

数据集编辑界面

 

　　4)数据处理

　　数据集创建完成后，可根据具体需求针对数据进行处理操作，使数据成为后续的分析计算的输入。数据处理主要包括：数据分组、数据过滤、合并、相关性计算、属性压缩变换以及属性过滤等功能。

　　5)数据可视化

　　可以对数据集的数据进行图形绘制，直观地感受数据内在关联信息以及变化趋势。主要包括：散点图、折线图、柱状图、饼图、三维散点图。

 

数据可视化界面

 

　　6)数据对比与回放

　　数据对比分析支持用户选择两个或多个数据数据属性进行对比，支持用户对曲线图局部缩放，极值点显示等功能。

 

数据对比分析界面

 

　　数据回放主要是对属性数据的回放。包括播放进度控制：提供回放进度的精确定位功能和截取一个时间段来进行数据回放的功能;属性数据展示：曲线展示视图的功能是对数据回放过程中参数数据的展示，所提供的功能有数据的曲线展示功能，曲线的放大和缩小，显示数据的极大值和极小值，截取一个时间段来进行数据回放的功能，选中当前的时间点来进行时间拖拽定位功能。

 

数据回放界面

 

　　7)数据分析算法库

　　AppDA提供各类分析算法，能够满足统计分析、相关性独立性分析、数据拟合、因子提取、假设检验等多种用途。所有分析算法都采用插件化方式集成。支持采用公式编辑器、动态链接库、Matlab脚本、R语言、JavaScript脚本对分析算法进行扩展，详细结构如下图：

 

分析算法库

 

　　8)分析流程设计

　　分析流程明确了一个或多个同级相邻算子之间的计算规则。可与数据集进行数据交互，有独立的结果展示界面。

　　① 分析计算流程创建支持使用算法库中的所有算子创建数据分析流程;

　　② 支持分析计算流程文件的可视化方式进行编辑、修改、保存以及工程化管理;

　　③ 分析流程设计完成后，根据需要分析的数据对算子数据进行配置、计算以及结果查看。

　　④ 可根据所采集的分析数据，对分析方案中所有计算流程中各算子的输入参数和内部参数进行配置;

　　⑤ 可根据计算流程方向从前至后进行计算，依据每个的分析方法计算出各自的分析结果然后传递至下一个算子进行计算。在分析计算流程的执行过程中，可以对分析出错的算子进行日志提示。

　　⑥ 可在算子输出界面中可以查看算子的计算结果。

 

分析流程设计界面

 

分析结果查看界面

 

　　9)分析算法扩展

　　系统提供自定义数据分析算法的扩展机制，能以公式、脚本和DLL等三种方式进行扩展，其中脚本语言支持JavaScript脚本、R语言、Matlab脚本(需要Matlab运行环境支撑)。

 

自定义公式类算子界面

 

数据分析系统AppDA的特点

　　1) 可提供分析数据的采集和预处理功能;

　　2) 支持SQLServer、MySQL、MongoDB等多种数据源;

　　3) 为神州普惠试验数据管理系统(AppTDM)提供了专门的数据适配模块;

　　4) 采集结果形成数据集，数据集用于保存原始数据、处理结果以及中间过程数据，同时可以保存获取数据的SQL查询命令;

　　5) 支持构建动态数据集，动态数据集可以在每次执行时获取最新数据;

　　6) 支持用户采用包括dll链接库、Matlab脚本、Javascript脚本和R语言等多种方法自定义分析算法;

　　7) 可运行于国产麒麟操作系统，满足航空、航天、电子、军工等领域试验数据分析的需求。

 

数据分析系统AppDA的市场使用情况

　　数据分析系统AppDA已经在多家用户单位处得到成功应用和验证：

　　1) 中船某所基于AppDA开发的某仿真试验分析平台，能够完成仿真数据分析流程设计，数据对比分析及回放，并集成Matlab2014a进行分析算法开发;

　　2) 中电某所通过AppDA对芯片测试数据进行分析处理，根据不同测试条件下的测试数据对芯片各项指标的计算并对芯片良品率进行综合统计，支持对测试结果不同条件下进行对比分析。