• 科技咨询大数据-数据访问接口规范

数据访问接口标准范围：本标准规定了科技咨询大数据资源的数据访问接口要求，包括应用管理、接口管理、标签、自定义SQL、算法模型、算法实验和注册API等。本标准适用于科技咨询大数据平台的研制、开发和测试。

数据访问接口标准内容：本标准规范主要包括以下几方面内容：术语、定义和缩略语、应用管理、接口管理、标签、自定义SQL、算法模型、算法实验以及注册API等部分。

数据访问接口框架：在科技咨询数据管理中，数据访问接口用于获取基于科技咨询数据资源模型所划分的机构域、技术域、经济域、区域域、人才域等跨域业务应用的数据库内容。科技咨询数据访问接口框架包括数据咨询服务数据库访问者、业务数据库控制器以及嵌入在数据咨询服务数据库上的数据访问接口等。

应用管理概述：应用管理是对API调用方的统一管理，API通过授权形式与特定应用关联，以实现不同应用服务的个性化管理。科技咨询业务应用中，通过应用管理可以更灵活地支撑上层业务应用对不同数据的使用需求，根据不同的业务需求分别请求不同的数据域，实现数据高效灵活使用。

接口管理概述：科技咨询数据服务管理平台应向数据获取方提供数据资源访问接口，并提供接口描述及调用方法。数据提供方对接口的设计和实现应遵循统一的技术规范要求，具体涉及接口设计、接口发布、接口维护和接口访问等过程。

标签概述：科技咨询标签类型的API是对平台标签数据的快速服务化。整个任务依赖于平台标签管理理模块，用户通过选择平台已配置好的类型标签，实现简便、快速地定义API，完成相应标签类型的科技咨询数据输出服务。

自定义SQL概述：科技咨询自定义SQL类型的API支持编写API自定义查询SQL。用户通过自定义编写SQL语句，指定所查询数据的数据源，生成相应的数据服务API，满足科技咨询用户的不同需求。

算法模型概述：科技咨询算法模型类型的API支持通过部署科技咨询场景所需要的算法模型，进而构建生成算法服务API，完成相应算法模型类型的科技咨询数据输出服务。

算法实验概述：科技咨询算法模型类型的API支持通过部署算法实验生成算法服务API，完成相应算法实验类型的科技咨询数据输出服务。

注册API概述：注册类型的API支持将已有Web服务（http协议）注册到平台进行统一管理，输出数据服务。

• 科技咨询大数据-元数据描述规范

范围：本标准规定了科技咨询大数据元数据描述规范，包括科技咨询大数据平台元数据概述、元数据采集和数据表等。本标准旨在为科技咨询平台建设、开发和业务人员使用，适用于科技咨询元数据管理的建设。

元数据概念：元数据泛指描述领域概念、领域关系和领域规则的数据。领域语义和知识也属于元数据的范畴。科技咨询系统元数据泛指科技咨询大数据平台中的概念、关系和规则的数据。

元数据管理目标：为增强科技咨询元数据管理模块的基础支撑能力，助力系统分析和提升数据质量能力，科技咨询系统元数据的建设目标是建立咨询系统核心元模型、规范数据处理过程的结构化描述；为咨询系统基础技术提供支撑，扩充元数据服务接口；服务咨询系统数据质量管理子系统，为源系统联动机制提供基础支持。

元数据管理范畴：科技咨询领域可宏观划分为三个子领域：技术子领域、业务子领域和管理子领域、相应地，科技咨询领域的元数据可以划分为三类元数据：技术元数据、业务元数据和管理元数据。

这三种元数据的具体描述如下：技术元数据-技术元数据是描述科技咨询系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖科技咨询系统数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节；

业务元数据-业务元数据是描述科技咨询系统中业务领域相关概念、关系和怪责的数据主要包括业务术语、信息分类、指标定义和业务规则等信息；

管理元数据-管理元数据是描述科技咨询平台中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息。

科技咨询系统元数据用于支持经营分析的技术活动、管理活动和业务活动，其应用覆盖科技咨询系统技术、管理和业务等各个方面。

• 科技咨询大数据-数据接入与集成规范

范围：本标准规定了科技咨询大数据资源的数据接入与集成规范，包括数据接入分类、数据接入方法和数据集成规范等。本标准旨在为科技咨询多源、异构的数据提供者，接入数据至大数据集群数据仓库，以及多主题数据的集成提供技术规范。

数据接入分类：数据接入分类规范定义了将海量、多源的科技咨询大数据的全量数据、增量数据、结果数据等接入大数据平台时所需要遵循的接入分类规范。主要包括将来自天眼查、同花顺、智慧芽、万方等提供的不同数据源、不同形式数据的接入类型，不同接入形式的接入方法分类，以及接入方法选择。例如，以统一资源信息模型所划分的机构域、技术域、经济域、区域域、人才域等形式的主题域进行数据接入。

数据接入方法：主要有数据库接口接入,数据ETL接入,数据文件接入。

数据集成规范：科技咨询数据集成规范定义了多主题数据的集成、聚合方法的数据流水线规范。数据的整体了流水线如下图6-1所示。科技咨询大数据平台基于Mysql、Disk提供的多种科技咨询数据，通过HDFS文件系统写入Hive，通过Spark大数据计算引擎，实现对科技咨询数据处理，并将处理好的数据通过Druid提供给科技咨询业务服务平台，满足多种业务需求。