快速体验
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
实验介绍
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
数据库采集
ADAM提供在线采集和采集器采集两种数据库采集方式，您可以根据能否从云上去访问源库自行选择采集方式。采集方式介绍 在线采集：将源数据库的网络打通，并在源数据库白名单中添加ADAM服务器，确保ADAM服务器可以直接通过在线采集方式进行...
创建API数据源
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
创建API数据源
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加...
数据采集
AnalyticDB MySQL版 集群内部对多种数据进行了采集，服务于监控告警系统，确保对故障问题可追溯和可排查。时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务...
日志同步报警
若您购买了数据采集功能包，并在 组织系统配置 中配置了采集数据同步服务，系统将采集的日志数据加工成可用于分析筛选的行为数据，并将加工好的数据自动同步到用户指定的ADB3.0数据源中。若未成功同步数据到用户指定的数据源，则将在消息...
DataCollection
描述 OpenSearch 应用的数据采集功能 示例 {"id":"286","name":"os_function_test_v1","type":"server","status":2,"dataCollectionType":"BEHAVIOR","industryName":"GENERAL","created":1581065837,"updated":1581065904,"sundialId":...
DataCollection
描述 OpenSearch 应用的数据采集功能 示例 {"id":"286","name":"os_function_test_v1","type":"server","status":2,"dataCollectionType":"BEHAVIOR","industryName":"GENERAL","created":1581065837,"updated":1581065904,"sundialId":...
API概览
API说明文档：包括应用相关API，上传数据API，数据搜索API。API访问上分为URL请求串及请求Header参数两部分，所有请求均必须包含该两部分才能执行。术语表 术语 全称 中文 说明 app application 应用 一个应用即一个完整的搜索服务 错误码 ...
快速入门
如果您是首次使用智能数据建设与治理Dataphin，您可以参考快速入门文档，了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
EMR Doctor常见问题
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
数据库评估常见问题
本文档介绍了您在使用数据库评估过程中遇到的常见问题。画像报错，非法的项目？请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请...
API任务概述
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连数据源...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
API推送数据源
添加API数据源 进入OpenSearch控制台，在左上角切换到OpenSearch-召回引擎版，在实例管理页面对应的列表中找到所属实例，点击操作栏中的...API数据源全量时会将以前推送的数据清空，从指定的时间戳开始追实时数据，所以API数据源全量要慎重。
API推送数据源
添加API数据源 进入OpenSearch控制台，在左上角切换到OpenSearch-向量检索版，在实例管理页面对应的列表中找到所属实例，点击操作栏中的...API数据源全量时会将以前推送的数据清空，从指定的时间戳开始追实时数据，所以API数据源全量要慎重。
创建Redis数据源
通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。本文为您介绍如何创建Redis数据源。背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。权限说明 ...
操作流程
数据服务API：数据API是一种由云计算资源中的数据通过参数配置生成API的API类型，生成API后可以方便后续调用，减少资源操作成本。三方API：统一服务支持创建第三方平台提供的API，通过生成API可以方便后续调用，减少资源操作成本。数据上报...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
创建Lindorm数据源
通过创建Lindorm数据源能够实现Dataphin读取Lindorm的业务数据或向Lindorm写入数据。本文为您介绍如何创建Lindorm数据源。背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、...
创建Lindorm数据源
通过创建Lindorm数据源能够实现Dataphin读取Lindorm的业务数据或向Lindorm写入数据。本文为您介绍如何创建Lindorm数据源。背景信息 Lindorm是阿里云推出的自研数据库，提供宽表、时序、文件、搜索等多种数据模型，支持毫秒级在线数据处理、...
新建Doris数据源
通过创建Doris数据源能够实现Dataphin读取Doris的业务数据或向Doris写入数据。本文为您介绍如何创建Doris数据源。背景信息 Doris即Apache Doris，是一个基于MPP架构的高性能、实时的分析型数据库，仅需亚秒级响应时间即可返回海量数据下的...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建Redis数据源
通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。本文为您介绍如何创建Redis数据源。背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。前提条件 若您需...
新建Doris数据源
通过创建Doris数据源能够实现Dataphin读取Doris的业务数据或向Doris写入数据。本文为您介绍如何创建Doris数据源。背景信息 Doris即Apache Doris，是一个基于MPP架构的高性能、实时的分析型数据库，仅需亚秒级响应时间即可返回海量数据下的...
创建Salesforce数据源
通过创建Salesforce数据源能够实现Dataphin向Salesforce请求业务数据。本文为您介绍如何创建Salesforce数据源。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击...
创建Salesforce数据源
通过创建Salesforce数据源能够实现Dataphin向Salesforce请求业务数据。本文为您介绍如何创建Salesforce数据源。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
- 产品推荐
- 这些文档可能帮助您