管理数据目录
在EMR Serverless Spark中，您可以通过该功能来查看绑定的数据目录中的数据库和表，还可以添加已有的数据目录。该功能适用于需要实现元数据隔离的场景。添加数据目录 进入数据目录页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
导入数据
本文为您介绍如何通过MaxCompute客户端，使用Tunnel Upload将本地数据文件中的数据导入创建好的表中。前提条件 请确认您已满足如下条件：已创建表。更多创建表操作，请参见 创建表。已将CSV或TXT数据文件下载至本地。本文提供的数据文件样...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
实例间的数据库复制
RDS SQL Server部分实例支持实例间复制数据库功能，您可以通过RDS控制台或者OpenAPI将一个实例中的数据库复制到另外一个实例中。前提条件 RDS实例必须满足以下条件：源实例和目标实例必须在一个阿里云账号下。源实例和目标实例的版本必须...
Quick BI
Quick BI是一款专为云上用户和企业量身...将ClickHouse数据库中的数据表或自建的即席分析SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取。
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
导入数据至维表
如果导入的数据中存在非STRING类型，会被自动转义为STRING类型。电子表格 参数 描述 电子表格 从 电子表格 下拉列表中，选中需要导入的电子表格名称。Sheet 从 Sheet 下拉列表中，选中该电子表格中需要导入的Sheet页。数据预览 预览需要...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
查看数据同步项目的详情
结束中的数据同步项目不能进行任何操作。已结束：表示数据同步项目已经成功结束运行。您可以对处于 未启动、运行中、已暂停 和 失败 状态的项目进行修改项目名称操作，详情请参见 修改数据同步项目的名称。查看基本信息 基本信息 区域为您...
概述
参见 入湖模板 章节，创建数据湖模板，定期将数据源中的数据抽取到数据湖。参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖...
配置Hologres输出组件
加载策略包括覆盖和忽略，适用场景说明如下：覆盖：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。忽略：写入的数据中有主键时忽略新数据，无主键时追加数据。分区 选择写入数据的分区。输入字段 展示从源表中读取的字段。输出...
迁移
例如，若您源库为 PolarDB-X 1.0 实例中的数据库，名称为“test1”，目标库为 PolarDB-X 2.0中的AUTO模式数据库，名称为“test2”，则需在 PolarDB-X 2.0实例中创建DRDS模式数据库作为中继数据库，名称为“test2_drdstoauto”。创建的目标...
查看数据迁移项目的详情
当源库不断有业务写入时，数据传输会在全量数据迁移启动前，启动增量拉取模块，以拉取源实例中的增量更新数据，对其进行解析、封装，并存储至数据传输中。当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取...
创建元数据
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
数仓规划概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。详情请参见 数据域。业务过程...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
数据迁移与同步FAQ
数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可停止该任务，属于一次性任务。数据同步：将Redis数据库中的数据（即键值对）实时同步至另一个Redis数据库中。通常会持续运行该任务，用于保持源...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
备份恢复
MongoDB提供如下恢复功能：按备份点将备份数据恢复至新建实例：从实例中的某个备份点来创建新的实例，新建的实例中的数据将恢复至选择的备份点，可用于数据恢复或数据验证场景。按时间点将备份数据恢复至新建实例：从实例运行的某个时间点...
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
数据保护伞入门
当一列非空数据中，满足上述识别条件的数据大于指定阈值时，则命中该规则，会将该数据识别为当前类型的敏感数据。本文示例阈值配置为50%，即当某列数据中，满足上述条件的数据超过50%时，则将其识别为敏感数据。配置完成后，单击 发布使用...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地...完成上述操作后您可以在数据地图的全部数据中再次搜索关键词查询对应的表。
敏感数据溯源
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
配置Hive输出组件
加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新数据，无主键时追加数据。字段分隔符 非必填项，填写字段之间分隔符。...
数据建模
前提条件 开始本文的操作前，请首先完成 加工数据 中的操作。新建实验 新建空白工作流并进入工作流，具体操作，请参见 新建自定义工作流。载入数据集 在左侧组件列表，将 源/目标 下的 读数据表 组件拖入画布中，并重命名为data4ml。在画布...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
场景管理器
如果数据中有duration字段，则优先使用数据中的配置。延迟时间：一个场景动画结束到下一个场景动画开始所停留的时间，取值范围为0~30000，单位为ms。如果数据中有delay字段，则优先使用数据中的配置。回调ID：设置组件之间数据联动的变量，...
场景管理器
如果数据中有 duration 字段，则优先使用数据中的配置。延迟时间：一个场景动画结束到下一个场景动画开始所停留的时间，取值范围为0~30000，单位为ms。如果数据中有 delay 字段，则优先使用数据中的配置。回调ID：设置组件之间数据联动的...
数据保护机制
MaxCompute已提供数据保护机制能力，如果项目中的数据敏感度很高，则需要项目所有者自行设置数据保护机制。MaxCompute项目的数据保护机制默认为关闭状态。项目所有者可以在项目中执行 set projectProtection=true;命令开启数据保护机制，...
集成与开发概览
支持链路及开发过程中的数据安全。分钟级调度。多环境管理。应用场景 数据集成 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、运维指标监控、业务指标监控等。开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合...
散点层
若数据中 type 字段不存在于此配置项中，则以默认颜色渲染。数据面板 配置字段说明 字段 说明 lng 散点的经度。lat 散点的纬度。type 散点的类型，与 散点类型>type 配置项共同定义散点的颜色。value 散点对应的数值，与 散点大小>数值 ...
散点层
若数据中type字段不存在于此配置项中，则以默认颜色渲染。数据源面板 字段 说明 lng 散点的经度。lat 散点的纬度。type 散点的类型，与 散点类型type 配置项共同定义散点的颜色。value 散点对应的数值，与 散点大小数值 配置项共同定义散点...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
轨迹层
数据分级：根据数据中的 value 字段值大小划分（自然分割）成2~7个数据大小级别，解决 value 值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。...
- 产品推荐
- 这些文档可能帮助您