Schema约束
Schema约束策略决定了数据写入时是否校验表是否存在、表结构是否一致、字段的数据类型是否一致。不同的数据写入方式，支持的Schema约束策略不同。本文介绍Lindorm时序引擎Schema约束的概念和使用。Lindorm时序模型的Schema Lindorm时序引擎...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
数据变更最佳实践
例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如百万级别的表数据。例如，从RDS for MySQL、ECS自建MySQL数据导入 ...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务...说明 由于查询区块链数据的方式多样化，您需要根据数据类型填写对应的查询参数方式。单击 查看数据返回结果，查看数据返回结果。
数据格式描述文件
是 parser parser部分决定了您的数据如何被正确地解析，metricsSpec定义了数据如何被聚集计算，granularitySpec定义了数据分片的粒度、查询的粒度。对于parser，type有两个选项：string和hadoopString，后者用于Hadoop索引的 job。...
查看数据复制方式
本文介绍如何查看RDS SQL Server主备实例之间的数据复制方式。使用限制 仅 高可用系列 和 集群系列 的实例支持查看数据复制方式。暂不支持修改数据复制方式。复制方式介绍 同步 应用发起的更新在主实例执行完成后，会将日志同步传输到备...
修改数据复制方式
您可以根据自身业务特点，设置MyBase MySQL主备实例之间的数据复制方式，以提高数据库可用性。前提条件 实例要求如下：MySQL 8.0高可用版（本地SSD盘）MySQL 5.7高可用版（本地SSD盘）MySQL 5.6高可用版（本地SSD盘、ESSD云盘）复制方式...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
数据源支持概述
本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 ...
数据源权限管理
是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享...
产品功能
数据和实例安全 TSDB 提供以下方案保证您的数据和实例的安全：提供 VPC 的实例访问方式，充分保证实例访问的安全性。提供网络白名单功能：您可以通过设置允许访问实例的机器名单，进一步保证实例和数据的访问安全。如果一台机器在 VPC 内部...
常见问题参考
目前只支持在同一区域进行日志服务与TSDB的数据交互。在执行日志导出过程中，如果采集到的日志记录出现内容错误或者内容缺失，那么TSDB数据导出阶段会怎么处理？写入到TSDB的数据点是什么形态？默认情况下，当日志服务采集到的记录出现内容...
配置Oracle输入组件
Oracle输入组件用于读取Oracle数据源的数据。同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
配置Oracle输入组件
Oracle输入组件用于读取Oracle数据源的数据。同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。操作步骤 请参见 通过离线单...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
数据流运维
在 操作 列中，对不同执行状态的数据流进行 终止、重跑、暂停、恢复 和 置成功 的操作。说明 对于执行成功的数据流，可以进行重跑操作。对于执行失败的数据流，可以将该数据流运行记录的状态置为成功。对于执行中的数据流，可以终止或暂停...
添加HBase数据源
数据源类型 根据HBase数据源类型的版本选择不同的数据源类型，包括以下选择：HBase1x：表示HBase数据源版本为1.0版本。HBase2x：表示HBase数据源版本为2.0版本。HBase098：表示HBase数据源为自建的hbase098版本。HBase094：表示HBase数据源...
DataWorks新版数据源公告
对于已创建的数据源或引擎可沿用填写AccessID、AccessKey的方式，但不能填写归属于其他阿里云主账号的AccessID、AccessKey信息，且通过AccessID、AccessKey方式创建的数据源或引擎无法用于数据开发。默认访问身份变更：如果您需要将数据源...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
功能发布记录（2024年）
补数据可通过补历史或未来一段时间的数据，将数据写入至对应时间分区。新版补数据支持的补数据方式如下：手动选择 按链路选择 按工作空间选择 指定任务及所有下游 2024.3.28 所有地域 所有DataWorks用户 执行补数据并查看补数据实例（新版...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
使用限制
数据库小版本 如果您的数据库小版本过期或者不在维护列表内，当执行实例版本升级、数据迁移、变更实例配置或数据恢复等操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。数据库连接 云数据库MongoDB...
创建同步OSS
同步说明 1）目前DataHub支持将TUPLE和BLOB数据同步到OSS中 TUPLE:采用csv数据格式，每个Record中的column数据以逗号分隔，Record之间采用 换行符' ' 分隔 BLOB:采用Append方式进行数据追加，如果用户需要拆分OSS数据，用户需要自己往...
导入数据
说明 若您使用的是极简模式的控制台，请单击左侧的 数据库实例，在数据库实例列表中，找到目标数据库。左键双击目标数据库，进入SQL Console页面。在表列表区域，右键单击目标表，在弹出的列表中单击 导入。说明 您也可以在 数据库开发>...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
数据安全和加密常见问题
本文档介绍了数据安全和加密的常见问题。设置集群白名单常见问题 Q：如何指定服务器只能访问集群中的某个节点？A：使用自定义集群地址访问集群，就只能访问集群中的特定节点。Q：IP白名单最多支持填写多少个IP地址？A：IP白名单最多可以...
数据代理请求常见问题
登录您安装数据代理的机器，通过浏览器访问 ip:8001/status（例如 128.23.*.*:8001/status，8001 为数据代理服务的默认端口），检查您的数据代理服务是否正常启动。是，执行下一步。否，请启动您的数据代理服务。检查安装数据代理的机器...
适配组件数据
背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。...
产品优势
支持防护常见的结构化数据、非结构化数据和大数据产品，例如对象存储OSS、云数据库RDS、MaxCompute等。智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控...
查询和修改数据复制方式
您可以根据自身业务特点，设置RDS MySQL主备实例之间的数据复制方式，以提高云数据库可用性。前提条件 实例满足以下条件：MySQL 5.7、8.0高可用系列（本地SSD盘）MySQL 5.7、8.0高可用系列（ESSD云盘），且内核小版本必须大于或等于...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
编辑数据集
本文为您介绍在DataV中数据集管理面板内如何编辑已创建的数据集。背景信息 数据集管理面板中已存在数据集且需要重新编辑修改该数据集内容。操作步骤 登录 DataV控制台。选择 我的数据 页签，在左侧列表中单击 数据集管理。在 数据集管理 ...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为...入湖模板 用户创建入湖模板将数据源中的数据通过手动或者定时的方式抽取到数据湖中。
数据安全
本文介绍数据安全相关的常见问题。DSC 是否会保存您的数据和文件？数据安全中心（DSC）不会保存您的数据和文件。在您授权访问数据源后，DSC 会对数据进行扫描，并仅将扫描的分析结果展示在 数据安全中心控制台，供您使用。如何对 DSC 的...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
- 产品推荐
- 这些文档可能帮助您