离线同步数据质量排查
如果数据同步任务执行完成后，对于数据同步质量（数据条数、数据内容）有相关疑问，在写出端您可以尝试从下列常见情况对照排查：原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放，如果...
场景：工作空间模式升级（简单模式升级标准模式）
了解创建并绑定数据源的相关内容，详情请参见 创建并管理数据源、开发前准备：绑定数据源或集群。使用限制 仅支持阿里云主账号执行工作空间模式升级操作。升级策略 工作空间模式升级后，平台会基于原简单模式工作空间的生产环境数据源，...
表引擎
Log Log系列引擎适用于快速写入小表（1百万行左右的表）并读取全部数据的场景。该系列引擎的共同特点如下。数据被追加写入磁盘中。不支持 delete、update。不支持索引。不支持原子性写。insert 会阻塞 select 操作。TinyLog 不支持并发读取...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
ClickHouse SQL
您需先将您的ClickHouse数据库创建为DataWorks的ClickHouse数据源并绑定至数据开发（DataStudio），才可通过ClickHouse数据源访问ClickHouse数据，进行后续的开发操作。详情请参见 创建ClickHouse数据源、开发前准备：绑定数据源或集群。已...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
Excel导入
绑定后，下载导入模板 会下载对应实体的Excel模板文件，批量提交 时也会解析成对应实体的数据，并添加到数据库中对应的实体中。事件 分片大小 Excel导入组件在数据提交时采用分片上传方式提高上传速度，默认分片大小为1000条数据/请求。无...
默认工作空间内置逻辑说明
进行实际开发时，建议您创建自己的工作空间，将用于执行开发操作的项目（例如，MaxCompute、E-MapReduce、Hologres）创建为工作空间的数据源或集群，并绑定至数据开发（DataStudio）模块，详情请参见 创建工作空间、在工作空间创建数据源或...
绑定Hologres实例
在DataWorks中创建对应的Hologres数据源，再将其绑定至数据开发（DataStudio）模块后，您即可在DataWorks中读取Hologres数据源数据，并进行相应的数据同步、开发和分析等操作。前提条件 已购买Hologres实例并创建数据库。具体操作，请参见 ...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
管理用户标签值
通过连接数据源，并绑定存储在数据源中的用户标签表后，就可以实时的读取到最新的成员标签信息，不再需要手动维护。手动管理Quick BI中的用户标签值 登录 Quick BI控制台。在Quick BI首页，按照下图指引，进入用户标签管理页面。单击 标签...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
管理DAS经济版和企业版
DAS经济版和企业版提供强大的数据库运维功能，可以协助您迅速定位并解决数据库问题、优化性能、提高效率，同时显著降低运营成本。本文介绍如何开通和管理DAS经济版和企业版。前提条件 如果您使用的是RAM账号，并且需要购买DAS经济版和企业...
表格
使用场景 页面编排的页面中需要使用表格进行数据显示和数据操作时，您可以使用 表格 组件。使用说明 将 表格 拖入画布后，需要绑定一个类型为List的变量，其中Structure为表格中每行数据对应的类型。配置表格变量的步骤既可以在表格刚拖入...
AnalyticDB for MySQL
您需先将您的AnalyticDB for MySQL数据库创建为DataWorks的AnalyticDB for MySQL数据源并绑定至数据开发（DataStudio），才可通过AnalyticDB for MySQL数据源访问AnalyticDB for MySQL数据，进行后续的开发操作。详情请参见 创建AnalyticDB...
创建并使用AnalyticDB for PostgreSQL节点
您需先将您的AnalyticDB for PostgreSQL数据库创建为DataWorks的AnalyticDB for PostgreSQL数据源并绑定至数据开发（DataStudio），才可通过AnalyticDB for PostgreSQL数据源访问AnalyticDB for PostgreSQL数据，进行后续的开发操作。...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
MySQL分库分表同步至Hologres（方案2.0）
步骤四：目标表映射 在上一步骤选择完需要同步的表后，将自动在此界面展示当前待同步的表，但目标表的相关属性默认为待映射状态，需要您定义并确认源表与目标表映射关系，即数据的读取与写入关系，然后单击 刷新映射 后才可进入下一步操作...
数据表管理
在表格数据管理中，集合了有关表格数据的 新增、编辑、删除与更新 等功能，以方便高效地管理相关表格数据。功能入口 进入有关 机器人空间 后，选择 表格管理>数据表管理 后，即可进入表格数据管理界面。具体如下图所示：数据表格管理 新增...
RestAPI Reader最佳实践
接口测试工具调用示例：准备工作：创建MaxCompute分区表 本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步...
产品架构
在查询操作中，通常来说热数据会直接从缓存中获取，冷数据需要从后端对象存储中读取并缓存至本地，以便加快后序访问速度。通过内存、本地磁盘及远程存储的联合，StarRocks构建了多层数据访问体系，您可以自定义数据冷热规则以优化业务需求...
访问外部数据源
绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后，您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景，如果多...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
MongoDB数据源
对于支持读取的数据类型，数据集成在读取时：基本类型的数据，会根据同步任务配置的读取字段（column，详见下文的 附录：MongoDB脚本Demo与参数说明）中的name自动读取对应path下的数据，并根据数据类型做自动转换，您无需指定column的type...
API概览
数据绑定 数据绑定 CreateBinding 创建绑定任务 创建数据集（Dataset）和对象存储（OSS）Bucket的绑定关系，自动同步全量和增量文件并为其索引。GetBinding 查询绑定关系信息 查询指定的数据集和对象存储（OSS）Bucket绑定关系详情。...
绑定或解绑数据库账号
AnalyticDB for MySQL 数仓版（3.0）弹性模式集群支持将不同的数据库账号绑定到不同的资源组，实现不同数据库账号查询...如果需要解绑数据库账号，单击 绑定用户 列表中目标用户右侧的 解除绑定，然后在弹出的确认解除绑定对话框中单击 确定。
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
使用Spark SQL进行作业开发
步骤二：创建DWD层数据表 本教程以从ODS层表中读取并过滤数据后写入DWD层表中为例。使用 继续执行 的方式，在 test_spark_db 库中创建一张无索引、有分区的表 adb_spark_dwd。CREATE TABLE test_spark_db.adb_spark_dwd(id int,name string...
绑定或解绑数据库账号
AnalyticDB for MySQL 湖仓版（3.0）集群支持将不同的数据库账号绑定到不同的资源组，实现不同数据库账号查询的资源...如果需要解绑数据库账号，单击 绑定用户 列表中目标用户右侧的 解除绑定，然后在弹出的确认解除绑定对话框中单击 确定。
SPI-串行外设接口
读取的数据长度 bytes 大于发送数据的长度 data.length 时，读取到的有效数据为ArrayBuffer的后面(bytes-data.length)长度数据。入参 属性 类型 是否必填 描述 data Uint8Array 是 需要发送的数据。bytes Number 是 指定需要读取的字节个数...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
配置IBM DB2输入组件
IBM DB2输入组件用于读取IBM DB2数据源的数据。同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行...
使用XIHE BSP SQL进行作业开发
步骤二：创建DWD层数据表 本教程以从ODS层表中读取并过滤数据后写入DWD层表中为例。输入以下语句，并单击 执行SQL（F8）。在 test_xihe_db 库中创建一张无索引，有分区的表 adb_xihe_dwd。CREATE TABLE test_xihe_db.adb_xihe_dwd(id int,...
数据绑定
本文介绍了在模板模式中进行数据绑定的形式。单数据源绑定 参照 Vue 格式，模板模式下单数据绑定支持插值和指令两种形式。插值格式仅支持单独使用，不支持混写，如<text>ab{{var1}}cd。指令形式支持简写格式。使用时，可绑定的数据字段（即...
- 产品推荐
- 这些文档可能帮助您