MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
配置MaxCompute输入组件
MaxCompute输入组件用于读取MaxCompute数据源的数据。同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在...
配置Salesforce输入组件
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
配置Salesforce输入组件
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
配置Hive输入组件
同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg...
实例容灾
使用MongoShake复制MongoDB实例数据的方法请参见 使用MongoShake实现MongoDB副本集间的单向同步。将实例A作为主实例，实例B作为容灾实例，当实例A所在地域发生突发性故障（例如自然灾害）时，实例B可以作为主实例。通过修改应用程序中的...
MongoDB数据库大版本升级说明
迁移数据的方法如下：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分片集群架构）自建数据库MongoDB版（分片集群架构）迁移至云数据库...
配置SAP HANA输入组件
批量条数 每个并发SQL语句读取数据的条数。默认的批量条数为1024。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。...
配置PostgreSQL输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
配置PostgreSQL输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
配置GBase 8a输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置GBase 8a输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
配置Elasticsearch输入组件
同步Elasticsearch数据源的数据至其他数据源的场景中，您需要先配置Elasticsearch输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Elasticsearch输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条...
支持插件列表
ganos_geometry_pyramid 5.6 5.6 用于二维空间几何大数据的快速显示。ganos_geometry_sfcgal 5.6 5.6 提供空间几何sfcgal插件扩展功能。ganos_geometry_topology 5.6 5.6 提供空间几何类型的计算分析功能。ganos_networking 5.6 5.6 提供...
支持插件列表
ganos_geometry_pyramid 5.6 5.6 用于二维空间几何大数据的快速显示。ganos_geometry_sfcgal 5.6 5.6 提供空间几何sfcgal插件扩展功能。ganos_geometry_topology 5.6 5.6 提供空间几何类型的计算分析功能。ganos_networking 5.6 5.6 提供...
配置TDH Inceptor输入组件
同步TDH Inceptor数据源的数据至其他数据源的场景中，您需要先配置TDH Inceptor输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置TDH Inceptor输入组件。使用限制 TDH Inceptor输入组件支持数据格式为orc、...
重要组件
Primary即为拥有读写权限的读写库，Replica即为只读实例，仅仅拥有读取数据的权限（后台线程也不能修改数据），Primary和Replica采用Shared Everything架构，即底层共享同一份数据文件和日志文件。StandBy节点拥有一份独立的数据和日志文件...
分组取出每组数据的前N条
empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.0 7900 JAMES CLERK 950.0 7934 MILLER CLERK 1300.0 7499 ALLEN SALESMAN 1600.0 7654 ...SALESMAN 1250.0 7844 TURNER SALESMAN 1500.0 7521 WARD SALESMAN 1250.0 实现方法...
查看并管理实时任务
参数 描述 读取数据时点 设置来源数据的读取消费时间。测试方式 实时任务为测Flink试方式包括打印日志和写测试表：选择打印日志后，测试结果写入日志，不生成测试表。选择写测试表，则测试结果不写入日志，但会生成对应测试表。重要 需要您...
配置Microsoft SQL Server输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。Hint 可填写SQL Server中的Table Hint语法，例如WITH(NOLOCK）。您可以根据...
数据导入方式介绍
相对于通过外表导入数据的方法，DataWorks导入数据更为轻量化，适合数据量相对较小的数据导入场景。说明 不建议通过DataWorks导入大量数据。如果存在数百GB以上的数据导入，建议通过外表导入数据。详情请参见 通过外表导入数据。常见使用...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置组件数据
本文为您介绍在DataV快乐转转转模板可视化应用中修改转盘抽奖内具体奖品数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建模板可视化应用。操作步骤 登录 DataV控制台。在 我的可视化 页面内，单击 快乐转转转 可视化应用，...
配置组件数据
本文为您介绍在DataV快乐转转转模板可视化应用中修改转盘抽奖内具体奖品数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建模板可视化应用。操作步骤 登录 DataV控制台。在 我的可视化 页面内，单击 快乐转转转 可视化应用，...
2024年
2024年04月（V7.0.6.0）类别 功能 功能描述 相关文档 优化 beam INSERT© ON CONFLICT支持WHERE条件更新。COPY ON CONFLICT新增支持分区表。无 laser 支持存储过程、Cursor、Insert、Update、Delete、CTAS、Refresh Materialized View、...
查看并管理实时任务
参数 描述 读取数据时点 设置来源数据的读取消费时间。测试方式 实时任务为FLINK测试方式包括打印日志和写测试表：选择打印日志后，测试结果写入日志，不生成测试表。选择写测试表，则测试结果不写入日志，但会生成对应测试表。重要 需要您...
修改组件数据
本文档为您介绍在DataV疫情模板可视化应用中修改组件数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为...
修改组件数据
本文档为您介绍在DataV疫情模板可视化应用中修改组件数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为...
任务拆分和执行
拆分阶段：对数据进行分片，不限制拆分层数，将拆分结果上报给服务端，由服务端根据拆分的 chunk（一批待处理数据的索引集合）通知客户端来拉取数据进行处理。执行阶段：客户端接收到通知后拉取数据进行处理，处理完后继续拉取新的数据，...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
概述
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。读写分离：读写分离功能是在只读实例的基础上，额外提供了一个读写分离地址，联动主实例及其所有...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
- 产品推荐
- 这些文档可能帮助您