未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
应用场景
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
基本柱状图（v3.0及以上版本）
当基本柱状图接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据...
通过脚本模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
概述
说明 关于AUTO模式数据库与DRDS模式数据库的介绍，请参见 AUTO模式数据库与DRDS模式数据库。原理 在 PolarDB-X 中，如果创建表时通过 AUTO_INCREMENT 指定了自增列，为了保证自增列的全局唯一性，则自动为该表创建并关联一个Sequence对象，...
AUTO模式数据库与DRDS模式数据库
本文介绍了什么是AUTO模式数据库与DRDS模式数据库，以及这两者模式的区别。PolarDB-X数据库模式概述 从 PolarDB-X 5.4.13版本开始，新增支持AUTO模式的数据库（也称为自动分区数据库）。AUTO模式的数据库支持自动分区，即创建表时无需指定...
创建数据库
本文介绍如何在 PolarDB-X 实例上创建数据库。操作步骤 登录 PolarDB...两种模式的详细介绍请参见 AUTO模式数据库与DRDS模式数据库。备注说明 备注该数据库的相关信息，便于后续数据库管理。该参数为非必填项，最多支持256个字符。单击 确定。
CREATE DATABASE
关于两种分区模式的说明，请参见 AUTO模式数据库与DRDS模式数据库。DEFAULT_SINGLE（版本要求：PolarDB-X 5.4.17-16921956及以上）指定AUTO模式数据库是否使用单表自动打散至各个DN节点的分布策略，该选项仅对AUTO模式数据库有效，对DRDS...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？...收费常见问题 数据集成是怎么收费的？
实时同步常见问题
实时同步字段格式问题 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个附加列，以进行元数据管理、排序去重等操作。详情请参见 实时同步字段格式。为什么实时同步任务延迟较...
OpenSearch数据源
常见问题 列配置错误的处理 为保证写入数据的可靠性，避免多余列数据丢失造成数据质量故障。对于写入多余的列，OpenSearch Writer将报错。例如OpenSearch表字段为a、b、c，如果OpenSearch Writer写入的字段多于3列，OpenSearch Writer将报...
Tablestore数据源
使用限制 Tablestore Reader和Writer插件实现了从Tablestore读取和写入数据，包含 行模式、列模式 两种数据读取与写入方式，可针对宽表与时序表进行数据读取与写入。列模式：在Tablestore多版本模型下，表中的数据组织为 行>列>版本 三级的...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
Tablestore Stream数据源
} 行模式导出的数据更接近于原始的行，易于后续处理，但需要注意以下问题：每次导出的行是从用户每次更新的记录中抽取，每一行数据与用户的写入或更新操作一一对应。如果用户存在单独更新某些列的行为，则会出现有一些记录只有被更新的部分...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
Oracle同步至Tablestore
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
配置学区地图单选框交互
将 公办 的 串行数据处理 节点分别与 公办小学点 的 显示 动作和 民办小学 的 隐藏 动作连线。将 民办 的 串行数据处理 节点分别与 公办小学点 的 隐藏 动作和 民办小学 的 显示 动作连线。最终的连线效果如下。使用同样的方式对 初中 节点...
外部表概述
该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的...
权限管理与规范化数据开发
说明 关于简单模式与标准模式差异详情可参考文档：必读：简单模式和标准模式的区别 标准模式对使用流程的影响 如图，标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑代码发布等流程。实践操作流程 以下以一个具体的实践...
产品优势
多场景支持：支持实时数仓、多表实时拼接查询、实时数据处理与上传、实时报表、业务与计算分离、实时业务问题定位等。高效低延时：通过DTS获取和写入数据，支持分布式并发读写，效率高于Flink，数据准确性更高。可视化数据开发，更多信息，...
AnalyticDB for PostgreSQL数据源
mbps":"12"/限流 } } } Writer脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 table 选取的需要同步的表名称。是 无 writeMode 选择...
MaxCompute数据源
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 更多其他数据集成常见问题请参见 数据集成常见问题。附录：脚本Demo与参数说明 附录：离线任务脚本配置...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
功能更新动态（2022年之前）
规避了审批者误操作，导致的数据泄露与安全问题。2020年9月17日 华东2（上海）、华南1（深圳）和华北2（北京）创建项目 编辑项目 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的功能。管理项目空间的权限和计算源 离线计算任务 ...
历史版本常见问题
这两种方式均无法保证数据的强一致性，均有可能出现数据不一致、数据延迟等问题。处理建议 将实例升级至PolarDB-X 2.0。PolarDB-X 1.0 中的广播表是弱依赖的，应用需要能接受广播表数据出现不一致等情况。广播表尽可能减少增删改，以查询为...
文档更新动态（2022年之前）
规避了审批者误操作，导致的数据泄露与安全问题。通用功能 创建项目 2020-09-17 编辑项目 功能拓展 Dev-Prod开发模式中，新增同时为Dev和Prod项目添加成员的功能。通用功能 管理项目空间的权限和计算源 2020-09-17 离线计算任务 功能拓展 ...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
数据服务概述
这就造成在数据应用存在以下问题：数据开发周期长，响应慢：需要按迭代排期实现，数据使用门槛高不能随时使用。烟囱式开发：开发成本高，复用性低，为每个需求提供对应的数据接口。数据安全和查询性能无法保障：在数据接口开发时往往只考虑...
基础散点图
当基础散点图接口描述请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
概述
实时运营监控 通过DMS数据工厂把业务数据实时同步到ADB或RDS分析库，再基于分析库之上构建可视化，可实时观察运营状态，衔接各个环节流程，对比检测异常情况，处理关键环节问题。提供透视驱动与图表驱动两种图表配置模式，满足不同的应用...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
数据质量概述
并可以将质量监控规则与调度节点进行关联，当任务运行完成后便会触发质量规则校验，帮助您第一时间感知问题数据，按需设置规则的强弱来控制任务是否失败退出，从而避免脏数据影响扩大，有效降低数据恢复处理的时间成本和费用成本。...
自定义区域下钻层（v3.x版本）
当自定义topojson数据接口请求失败时 自定义topojson数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置...
必读：简单模式和标准模式的区别
场景示例：标准模式对使用流程的影响 如图，标准模式“生产、开发隔离”的模式将影响数据模型设计、数据处理逻辑、代码发布等流程。附录：不同工作空间模式下，DataWorks模块对应操作的数据源 您可以在 数据开发>数据源 界面下查看数据开发...
仪表盘
当仪表盘接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应...
版本发布说明
修复在DRDS模式数据库中，执行多表 RENAME 时，有概率找不到物理表的问题。修复不同存储池同时扩缩容可能导致CDC DN列表计算不正确的问题。修复外键表中执行DML出错的问题。修复distinct count多列执行可能报错的问题。修复统计信息...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
- 产品推荐
- 这些文档可能帮助您