RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
HttpFile数据源
value指定若当前列的字段类型为常量，那么Reader在处理数据时，不是从源头文件读取数据来填充该列，而是依据您所指定的固定value值自动生成该列的所有数据。默认情况下，您可以全部按照String类型读取数据，配置如下。column":["*"]您可以...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
缺失值填充
一、组件说明 在联邦学习任务...举例：在训练过程中，希望用训练数据的中位数来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【缺失值填充】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
背景信息以及准备工作
在使用DLA对OSS中的历史数据按天进行清洗时，由于数据清洗的SQL是固定的，只是每次执行的时候需要传入不同的日期，因此我们可以通过DataWorks来循环调度DLA数据清洗任务。针对上述场景，我们需要在DataWorks中完成以下工作：部署一个赋值...
时序补点函数
如果时间序列中存在数据缺失问题，可以使用时序补点函数补齐缺失的数据。调用方式 select series_padding(long stamp,double value,long interval,varchar padType)输入参数 参数 说明 stamp 数据的UnixTime时间戳。value 每个时刻对应的...
配置循环SQL节点
循环SQL节点可循环生成SQL语句，再将其分批提交给DMS管理的任意关系型数据库执行，同时，还可以搭配变量，控制SQL循环次数，达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。本文介绍配置循环SQL节点的操作步骤。背景信息 任务编排...
概述
原理 在 PolarDB-X 中，如果创建表时通过 AUTO_INCREMENT 指定了自增列，为了保证自增列的全局唯一性，则自动为该表创建并关联一个Sequence对象，在插入数据时使用关联的Sequence对象分配全局唯一值并进行自动填充。根据数据库模式的不同，...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
数据模型
数据时效（TTL）数据时效是指数据保存有效期，超过有效期的数据会被自动清理，默认数据有效期为永久保存。场景示例 某风力电厂包含一系列的智能风力发电机设备，创建名为 Wind-generators 的table来存储所有设备的信息，设备由 ID、型号、...
默认值
当一个新行被创建且没有为某些列指定值时，这些列将会被它们相应的默认值填充。一个数据操纵命令也可以显式地要求一个列被置为它的默认值，而不需要知道这个值到底是什么。如果没有显式指定默认值，则默认值是空值。这是合理的，因为空值...
do-while节点最佳实践
本文为您介绍通过循环的方式依次处理一组数据的每一行的复杂场景。前提条件 请在操作前，先了解do-while节点逻辑，详情请参见 do-while节点逻辑原理介绍。背景信息 循环节点循环输出赋值节点结果集。需要部署一个上游节点，能够把查询出的...
中国国家边界
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
装饰条
图表样式 装饰条是媒体组件的一种，支持自定义选择装饰条的类型，支持为数据看板或数据看板的某个模块添加自定义的装饰条元素，能够使数据看板展示更加美观。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中...
缺失值填充批预测
可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 预测输入模型 无 缺失值填充训练 是 预测输入数据 数值类型 读数据表 读CSV文件 是【右侧参数表单】页签 参数 描述 参数设置 输出结果列列名数组 新...
装饰条
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
矢量散点层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
混合散点层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域下钻热力层（v1.x版本）
填充颜色：数据中最大、最小及为空的value值对应区域的颜色。边线选项：下钻热力层各区域边线的颜色、粗细和虚线线型。交互配置 悬停：鼠标悬停区域的颜色，仅在预览或发布时可以看到效果。显示弹窗：打开开关，显示弹窗信息；关闭开关，...
背景图片层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
背景图片层（v4.x版本）
数据源面板 字段 说明 geometry 背景图片填充的裁剪边界数据范围值。默认状态下是整个中国地图范围数据。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置...
背景图片层（v3.x版本）
数据源面板 字段 说明 geometry 背景图片填充的裁剪边界数据范围值。默认状态下是整个中国地图范围数据。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置...
数据分布策略
随机分布 DISTRIBUTED RANDOMLY 系统会按循环的方式将数据分布到各个计算节点上，但是相同值的数据可能不会分布到同一个计算节点。随机分布仅建议您在没有合适的列作为分布列时使用。建表语句示例如下：CREATETABLErandom_stuff(thingstext...
区域热力层
区域热力层是3D平面地图的子组件，支持独立的样式、数据和交互配置，包括区域的填充颜色、边线和文本样式配置等，能够以热力区域的形式表现地理位置上的区域信息。本文介绍区域热力层各配置项的含义。单击 子组件管理 下方的 区域热力层，...
克里金等值面层
克里金等值面层是基础平面地图的子组件，支持独立的样式和数据配置，包括填充颜色、边线样式等，适用于将已知的矢量点数据制作成栅格区域图进行大屏展示。本文介绍克里金等值面层各配置项的含义。单击 子组件管理 下方的 克里金等值面层，...
散点层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
流式气泡层（v1.x版本）
流式气泡层是基础平面地图的子组件，支持独立的样式和数据配置，包括气泡的大小、位置、颜色、动画效果以及经纬度等，能够以流式气泡的形式表现地理位置上的点数据信息。本文介绍流式气泡层各配置项的含义。注意 当前为v1.x版本的流式气泡...
DB2数据源
增量数据同步的方式 DB2 Reader使用JDBC SELECT语句完成数据抽取工作，因此可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
SQL Server数据源
增量数据同步的方式 SQL Server Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
PostgreSQL数据源
增量数据同步的方式 PostgreSQL Reader使用JDBC SELECT语句完成数据抽取工作，因此可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
DRDS（PolarDB-X）数据源
增量数据同步的方式 DRDS（PolarDB-X）Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑...
Oracle数据源
增量数据同步的方式 Oracle Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
PyODPS常见问题
Project上的安全策略禁止读取表中的数据，如果想使用全部数据，可以使用以下方法：联系Project Owner增加例外规则。使用DataWorks或其他脱敏工具先对数据进行脱敏，导出到非保护Project，再进行读取。如果只想查看部分数据，可使用如下方法...
Python SDK常见问题
Project上的安全策略禁止读取表中的数据，如果想使用全部数据，可以使用以下方法：联系Project Owner增加例外规则。使用DataWorks或其他脱敏工具先对数据进行脱敏，导出到非保护Project，再进行读取。如果只想查看部分数据，可使用如下方法...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
- 产品推荐
- 这些文档可能帮助您