调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
应用场景
TTL，数据自动过期。低成本：高压缩比，数据冷热分离，支持HDD/OSS存储。数据通道：通过BDS构建云HBase与异构计算系统的高效、易用的数据链路。高可用：主备双活容灾，请求自动容错，满足99.95%SLA。车联网 使用云数据库HBase存储车联网中...
添加用户和数据源
数据库 输入如要管理的数据库名称，如何创建数据库，请参见 数据库管理。本次快速入门教程使用的示例数据库为 adbpg_dev。数据库用户名 输入数据库用户名，如何创建用户，请参见 创建数据库账号。数据库密码 输入上述数据库用户对应的密码...
应用场景
TTL，数据自动过期。低成本：高压缩比，数据冷热分离，支持HDD/OSS存储。数据通道：通过LTS（原BDS）构建Lindorm与异构计算系统的高效、易用的数据链路。高可用：主备双活容灾，请求自动容错，满足99.95%SLA。金融&零售：海量订单记录与风...
数据自动备份
本文介绍了设置数据自动备份的方法。注意事项 备份过程中不能进行实例的扩容、升降配等操作，以避免备份失败。备份过程中不能执行DDL命令，避免因锁表导致备份失败。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
新建Flink Vvr Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvr Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink DataStream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink DataStream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Spark Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Spark Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvp Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvp Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Spark SQL类型公共节点并运行
Spark SQL节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark SQL类型的公共节点并运行。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请...
新建Spark Batch类型的公共节点
Spark Batch节点是离线节点，运行于Spark类型的云计算资源之上，可通过输入SQL语句处理Spark类型的数据源。本文介绍如何新建Spark Batch类型的公共节点。前提条件 已创建Spark On Yarn或者Spark Cluster类型的云计算资源，具体信息，请参见...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
新建Elastic Job类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
新建Elastic Job类型的公共节点
配置 节点输入：如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。配置 节点输出：如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，...
创建三维城市场景项目
数据输入框选择范围区域：单击左侧 按钮打开场景范围数据输入框，您可以直接输入所需范围区域的GeoJSON格式文本，单击输入框下方 确定 后，地图上将展示您输入的GeoJSON范围区域。说明 通过以上任意一种方式选择的区域范围都将在 场景范围...
创建三维城市场景项目
数据输入框选择范围区域：单击左侧 按钮打开场景范围数据输入框，您可以直接输入所需范围区域的GeoJSON格式文本，单击输入框下方 确定 后，地图上将展示您输入的GeoJSON范围区域。说明 通过以上任意一种方式选择的区域范围都将在 场景范围...
产品概述
通过OneData（OneModel、OneID、OneService）方法论体系，可以完成模型和指标的抽象与自助定义、代码自动化生产、主题数据自动聚合并输出服务。降低成本：以元数据为基础、算法智能为驱动，实现物理和逻辑分层的智能自动化生产。同时，分析...
创建三维城市
输入数据选择范围：单击，打开场景范围数据输入框，您可以直接输入所需范围区域的GeoJSON格式文本，单击 确定 后，地图上将展示您输入的GeoJSON范围区域。说明 通过以上任意一种方式选择的区域范围都将在 场景范围数据 文本输入框中展示，...
管理HBase输入组件
同步HBase数据源的数据至其他数据源的场景中，您需要先配置HBase输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建HBase数据源。具体...
产品计费
冷存储：数据存储在低成本的存储设备中，减少使用成本，超出最近7天的SQL洞察和审计数据自动从热存储转为冷存储。查询冷存储的数据时，查询速度比查询热存储的数据慢。数据查询费用 0.2元/GB 0.3元/GB 查询冷存储的数据时，按量收取数据...
编辑数据源
除了可以编辑数据源，还可以在该页面完成 数据映射、添加过滤器 和设定数据 自动更新 时间。操作步骤 登录 DataV控制台。参考 使用模板创建PC端可视化应用，创建一个可视化应用项目。在画布中，单击其中一个组件。在右侧的配置面板中，单击...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
MapReduce
MapReduce处理数据的完整流程如下：输入数据：对文本进行分片，将每片内的数据作为单个Map Worker的输入。分片完毕后，多个Map Worker便可以同时工作。在正式执行Map前，需要将输入数据进行分片。所谓分片，就是将输入数据切分为大小相等的...
UTL_ENCODE
UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据，并将其解码为原始的RAW类型数据。BASE64_ENCODE Function 读取RAW类型的输入数据，将其编码为BASE64符号序列并返回对应的RAW类型数据。...
数据检索与预览
数据集 说明 数据文件的集合，通过左上方搜索栏输入数据集名称字段可自动检索出名称含该字段的数据集。a.任务产出数据集：由任务产出，并自动保存在相应任务产出目录下。b.用户自定义数据集：用户手动进行归类的数据集。数据检索 平台提供...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
使用DataWorks同步数据
本文以MaxCompute为例介绍如何将数据通过DataWorks同步至 云数据库ClickHouse。背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提...
UTL_RAW
BIT_COMPLEMENT Function 对输入的RAW类型数据的值按位进行逻辑“补码”运算，并返回RAW类型的计算结果。BIT_OR Function 对RAW r1和RAW r2的值按位进行逻辑“或”运算，并返回RAW类型的计算结果。BIT_XOR Function 对RAW r1和RAW r2的值按...
Echarts 热力图
右侧：您可以自动输入视觉映射右侧的具体数据百分比，值默认值为auto。底部：您可以自动输入视觉映射底部的具体数据百分比，值默认值为auto。朝向：单击下拉列表，选择朝向样式。包括 水平 和 垂直。内边距：您可以手动输入数值或单击+或-...
使用ETL分析实时订单
参数 说明 请输入数据源名称 DTS会自动生成一个数据源名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。区域 选择源库所在地域。说明 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
Echarts 热力图
右侧：您可以自动输入视觉映射右侧的具体数据百分比，值默认值为auto。底部：您可以自动输入视觉映射底部的具体数据百分比，值默认值为auto。朝向：单击下拉列表，选择朝向样式。包括 水平 和 垂直。内边距：您可以手动输入数值或单击+或-...
配置源库信息
参数 说明 请输入数据源名称 DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。区域 选择源库所在地域。说明 当前仅支持在华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
- 产品推荐
- 这些文档可能帮助您