过滤器在画布中的应用
您可以使用过滤器，自定义过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV服务过滤器在画布编辑器中的使用方法。操作步骤 登录 DataV控制台。在 工作台 页面，选择任一数据看板，进入 画布编辑器 页面。在...
过滤器在画布中的应用
您可以使用过滤器，自定义过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV服务过滤器在画布编辑器中的使用方法。操作步骤 登录 DataV控制台。在 工作台 页面，选择任一数据看板，进入 画布编辑器 页面。在...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
上传数据
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
数据迁移与同步FAQ
对比项 DTS数据迁移 DTS数据同步 适用场景 主要用于迁移数据上云，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云Redis实例。主要用于两个Redis数据库之间的数据实时同步，例如从实例A同步至实例B。可用于异地多活、...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
数据连接管理
数据传输服务DTS（Data Transmission Service）支持录入数据库信息。在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需您手动输入，避免了重复输入数据库信息的繁琐步骤。本文介绍如何录入、保存、编辑或删除...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
步骤八：验证数据
本文为您介绍如何通过即席查询来验证本教程开发的数据模型是否符合预期。即派生指标是否能够统计到 最近1天西湖龙井品类订单总金额。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建即席查询 对话框。在 ...
步骤八：验证数据
本文为您介绍如何通过即席查询来验证本教程开发的数据模型是否符合预期。即派生指标是否能够统计到 最近1天西湖龙井品类订单总金额。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建即席查询 对话框。在 ...
常见问题
如何查询Key在哪个数据节点和Slot 为什么云原生版集群架构不支持代理模式与直连模式的变配？为什么经典（原本地盘）版集群实例会变配失败？性能与监控 如何对Redis实例进行监控，容量满了会自动告警吗？为什么Redis内存报警与监控的内存...
使用限制
10 API监控及调用统计数据时间范围（单位：天）7 解决方案 解决方案个数量 1000 单个解决方案版本数量 100 数据探索 单个画布节点上数量 100 单个代码资源体积（单位：MB）512 代码资源个数 1000 全景监控 监控任务数量 20000 业务链路数量...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
从Flink SQL导入
本文介绍如何使用Flink SQL方式将Flink中的数据写入 云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入 云数据库ClickHouse。前提条件 已在 云数据库ClickHouse 中创建表。更多信息，请参见 创建表...
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
MongoDB
本文介绍如何使用Databricks DDI访问MongoDB数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建MongoDB实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问NoteBook。使用Databricks 读写MongoDB...
数据恢复
如果 云数据库ClickHouse 实例已经进行了数据备份，您可以通过数据恢复的方式将数据恢复至 云数据库ClickHouse 的一个新实例。计费说明 数据恢复至新实例，会收取购买新实例的费用。说明 新实例的计费方式与源集群相同，且不可变更。功能...
DBCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 DBCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 dbcp-mysql-client 示例工程 前提条件 您已安装 OceanBase 数据库...
入门概述
本文介绍云数据库MongoDB实例从创建到连接使用的整体流程，指引您快速掌握创建云数据库MongoDB实例、配置实例信息及连接实例的方法。部署架构 云数据库MongoDB具有可灵活部署的架构，能够满足不同的业务场景。具体如下：单节点架构 适用于...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
StarRocks
背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，兼容MySQL协议的OLAP分析引擎，提供了卓越的性能和丰富的OLAP场景模型，包括OLAP多维分析、数据湖分析、高并发查询以及实时数据分析。更多关于StarRocks...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
访问外部数据源
背景信息 Databricks数据洞察为了满足您在计算任务里访问您在阿里云上已有的数据，支持通过添加外部数据源的方式，打通集群到您自己VPC下的网络环境。绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标...
Oracle节点
您需先将您的Oracle数据库创建为DataWorks的Oracle数据源，才可通过该数据源访问相应数据库的数据。详情请参见 Oracle数据源。说明 Oracle节点仅支持使用JDBC连接串方式创建的Oracle数据源。（可选，RAM账号需要）进行任务开发的RAM账号已...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
PostgreSQL节点
您需先将您的PostgreSQL数据库创建为DataWorks的PostgreSQL数据源，才可通过该数据源访问相应数据库的数据。详情请参见 PostgreSQL数据源。说明 PostgreSQL节点仅支持使用JDBC连接串方式创建的PostgreSQL数据源。（可选，RAM账号需要）进行...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
SQL Server节点
您需先将您的SQL Server数据库创建为DataWorks的SQL Server数据源，才可通过该数据源访问相应数据库的数据。详情请参见 SQL Server数据源。说明 SQL Server节点仅支持使用JDBC连接串方式创建的SQL Server数据源。（可选，RAM账号需要）进行...
字段加工
本文介绍字段加工算子的使用方法和注意事项。用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。...注意事项 新加的字段代码不允许重复。新加的字段数据类型和加工结果数据类型得保持一致。
查询数据
数据查询需要先构建一个 Query 对象。Query 对象表示查询条件，用于指定符合条件的 tags，metric，和聚合查询条件等。构造查询条件 示例代码 构建一个 Query 对象，即查询条件：Query query=Query.timeRange(startTime,endTime)/设置查询...
受众与核心能力
从事销售运营、商业智能分析等岗位的业务人员 从事数据安全与合规工作的管理人员 从事数据应用开发的开发人员 把控公司核心数据资产的管理人员 核心能力 基于DataWorks，您可以获得如下能力：数据集成：复杂网络环境、丰富数据源之间的数据...
数据接口配置说明
本文介绍区块内部的数据接口的配置的方法，帮助您理解区块的数据接口功能。在区块编辑器内，您可以单击区块编辑器右上角的 图标，在 数据接口设置 页签中支持如下数据接口配置操作。切换模式 在对话框上方可以切换数据接口模式，可选 视图...
数据接口配置说明
本文介绍区块内部的数据接口的配置的方法，帮助您理解区块的数据接口功能。在区块编辑器内，您可以单击区块编辑器右上角的 图标，在 数据接口设置 页签中支持如下数据接口配置操作。切换模式 在对话框上方可以切换数据接口模式，可选 视图...
添加OSS数据源
添加OSS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎读取OSS的数据。如果您要将OSS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加OSS数据源。本文介绍如何添加OSS数据源。前提条件 已购买LTS服务，具体操作请参见 购买并...
创建并使用AnalyticDB for PostgreSQL节点
您需先将您的AnalyticDB for PostgreSQL数据库创建为DataWorks的AnalyticDB for PostgreSQL数据源并绑定至数据开发（DataStudio），才可通过AnalyticDB for PostgreSQL数据源访问AnalyticDB for PostgreSQL数据，进行后续的开发操作。...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
- 产品推荐
- 这些文档可能帮助您