线热力层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
创建MySQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
创建Lindorm数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Lindorm的连接地址。...
使用流程
个人或小型企业备份 操作简单 使用快捷 方式二：通过数据源创建单个或多个备份计划 仅需首次将数据库添加至DBS数据源，即可从数据源中管理和创建备份计划，方便二次使用。同时支持接入不同引擎的云数据库、自建数据库等，均可以在DBS控制台...
创建Lindorm数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Lindorm的连接地址。...
批量创建质量规则
规则配置（数据源无需配置，可直接查看下一个步骤）参数 描述 基准表 对象选择所勾选的数据表。基于该表的字段进行规则详情配置。例如：A表有id、name两个字段，B表有id、age两个字段，C表有name、age两个字段，以A表为基准表，id为校验...
批量创建质量规则
规则配置（数据源无需配置，可直接查看下一个步骤）参数 描述 基准表 对象选择所勾选的数据表。基于该表的字段进行规则详情配置。例如：A表有id、name两个字段，B表有id、age两个字段，C表有name、age两个字段，以A表为基准表，id为校验...
创建Aliyun HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 服务类型 根据数据源HBase选择...
创建PolarDB数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 请根据所选的数据库...
创建MongoDB数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 支持多副本模式，可...
功能简介
数据源管理 支持对数据同步的数据源端和目标端进行统一的注册和管理，支持对关系型数据库、文件、消息队列等多种类型数据源的配置，并可对所填写数据源的连通性进行有效性验证。支持对已配置连通的数据源进行元数据同步及数据对象查看，...
创建MongoDB数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 支持多副本模式，可...
创建ClickHouse数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL ClickHouse的连接地址...
数据同步
数据源管理 支持对数据同步的数据源端和目标端进行统一的注册和管理，支持对关系型数据库、文件、消息队列等多种类型数据源的配置，并可对所填写数据源的连通性进行有效性验证。支持对已配置连通的数据源进行元数据同步及数据对象查看，...
功能简介
数据源管理 支持对数据同步的数据源端和目标端进行统一的注册和管理，支持对关系型数据库、文件、消息队列等多种类型数据源的配置，并可对所填写数据源的连通性进行有效性验证。支持对已配置连通的数据源进行元数据同步及数据对象查看，...
访问JDBC外表
云原生多模数据库Lindorm计算引擎支持访问外部JDBC数据源，您可以通过Spark SQL完成Lindorm与外部数据源之间的数据流转以及联邦计算。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。确保外部数据源已开通访问权限...
创建HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 连接地址 连接地址的格式为 hb-...
配置跨库Spark SQL节点
db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，数据生态较全面，可通过扩展支持各种数据源。...
新增和使用独享数据集成资源组
说明 DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下，您还需通过 VPN网关 或 高速通道 等方式，将独享资源组绑定的VPC与数据源所在VPC网络打通，并手动添加路由指向目标数据库IP，保障两个网络间可达。详情请参见 配置...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
使用ACM简化Spring Cloud微服务环境配置管理
在本文中，以测试和生产环境下连接不同的数据库、配置不同的数据源（包括连接池）参数为例，介绍了如何搭配使用阿里云配置中心ACM与Spring Cloud，帮助您在微服务架构中简化环境配置管理。迁移到MSE Nacos ACM进入下线状态，所有配置管理...
MySQL整库周期性增全量同步至Hive
本实践以MySQL作为来源数据源，以Hive作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和Hive数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、Hive数据源。已购买独享数据集成资源组，并为...
设置过滤条件
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。该功能常应用于分库分表、同步或迁移部分数据等场景。前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法...
元数据管理
选择数据目录下的数据库。（选填）输入元数据表描述。选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-...
FTP Check节点
然后在DataWorks中配置一个FTP Check节点，周期性检测该.done 文件是否存在，当检测到文件存在时，表明该数据库中的数据写入任务已经完成，可以启动调度需要访问该数据库数据的任务。说明 其他调度系统可以自行指定生成标记文件的文件系统...
数据源和项目协同
背景信息 项目管理员创建一个项目成员后，项目成员可以创建数据源，并在项目中添加数据源中的数据库后，即可进行数据库变更任务。系统管理员在 Web 版 ODC 中创建项目，并为该项目指定成员。系统管理员或者拥有新建数据源角色权限的项目...
数据库采集
说明 建议在业务低峰期采集数据库数据，通常业务低峰期采集只需要较短时间就可以完成采集。采集器对CPU要求不高，如果涉及到数据库对象的getddl操作，采集开始时CPU负载会有一些增加，负载增加量取决于源数据库规格和当前负载。采集器对源...
使用场景
ACM 不仅适用于微服务、分布式架构下的配置管理、服务治理，在大数据等场景下也可灵活运营。本文选取典型的场景案例进行详细介绍。迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，更好的安全和...
Quick BI连接
您可以在Quick BI控制台的数据源配置界面，单击 复制白名单，获取Quick BI的IP地址。配置项 说明 显示名称 数据源名称。数据库地址 AnalyticDB PostgreSQL版的连接地址。端口 连接地址对应的端口号。数据库 AnalyticDB PostgreSQL版数据库...
CREATE DATABASE
CREATE DATABASE 用于创建数据库。创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及...
Quick BI数据可视化
本文为您介绍如何为Quick BI添加 云数据库 SelectDB 版 数据源。前提条件 已为 云数据库 SelectDB 版 实例 申请公网地址。具体操作，请参见 申请和释放公网地址。已获取 云数据库 SelectDB 版 的用户名和密码。操作步骤 登录 Quick BI控制...
配置SQLServer数据源
此连接串中的Database为本数据源的默认数据库，但在配置同步任务时，您可以使用相应RDS实例下所有的数据库。用户名 登录数据库的用户名。密码 登录数据库的密码。选择 资源组连通性 类型为 数据集成。在资源组列表，单击相应资源组后的 ...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
CREATE DATABASE
CREATE DATABASE语法用于在Lindorm实例中创建数据库，并设置数据库属性，例如数据有效期TTL，方便您统一归档数据。引擎与版本 CREATE DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持CREATE DATABASE语法。时序引擎...
创建和使用加密配置
为了确保敏感配置（数据源、Token、用户名和密码等）的安全性，降低用户配置的泄露风险，ACM提供了创建加密配置的功能。迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，更好的安全和稳定性）。您...
创建Redis数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 host Redis的连接地址。若您...
HDFS数据源
类型分类 数据库数据类型 整数类 TINYINT、SMALLINT、INT和BIGINT 浮点类 FLOAT和DOUBLE 字符串类 CHAR、VARCHAR和STRING 布尔类 BOOLEAN 日期时间类 DATE和TIMESTAMP 数据同步任务开发 HDFS数据同步任务的配置入口和通用配置流程指导可...
通过代理连接地址连接数据库
在读写分离、高并发读等业务场景中，建议在业务应用中将数据库连接地址配置为数据库代理连接地址，RDS PostgreSQL可以根据代理连接地址配置的读写属性和读权重进行自动分配，减少主实例负载。本文介绍如何通过数据库代理连接地址连接RDS ...
创建IBM DB2数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
- 产品推荐
- 这些文档可能帮助您