功能更新动态（2022年之前）
同时，在数据源下拉列表中对于没有权限的数据源，您可以单击其后的申请权限，快速申请数据源的读写权限。2021年08月19日 华北2（北京）、华东1（杭州）配置Hologres输入组件、配置Hologres输出组件 2021年08月24日 华南1（深圳）2021年08月...
新增和使用独享调度资源组
选择已经与目标数据库网络联通的交换机，若没有可用交换机，可单击 创建交换机 为独享资源组创建交换机。创建完成后这里配置为创建的交换机。安全组 安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已...
通过函数计算节点实现GitHub实时数据分析与结果发送
案例说明 DataWorks为您提供了一个公共的MySQL数据源，存储来自Github的公开实时数据，本案例将此数据进行同步分析，最终将分析结果通过邮件发送至指定邮箱。主要业务过程如下：通过DataWorks的数据集成功能，将MySQL上的Github实时数据...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
一键实时同步至DataHub
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
Impala概述
优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询引擎相似，其性能比Hive快了几个数量级，具体取决于查询和配置的类型。Impala相对于Hadoop上SQL查询，优点如下：由于在数据节点上...
数据库代理常见问题
数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于转发应用服务端访问数据库时的所有请求，提供读写分离、事务拆分等高级功能，具有高可用、高性能、可运维、简单易用等特点。更多信息，请参见 什么是数据库代理。通用型...
HTTP API
相同的查询在TSDB For InfluxDB®的命令行界面中则返回：name:mymeas time myfield mytag1 mytag2-2017-03-01T00:16:18Z 33.1 2017-03-01T00:17:18Z 12.4 12 14 使用SELECT语句和INTO子句查询数据$curl-XPOST 'https://<网络地址>:3242/...
管道传输（Pipeline）
} } 在输入了正确的云数据库Redis版实例访问地址和密码之后，运行以上Java程序，输出结果如下：方法1-Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 发送请求完成，开始接收响应 Pipeline接收...
服务等级说明
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
批量创建质量规则
连通性监测：配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上，进而导致任务报错，对连通性监测的变化进行加监控告警。表结构异动：上游表的结构变化，如更名、删除、增减字段，进而导致下游报错，对表结构的变化进行...
批量创建质量规则
连通性监测：配置到Dataphin上的数据源因网络变更、用户名、密码等原因导致连接不上，进而导致任务报错，对连通性监测的变化进行加监控告警。表结构异动：上游表的结构变化，如更名、删除、增减字段，进而导致下游报错，对表结构的变化进行...
产品服务等级协议
本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的数据资源平台的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于数据资源平台公测、邀测、免费的功能及版本，也不适用于数据...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
术语表
本文介绍云原生分布式关系型数据库PolarDB-X使用过程中遇到的术语。控制台术语 名词 描述 地域 数据中心所在的地理位置。可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）...
新建实例场景下配置专有网络
云数据库MongoDB默认使用专有网络，云数据库MongoDB和专有网络必须在同一地域，有以下两种实现方式：如果云数据库MongoDB还没有创建，您可以先创建专有网络，然后在专有网络下创建MongoDB即新建MongoDB场景，本文主要介绍新建云数据库...
查看ECI实例监控指标
网络相关指标计算方式如下：网络带宽速率（每秒发送比特数，单位为bps）网络带宽速率=（B时刻的累计发送字节数-A时刻的累计发送字节数）/A时刻和B时刻之间的秒数*8 网络吞吐率（每秒发送包数量，单位为pps）网络吞吐率=（B时刻的累计发送包...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
Tunnel SDK常见问题
上传数据时，Writer每写入8 KB数据会触发一次网络动作，如果120秒内没有网络动作，服务端将主动关闭连接，届时Writer将不可用，请重新打开一个新的Writer写入。建议您使用 TunnelBufferedWriter。下载数据时，Reader也有类似机制，若长时间...
配置VPC数据源
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
外部数据
一个外部表可以在查询中像一个普通表一样地使用，但是在本地数据库服务器中外部表没有存储数据。不管使用什么外部数据包装器，本数据库会要求外部数据包装器从外部数据源获取数据，或者在更新命令的情况下传送数据到外部数据源。访问远程...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
JDBC 连接池配置示例
useLocalSessionState：建议设置为 TRUE，避免交易频繁向 OB 数据库发送 session 变量查询 SQL。session变量主要为：autocommit，read_only 和 transaction isolation。socketTimeout：执行 SQL 时，socket 等待 SQL 返回的时间。...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
Amazon Redshift数据源
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
独享资源组模式
如果做过网络打通，即存在数据库和DataWorks不在同一个region、数据库和DataWorks不在同一个阿里云账号、数据库在本地IDC环境下等需要网络打通的情况，请为独享绑定数据库已经打通的VPC，请参见 新增和使用独享数据集成资源组，再在绑定...
网络问题
本文介绍网络问题对数据库性能的影响。前端协议 简单查询：一个简单查询周期是由前端发送一条Query消息给后端进行初始化开始。这条消息包含一个用文本字符串表达SQL命令（或者一些命令）。后端根据查询命令串的内容发送一条或者更多条响应...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
计费项
常见问题 为什么没有传输数据的按量付费实例还在收费？按量付费的DTS实例在增量任务运行期间，将按照实际资源使用情况进行计费，与源端数据是否发生变更无关。建议您在完成数据传输后，尽快结束或释放实例。具体操作，请参见 结束DTS实例 ...
OpenEvent概述
数据质量 数据质量校验结果反馈事件 描述：在数据治理模块中，启用了数据质量监控规则后，发送监控规则的校验结果。类型：属于 普通事件，您可以订阅此类事件消息，获知事件状态的实时变化情况。例如，在数据治理的数据质量模块，给某个表...
- 产品推荐
- 这些文档可能帮助您