消除数据重分布
许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，同时也消耗网络资源。所以应该尽量减少和避免数据交换。首先分析数据库系统的查询模式，确定系统中成本最高...
产品简介
首先，Data Exchange提供了一个集中的数据交换平台，使用户能够浏览和订阅各种数据产品。这些数据产品涵盖了多个行业及领域，包括智能汽车、金融等。用户可以根据自己的需求浏览各种数据集，并选择订阅感兴趣的数据产品。其次，Data ...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
敏感数据保护
敏感数据的数据集成加解密 如果在数据上云、数据交换等场景，需要对传输中的数据进行加解密保护，则可以使用Dataphin的集成加解密能力，对集成的数据进行加解密保护。加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护...
HTTP API 概览
默认数据交换是通过 JSON。所有返回的结果都使用标准的 HTTP 响应代码，并使用特定的格式返回错误。下表列出了 TSDB 提供的与数据读写和管理相关的所有 API。关于如何使用每个 API 的具体说明，请点击描述中提供的链接查看相应文档。API ...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
地图数据格式
GeoJSON是基于JavaScript对象表示法的地理空间信息数据交换格式，详情请参见 地理空间数据格式 GeoJSON。您可以通过GeoJSON在线编辑工具 DataV.GeoAtlas，获取或编辑GeoJSON格式的地理数据。您可以使用GeoJSON行政区划边界提取小工具 DataV...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向云HBase的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
什么是云原生多模数据库Lindorm
开放兼容 兼容SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka等 多种标准接口，支持与Hadoop、Spark、Flink、Kafka等系统无缝打通，并提供简单易用的数据交换、处理、订阅等能力。多模介绍 Lindorm支持宽表、时序、对象、文件、队列、...
LTS（原BDS）服务介绍
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好...
图扑案例
如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据交换/ETL软件（如Apache nifi、Sqoop等）打通多引擎数据交互通道，根据应用场景业务来适配数据。...
Lindorm for Cassandra应用实践
开放数据生态：提供简单易用的数据交换、处理、订阅等能力，能够高度兼容MySQL、Spark、Flink、Kafka等系统。开源Cassandra挑战 开源Cassandra是基于Amazon DynamoDB和Google Bigtable设计的一款分布式NoSQL数据库，具备无中心、一致性可调...
产品整体介绍
技术架构 以下为 AnalyticDB PostgreSQL版 的架构图，主要包含Master Node和Compute Node两大组件，中间通过Interconnect进行互联通信和数据交换传输。Master Node和Compute Node提供多副本保障服务高可用和数据高可靠，同时均支持通过...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
内存型
为了提高线程的并行度，IO线程和Worker线程之间采用无锁队列和管道进行数据交换。说明 对于通用的类型，例如：String、List、Set、Hash、Zset、Hyperloglog、Geo以及扩展结构都有很好的加速效果。对于Pub、Sub、Blocking系列API，由于其...
基本概念
支持简单易用的数据交换、处理、订阅等能力，满足用户的数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等需求，实现面向Lindorm的一站式数据生态服务。更多信息，请参见 LTS（原BDS）服务介绍。M MaxCompute 大数据计算...
交换分区
当 ALTER TABLE…EXCHANGE PARTITION 命令执行完成时，原来位于 target_partition 中的数据将交换至 source_table 中，原来位于 source_table 中的数据将交换至 target_partition 中。ALTER TABLE…EXCHANGE PARTITION 命令可以交换LIST、...
数据集成概述
网络连通：支持单地域内及部分跨地域的数据存储相互同步、交换的数据同步需求。部分地域之间可以通过经典网络传输，但不能保证其连通性。如果测试经典网络不通，建议您使用公网方式进行连接。数据传输：数据集成仅完成数据同步（传输），...
EXCHANGE PARTITION
当执行完 ALTER TABLE.EXCHANGE PARTITION 命令后，最初在 target_partition 中的数据就会交换到 source_table 中，而最初在 source_table 中的数据则会交换到 target_partition 中。WITHOUT VALIDATION 选项表示不对单表的数据是否符合...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
混合存储型（已停售）
在正常业务请求中，活跃的商品数据会保留在内存，不活跃的商品数据会逐渐交换到磁盘上，从而解决内存不够的问题。在线教育 在线教育类的场景有大量的课程、题库以及师生交流信息等数据，通常只有热门课程和最新题库会被频繁访问。使用混合...
OSS数据安全防护最佳实践
数据脱敏 数据进行对外交换供用户分析或使用时，未进行脱敏处理，导致敏感信息的意外泄漏。DSC 支持灵活多样的内置或自定义脱敏算法，可实现生产类敏感数据脱敏到开发、测试等非生产环境使用的场景，并确保脱敏后的数据保真可用。异常检测...
自动化管理分区
您可以通过创建定时任务的方式来创建、删除或交换分区，以实现分区自动化管理。...该任务会从 2022-05-21 02:00:00 开始，在每天的 02:00，将前一天创建的分区与一个空表进行交换，分区中原有的数据都会保存在被交换的表中。
混合存储型（已停售）
在正常业务请求中，活跃的商品数据会保留在内存，不活跃的商品数据会逐渐交换到磁盘上，从而解决内存不够的问题。在线教育 在线教育类的场景有大量的课程、题库以及师生交流信息等数据，通常只有热门课程和最新题库会被频繁访问。使用混合...
行业趋势与背景
数据库系统是一切应用软件的数据处理及交换核心，是所有基础软件进行数据存储、查询、分析处理的中心。数据库系统运行性能是否高效稳定、接口语言是否通用，直接决定了上层应用能否给用户提供好的性能，同时直接影响开发人员效率。根据全球...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
创建 Serverless 实例
VPC 交换机 访问数据库服务的业务资源的所属交换机 ID。可以选择系统自动创建 VPC 交换机。如需要创建 vSwitch，您可以单击 去创建>；您需要了解概念请单击 文档>。时区 选择 Serverless 实例的时区。字符集 选择 Serverless 实例使用的...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
访问外部数据源
说明 对于数据源绑定场景，如果多个数据源共用一个VPC下的交换机，打通其中一个数据源意味着相同交换机下的所有数据源一并打通。因此，只能打通同一Region下的数据源。在Databricks数据洞察控制台，进入集群详情页面。点击详情页面 数据源 ...
管理网络配置
参数 说明 专有网络 选择用于需与后续添加使用的EMR集群、数据库专有网络一致 交换机 选择用于工作空间机器与待绑定的EMR集群、待添加数据库连通的交换机，仅支持选择特定可用区下的交换机，详情请参见使用限制。安全组 选择机器加入的安全...
跨阿里云主账号访问
您在跨账号进行数据同步任务之前，需要设置并确保执行任务的独享数据集成资源组，与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时，数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...
独享资源组
添加独享资源组白名单 如果您使用独享数据集成资源组走VPC内网同步数据，请在数据库白名单列表中添加独享数据集成资源组绑定的交换机网段。获取独享绑定的交换机网段信息如下：在 DataWorks控制台 的 资源组列表 页面 独享资源组 页签下，...
通用参考：添加路由
如果目标数据源有多台机器且在不同的交换机下，请为每台交换机添加路由。固定IP：您可以输入独享资源组需要访问的 目标IP 作为路由目标。此处输入的IP地址为VPC内部的IP，且是您要连通的数据源的主机地址。指定网段：您可以输入独享资源组...
新增和使用独享数据集成资源组
选择已经与目标数据库网络联通的交换机，若没有可用交换机，可单击 创建交换机 为独享资源组创建交换机。创建完成后这里配置为创建的交换机。安全组 安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已...
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
ClickHouse整库数据离线同步至Hologres
本文以ClickHouse离线同步写入Hologres场景为例，为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。使用限制 ClickHouse离线同步仅支持阿里云ClickHouse 20.8、21.8版本。ClickHouse离线同步仅支持使用独享数据集成资源...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
新增和使用独享调度资源组
选择已经与目标数据库网络联通的交换机，若没有可用交换机，可单击 创建交换机 为独享资源组创建交换机。创建完成后这里配置为创建的交换机。安全组 安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
访问MongoDB数据源
本文介绍如何使用 AnalyticDB MySQL版 湖仓版（3.0）Spark访问云数据库MongoDB数据。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。如果您是通过阿里云账号访问，只需...
- 产品推荐
- 这些文档可能帮助您