迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
某网约车公司车辆轨迹数据
解决方案 在原有的架构上引入了阿里云数据库，并将全量数据写到 云原生多模数据库 Lindorm 中，同时增量数据通过Kafka、Spark等实时同步到 云原生多模数据库 Lindorm，这样解决了客户线下数据库数据过大的问题。客户需要存储最近3年的数据...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
点热力层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
区域热力层
图表样式 区域热力层是3D地球的子组件，支持独立的样式和数据配置，能够使用GeoJson数据展示区域边界信息并渲染区域样式，适用于在3D地球上展示某个区域的数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
功能特性
监控告警 数仓和数据湖 功能集 功能 功能描述 参考文档 数据存储 数据缓存 云数据库SelectDB支持数据缓存功能，当您需要管理缓存数据并提升云数据库 SelectDB 版的访问速度时，可以根据该文档对缓存进行有效管理，并利用LRU和TTL管理策略，...
通过实时计算订阅数据
由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中配置流计算的白名单。创建流计算开发作业，将DataHub中的数据实时同步到RDS的目标表中。进入 阿里云流计算开发平台，单击 开发>作业开发>新建作业，创建...
2023年
Sugar BI连接MaxCompute 2023年9月更新记录 时间 特性 类别 描述 产品文档 2023-09-27 新增TPC-DS性能测试 新说明 MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景，并在业界具有较大的性能优势，本文基于MaxCompute提供的公开数据...
AnalyticDB PostgreSQL助力彩数实现全文检索加工及...
背景信息 彩数（上海）商务咨询有限公司是韩国三星集团旗下第一企划公司全资控股中国子公司，上海市专精特新企业，主要业务是从社交媒体、新闻和电子商务网站采集分析数据，包括社交数据分析，电商数据分析，问卷分析，埋点数据分析等，...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
查看计量详情
API计量详情提供了各类可视化图表及统计数据，可以针对单个API分别查看监控图表，包括API网关状态码、数据服务错误码、App请求次数、流量带宽、平均响应时间。进入计量详情页面 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框...
管理导入任务
ETL_QUALITY_UNSATISFIED：数据质量不合格，即导入任务的错误数据率超过了max-filter-ratio。LOAD_RUN_FAIL：导入任务在LOAD阶段失败。TIMEOUT：导入任务未在允许的超时时间内完成。UNKNOWN：未知的导入错误。msg：显示有关失败原因的详细...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
您需要先将全量备份文件上传至阿里云的对象存储服务（OSS），并通过RDS控制台将全量备份数据恢复至指定的RDS SQL Server数据库中。然后通过RDS控制台将差异备份或日志备份文件导入该RDS SQL Server数据库中，以实现增量备份上云的效果。该...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
离线集成管道通道配置
例如，来源数据源是VARCHAR类型的数据写入到了INT类型的目标数据源列中，导致格式无法转化，数据无法写入到目标数据源导致的错误，即脏数据。全局并发度配置 任务期望最大并发数 用于定义当前管道脚本中组件从源端并行读取或并行写入目标端...
过滤待迁移数据
在配置数据迁移任务的迁移对象时，您可以设置过滤条件，过滤待迁移数据。只有满足过滤条件的数据才会被迁移到目标数据库。该功能可应用于数据的定期迁移、拆分数据表等多种应用场景。功能限制 仅支持过滤当前表的字段，不支持跨表过滤。如...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
应用案例
您可以在GitHub上获取时空数据分析的典型案例，以便快速熟悉DLA Ganos的各项功能。栅格代数运算 栅格代数运算是指使用数学运算符对栅格数据进行加减乘除等代数计算的操作。例如，您可以应用简单的数学运算（例如加法或乘法）来更新栅格像元...
Salesforce数据源
本配置只需要比Salesforce批量数据准备任务自动分片的单批条数稍大即可获得最高下载性能。数据下载是流式的，增大此配置项不会占用更多内存。高级模式，向导模式不支持此参数的配。300000 where 否 筛选条件。当serviceType配置为sobject或...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
迁移失败常见原因及解决方案
案例十二：迁移后源端和目的端数据量相差较大 现象描述 某客户迁移NAS文件时，源端实际数据量5.8 T，但迁移到目的端的数据量为11 T，源端和目的端的数据相差较大。原因分析 如果源端有软链接，迁移时会仅迁移软链接指向的目标文件或目录，...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
常见问题
本文介绍在使用阿里云云监控产品监控OSS数据时遇到的一些常见问题及解决方案。OSS和云监控是两个独立的产品，OSS将数据推送至云监控，由云监控产品进行分析处理。OSS控制台上看到的存储容量监控以及带宽流量监控来自于云监控产品的数据。...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
东软案例
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
常见问题
此时需要通过SQL函数将TIMESTAMP类型的数据转换成DATETIME类型，在转换的过程中会出现各种预料不到的错误。解决方法：目标表中最好不要使用TIMESTAMP或DATETIME类型的字段，使用VARCHAR类型代替。参考文档：【流数据与大屏DataV】如何使用...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
导入概述
本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中，方便查询使用。StarRocks提供了多种导入...
2022年
本文为您介绍MaxCompute的错误码格式及错误码列表。错误码概述 2022-12-09 新增压缩数据从OSS迁移至MaxCompute。新说明 本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。压缩...
错误代码
可能的错误原因如下：未创建数据表。分库上的表名被人为删除或改名。无法连接RDS MySQL。出现该错误时，首先请检查表名是否存在，然后确认 PolarDB-X 1.0 后端所有RDS MySQL状态是否正常。如果确定表名被人为删除或改名，可以通过RDS MySQL...
使用DTS将腾讯云MongoDB增量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将腾讯云MongoDB副本集实例增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的...
使用DTS将腾讯云MongoDB增量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将腾讯云MongoDB副本集实例增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的...
自建MySQL迁移至PolarDB MySQL版
通过数据传输服务DTS（Data Transmission Service），可以帮助您将自建MySQL数据库迁移至 PolarDB MySQL版 集群。支持的源数据库 MySQL与 PolarDB MySQL版 集群间的迁移，支持源数据库MySQL为以下类型。本文以有公网IP的自建数据库为例介绍...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
自建Oracle迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle数据迁移至 RDS MySQL 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
从自建MySQL迁移至MyBase MySQL
本文以ECS自建数据库为源数据库，MyBase MySQL实例为目标数据库介绍配置流程，其他数据源配置流程与本案例类似。源数据库 目标数据库 阿里云实例。以下类型的自建数据库：有公网IP的自建数据库。ECS上的自建数据库。通过专线、VPN网关或...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
- 产品推荐
- 这些文档可能帮助您