相关的云服务
专有网络VPC 专有网络VPC可以为开源大数据平台E-MapReduce提供隔离、稳定、安全、快速交付、自主可控的网络环境。您可以自定义这个专有网络的拓扑和IP地址，适用于对网络安全性要求较高的用户。弹性公网IP 弹性公网IP位于阿里云的公网网关...
通过RAM角色授权模式配置数据源
因此，云账号负责人可以为大数据团队创建自定义角色 BigDataOssRole，并限制可以使用角色的人员为大数据团队的相关人员，实现团队间的权限管控。创建自定义角色。本案例示例创建可信实体为 阿里云账号、角色名称为 BigDataOssRole 的自定义...
冷热分层
基于Tablestore的通道服务，原始数据可以利用变更数据捕获CDC（Change Data Capture）技术写入多种存储组件中。示例 本示例结合Tablestore和Delta Lake，进行数据的冷热分层。实时流式投递。创建数据源表。数据源表是原始订单表OrderSource...
典型场景
构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据...
API概览
本产品（云数据库 SelectDB 版/2023-05-22）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
API概览
本产品（云数据库 ClickHouse 版/2019-11-11）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
整库离线同步至Elasticsearch
您可以根据实际网络情况及数据量大小进行合理配置，减少不必要的网络开销。增量同步 仅当 方案选择 配置为 只增量一次性同步、周期性增量同步 或 全量一次性同步后周期增量 时，需要配置该参数。说明 您可以使用调度参数来指定同步源表及...
简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
添加ClickHouse数据源
网络 数据源可选的网络类型。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录数据库的密码。数据库 单击 ...
离线同步常见问题
脏数据实时场景分析：场景一：报错现象：{"message":"写入 ODPS 目的表时遇到了脏数据:第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
升级数据库大版本
支持升级的数据库大版本 云数据库 MongoDB 版 控制台可以直接升级数据库大版本，但不同产品架构、不同版本的实例支持升级的版本不同，具体情况如下：产品架构 规格类型 实例的数据库大版本 可升级到的数据库大版本 单节点架构 通用型云盘版...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
从ECS上的自建Redis同步至Tair实例
已选择对象 若您需要指定接收数据的库（DB 0~DB 255）或通过前缀筛选待同步的数据，可以使用映射或过滤功能。在 已选择对象 框中右键单击待同步的库，然后在弹出的 编辑Schema 对话框中进行配置。更多信息，请参见 库表列名映射 和 设置...
从ECS上的自建Redis同步至云数据库Redis实例
已选择对象 若您需要指定接收数据的库（DB 0~DB 255）或通过前缀筛选待同步的数据，可以使用映射或过滤功能。在 已选择对象 框中右键单击待同步的库，然后在弹出的 编辑Schema 对话框中进行配置。更多信息，请参见 库表列名映射 和 设置...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的Twemproxy Redis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的Twemproxy Redis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Vertica的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
云数据库Redis间的单向同步
已选择对象 若您需要指定接收数据的库（DB 0~DB 255）或通过前缀筛选待同步的数据，可以使用映射或过滤功能。在 已选择对象 框中右键单击待同步的库，然后在弹出的 编辑Schema 对话框中进行配置。更多信息，请参见 库表列名映射 和 设置...
从自建Redis集群同步至Redis集群实例
数据传输服务DTS（Data Transmission Service）支持Redis集群间的单向同步，适用于数据迁移、异地多活、数据异地容灾等多种应用场景。本文以自建Redis集群同步至阿里云Redis集群实例为例，介绍数据同步作业的配置流程。从阿里云Redis集群...
从自建Redis集群同步至Redis集群实例
数据传输服务DTS（Data Transmission Service）支持Redis集群间的单向同步，适用于数据迁移、异地多活、数据异地容灾等多种应用场景。本文以自建Redis集群同步至阿里云Redis集群实例为例，介绍数据同步作业的配置流程。从阿里云Redis集群...
从自建Redis迁移至阿里云Redis
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。前提条件 自建Redis数据库版本为2.8、3.0、3.2、4.0、5.0、6.0。自建Redis数据库为单机架构，暂不...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
查询备份数据
本文介绍在DMS控制台查询RDS MySQL备份数据的操作步骤。前提条件 RDS实例需满足以下条件：MySQL数据库版本：8.0（包含Serverless实例）、5.7 存储类型：云盘版 说明 您可以前往实例基本信息页面查看以上信息。实例规格为 通用规格。实例...
源库连接性检查
网络互通问题 经过上述排查后仍然无法通过源库连接性检查，可能是DTS服务器与源数据库网络互通问题。您可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。
AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与AnalyticDB for PostgreSQL的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成数据集成运行进程OOM情况。否 1,024
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
备份集查询功能概览
DBS备份数据查询功能，可以在不恢复备份数据的情况下，直接查询云存储中备份集的数据。背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据...
应用场景
通过对敏感数据进行分类、分级和脱敏，帮助您精准识别和保护敏感数据。...数据安全合规检查 应相关监督部门的数据安全合规检查要求，可通过 DSC 提供的数据安全的分类分级、泄漏检测、数据脱敏等功能对数据进行相关合规检查。
- 产品推荐
- 这些文档可能帮助您