快速体验
实操该实验后，可在DataWorks独立完成数据采集、数据开发和任务运维等数据岗位常见任务。实验时长 采用在线学习的方式，预计耗时1小时。实验费用 本案例运行可能会产生一定的费用。为避免产生过多费用，本案例在创建相关表时，生命周期 已...
常见问题参考
默认情况下，当日志服务采集到的记录出现内容错误，或者因为类型不兼容等原因，无法正确转换为TSDB数据点时，数据导出任务会将对应的数据点字段设置为默认值（数值类型为0，字符串类型为空串，布尔类型为false).数据导出过程并不会因为运行...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
性能优化与诊断简介
在RDS PostgreSQL日常运维中，您可以通过数据库自治服务DAS（Database Autonomy Service）来处理数据库故障、优化性能、提升效率、降低运维成本。DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自...
冷热分层
常见于交易类数据、时序监控和IM聊天等场景。按照访问热度：采用业务打标或系统自动识别等方式，按照数据的访问热度来区分冷热数据。例如，某旧博客突然被大量访问。此时不应该按照时间区分，而是应该按照具体的业务和数据分布规律来区分...
全增量同步任务运维
其中一键实时同步至MaxCompute任务需要重跑流程恢复数据的常见场景如下：实时任务失败太久导致Binlog被清理，无法补回增量数据。由于各种原因导致目标表缺失了新增列。由于各种原因导致目标表数据出现了缺失或者不正确的问题。重要 强制重...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
产品架构
数据源地址动态适配 对于数据订阅及同步链路，容灾系统还会监测数据源的连接地址切换等变更操作，一旦发现数据源发生连接地址变更，它会动态适配数据源新的连接方式，在数据源变更的情况下，保证链路的稳定性。数据迁移工作原理 数据迁移...
服务等级说明
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
常见问题
数据导入常见问题 业务调优 购买常见问题 EMR StarRocks支持哪些地域？常见使用问题 如何选择数据模型？StarRocks数据模型count的实现机制是怎么样的？如何减少/mnt/disk1/starrocks/storage/trash/目录磁盘占用？创建物化视图时报错，该...
应用场景
数据库备份DBS 提供数据全量备份、增量备份、异地备份以及数据恢复等功能，帮助您实现多种典型应用场景。典型场景 应用场景 相关操作文档 备份安全 跨阿里云账号备份恢复数据 通过公网地址实现数据库跨账号备份 备份集自动归档到备份服务器...
数据归档OSS
该功能允许用户在控制台数据库管理页面或通过API将不经常访问的在线数据库转为冷存数据库，而冷数据会存储在低成本的对象存储OSS中，以此实现数据的冷热分离，帮助用户节约存储成本。功能简介 RDS SQL Server基于SQL Server内核原生的数据...
查看表资产详情
数据质量 单击 数据质量>质量报告，展示数据表字段个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明，查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看，通过评分趋势图了解该...
查看表资产详情
数据质量 单击 数据质量>质量报告，展示数据表字段个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明，查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看，通过评分趋势图了解该...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。...前提条件 配置MySQL输入之前，请确保已完成...常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步MySQL数据报错
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
PolarDB MySQL版集群间的数据迁移
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
网络连通解决方案
第三方云自建数据源 网络连通的常见问题 数据源网络连接测试不通时，建议您从以下几个方面排查：数据源是否已正常启动。以MySQL数据源为例，您可以在本地PC上 telnet 127.0.0.1 3306，查看数据库端口是否已开启。Dataphin无法访问数据源...
从PolarDB MySQL版迁移至RDS MySQL
阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 ...
从RDS MySQL迁移至PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据类型
本文介绍Mesh中常见的数据类型。texture 纹理类型，包含宽、高、压缩方式及纹理二进制数据等。多个对象可以共享同一个纹理。material 材质类型。用于描述sfmesh对象表面各可视化属性，可以关联到纹理信息。meshgeom 几何类型，用于存储记录...
从PolarDB MySQL版迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至自建MySQL数据库，可用于数据分析、业务功能测试等场景。前提条件 为满足增量数据迁移的要求，源 PolarDB MySQL版 集群需开启Binlog，详情请参见 如何...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
数据类型
本文介绍Mesh中常见的数据类型。texture 纹理类型，包含宽、高、压缩方式及纹理二进制数据等。多个对象可以共享同一个纹理。material 材质类型。用于描述sfmesh对象表面各可视化属性，可以关联到纹理信息。meshgeom 几何类型，用于存储记录...
从自建MySQL迁移至PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MySQL迁移至自建MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL迁移至自建MySQL数据库，适用于数据分析、业务功能测试等场景。前提条件 RDS MySQL中的待迁移的表需具备主键或者唯一性非空索引。自建MySQL数据库的存储空间须大于RDS...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
RDS实例间的数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
RDS实例间数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
跨阿里云账号迁移PolarDB MySQL版
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从自建TiDB增量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
安全配置常见问题
问题类别 常见问题 数据安全 MaxCompute如何保证数据安全？MaxCompute的数据是否可靠？VPC IP白名单是否支持设置网段？项目安全 运行作业报错AllMachineInBlackList，如何解决？因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何...
后续指引
介绍：SQL SQLML PyODPS MapReduce Mars Spark Graph 外部表 Java SDK Python SDK JDBC 实践：数据开发最佳实践 常见问题：错误码 SQL常见问题 PyODPS常见问题 MapReduce常见问题 Spark常见问题 外部表常见问题 Java SDK常见问题 Python ...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
- 产品推荐
- 这些文档可能帮助您