创建MySQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建HDFS数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 NameNode NameNode为HDFS集群中...
创建达梦（DM）数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 格式为 jdbc:dm:/{...
创建IBM DB2数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建AnalyticDB for MySQL 2.0数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建达梦（DM）数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 格式为 jdbc:dm:/{...
创建ClickHouse数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL ClickHouse的连接地址...
识别任务说明
重要 为了将扫描对数据库的影响降到最低，建议您将扫描开始时间设置为数据资产调用低峰期的时段。在扫描任务执行期间，建议您观察数据库或业务状态，例如CPU使用率、内存使用率是否存在异常突增。如果发现业务异常且异常现象和扫描任务相关...
新建AnalyticDB for MySQL 3.0数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建PostgreSQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建PolarDB-X数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建AnalyticDB for PostgreSQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Microsoft SQL Server数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建MySQL数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建Kafka数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 连接地址 Kafka集群地址。配置...
创建Kafka数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 连接地址 Kafka集群地址。配置...
如何支持超大事务
在事务修改数据量较少的情况下，分片数对事务执行时间的影响较大；在事务修改数据量较多的情况下，分片数对事务执行时间的影响则不大。因此，您可以参考本文在不同场景下的结论，根据具体的业务场景，选择合适的分片数，以获取更好的事务...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
SQL结果集导出
影响行数 是 预估本次导出会影响的数据行数，您可以在SQL Console中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验 否 是否跳过校验...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
如何选择备份方式
增量备份原理 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能...
逻辑备份、物理备份与快照
增量备份 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能影响较...
概述
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供 数据集成、数据开发、数据地图、数据质量 和 数据服务 等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
数据扫描和识别
为了减少扫描对您数据库性能的影响，您可以参考以下规则配置全量扫描周期：增大全量扫描的扫描周期，有效减轻 DSC 扫描对数据库性能产生的影响。将扫描时间设置为数据库访问量较小的时段。DSC 支持扫描的数据源有哪些？DSC 支持对结构化...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
快照备份
对实例性能的影响 资源占用大，对实例性能影响略大，建议在业务低峰期执行备份。仅占用实例的极小部分I/O资源，对实例性能几乎无影响，随时可执行备份。下载备份 支持 不支持 前提条件 RDS实例需满足以下条件：存储类型：ESSD云盘、通用云...
数据资产等级定义
数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据一旦出错，将会引起重大资产损失，面临重大收益损失等。标记为A1。全局性质：数据...
数据质量评估标准
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据质量可以从完整性、准确性、一致性和及时性四个角度进行评估。完整性 完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
备份SQL Server数据
注意事项 修改备份时间后，可能会在两分钟后触发一次备份，可能导致您的主库I/O带宽占用高，影响业务正常使用，建议您选择业务低峰期进行修改，以减少因备份操作所引起的资源消耗对数据库性能产生影响。SQL Server物理备份时速度较快（无法...
离线同步日志分析
若同步过程产生大量脏数据，将会影响数据同步的同步速度。若您对同步速度有要求，建议您先处理脏数据问题。脏数据介绍详情请参见 离线同步任务配置相关能力。您可以通过配置脏数据容忍条数控制同步产生的脏数据是否影响任务正常执行。离线...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
数据迁移与同步FAQ
说明 数据迁移与数据同步均是从源库复制数据至目标库，不会对源库的数据产生影响。DTS的数据迁移与数据同步工作原理是什么？详情请参见 产品架构及功能原理。DTS的数据迁移与数据同步有什么区别？对比项 DTS数据迁移 DTS数据同步 适用场景 ...
使用DMS数据追踪进行恢复
DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新，并生成逆向回滚语句，追踪完的数据可批量生成回滚脚本，通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响的数据量在10万以内时，您可使用该方法进行数据恢复...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
- 产品推荐
- 这些文档可能帮助您