PolarDB PostgreSQL版（兼容Oracle）间的迁移
类型 说明 源库限制（PolarDB 1.0）带宽要求：源库所属的服务器需具备足够的出口带宽，否则将影响数据迁移速率。待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需...
PolarDB PostgreSQL版间的迁移
是否限制全量迁移速率 全量迁移时会开启对源库的多并发读取及对目标库的多并发写入，这一行为可能对用户的数据库造成一定的压力，如果不希望对数据库影响太大，可以限制迁移的速率上限。是否限制增量同步速率 增量迁移时会开启对源库的多...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
阶段一：基础防护建设
私有（Private）：泄密会对企业造成严重影响，偏重于企业员工或用户的个人数据或财务数据等。例如，个人健康相关的X射线。敏感（Sensitive）：泄密会对企业造成影响，偏重于网络拓扑图、内部流程制度等。公开（Public）：泄密不会对企业...
备份对数据库的影响
数据库备份DBS 对数据库执行备份时会造成一定影响，建议选择业务低峰期执行备份任务。本文介绍备份原理、影响及注意事项。备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
拓展组件
逻辑控制 当前组件可以对场景中的虚拟孪生对象添加各种逻辑控制，包括数据绑定、变量绑定、脚本和蓝图组件。数据绑定 单击 数据编辑器，打开数据编辑面板。单击 新增行，增加需要添加的参数字段。确认无误后，单击 保存。查看当前对象的...
概述
您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形图、饼图、双轴图等图形或组件展现出来，并对这些图形或组件进行自由组合、布局，以某种分析思路对业务进行直观呈现。...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
DQL操作常见问题
说明 海量数据的全排序，对性能的影响非常大，而且很容易造成内存溢出问题，请尽量避免执行该操作。MaxCompute是否支持ORDER BY FIELD NULLS LAST语法？MaxCompute不支持此语法。MaxCompute支持的语法请参见 与其他SQL语法的差异。执行...
SQL结果集导出
警告 选中 跳过校验 后，DMS不会校验导出影响行数，如果数据量较大可能对正常的业务产生风险，请谨慎选择。相关人 否 设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句 是 填入可直接...
数据水印
警告 选中 跳过校验 后，DMS不会校验导出影响行数，如果数据量较大可能对正常的业务产生风险，请谨慎选择。相关人（可选）设置的相关人员都可查看工单，并协同工作，非相关人员则不能查看工单（管理员、DBA除外）。导出SQL语句（必选）填入...
数据传输服务概述
说明 网络因素对数据传输服务上传下载速度的影响较大，正常情况下速度范围为1 MB/s~20 MB/s。如果上传数据速度太慢，可以考虑使用多线程上传方式。数据传输服务共享资源组说明 下表数据为不同区域下免费共享资源（单位：Slot）Project级最...
合规&认证
个人信息保护 瓴羊智能服务公司积极跟进国内、国际对产品合规的要求，不仅积极对接各级监管机构，确保提供的产品和服务符合要求，也设立专门的团队对⽤户隐私协议、产品的隐私性保护设计、⽤户隐私数据的收集与使⽤进⾏审查，确保⽤户的...
备份SQL Server数据
注意事项 修改备份时间后，可能会在两分钟后触发一次备份，可能导致您的主库I/O带宽占用高，影响业务正常使用，建议您选择业务低峰期进行修改，以减少因备份操作所引起的资源消耗对数据库性能产生影响。SQL Server物理备份时速度较快（无法...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
DataWorks产品安全能力介绍
资产识别I（Identify）企业对自身系统和业务数据进行梳理，识别各类敏感资产，确认哪些系统、资产和数据可能对国家、组织、个人产生安全威胁。DataWorks可通过如下方式识别对应资产。支持自动化检测元数据，并支持管理员通过配置数据源的...
常见问题
数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，避免内部人员泄露数据但是无法对事件定责追溯的问题，提高数据安全性和溯源能力。数据安全中心通过水印技术，可以定位泄露的数据、...
如何支持超大事务
在事务修改数据量较少的情况下，分片数对事务执行时间的影响较大；在事务修改数据量较多的情况下，分片数对事务执行时间的影响则不大。因此，您可以参考本文在不同场景下的结论，根据具体的业务场景，选择合适的分片数，以获取更好的事务...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
如何选择备份方式
增量备份原理 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能...
DMS数据管理预案助力业务大促
通过本文您可以对现有数据库性能、安全等能力进行评估，提前规划好预防措施保障业务稳定运行，避免活动期间因数据库超载导致系统崩溃造成经济损失。前提条件 使用DMS大促预案的实例的管控模式为安全协同。更多信息，请参见 管控模式。背景...
逻辑备份、物理备份与快照
增量备份 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。日志读取速度也会随着数据库日志产生速度而调整。特性 支持进行更精细的库、表级别备份。不会对数据库加锁，对数据库性能影响较...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
资产安全概述
Dataphin内置了 公司数据（如公司财务报告）、业务数据（如业务客户数量）、个人数据（如消费者隐私数据）三种数据分类；同时也支持客户根据企业情况进行自定义分级。识别规则 识别规则是自动化识别敏感字段的策略。因为在实际的生产过程中...
数据扫描和识别
重新扫描的场景 扫描逻辑 计费影响 数据源首次完成授权接入。扫描该数据源中的所有数据。对该数据源中的所有数据收取全量扫描费用。数据源完成授权接入并已进行过扫描后，数据源发生了变化。在MaxCompute、数据库的表结构发生变化后（仅指...
大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
- 产品推荐
- 这些文档可能帮助您