数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
应用场景
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台 数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
什么是数据库网关
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
通过上传本地数据新建数据集
在顶部菜单栏，单击 图标，选择目标工作组，单击 数据中心。在左侧导航栏，选择 数据管理>数据集。添加数据目录。在目录栏选中目录，单击 图标，在目录输入框中输入目录名称，按回车键。页面提示新增成功，在目录栏可查看添加的目录。说明 ...
什么是数据库网关
DBS提供秒级恢复、备份数据湖分析等能力，可触达本地数据中心、其他云厂商、专有云及公共云等环境，构建企业级混合云统一备份平台。数据库备份DBS支持通过数据库网关备份本地或第三方云的私网数据库到云存储，可将数据库低成本地接入至阿里...
解决方案与客户案例
业务连续性保障 异地多活架构下各个数据中心常态承接业务流量，故障发生时只需调拨入口流量即可实现容灾切换，实现分钟级的容灾切换。同时随着参与多活建设的数据中心数量增加，参与调拨流量的比例会相应减少，未参与调拨的业务流量可以...
观远BI连接MaxCompute
在 观远数据 页面单击 数据中心。在 数据集 页面单击 新建数据集 并选择 数据库。在 选择连接器 面板中选择 MaxCompute 后单击 下一步。步骤二：选择数据表 在 选择数据表 面板，单击 新建账户。如果已有创建的账户，直接跳转 第4步。在 ...
通过操作审计查询行为事件日志
DIRunStreamxJob 运维中心数据集成启动实时任务 DIBatchRunStreamxJob 运维中心数据集成批量启动实时任务 DIStopStreamxJob 运维中心数据集成停止实时任务 DIBatchStopStreamxJob 运维中心数据集成批量停止实时任务 DIOfflineStreamxJob 运...
创建Impala数据源
参数 说明 Endpoint 可选，填写集群在DLF数据中心所在地域的Endpoint，若未填写则使用hive-site.xml中的配置项。Endpoint如何获取，请参见 DLF Region和Endpoint对照表。AccessKey ID、AccessKey Secret 填写集群所在账号的AccessKey ID和...
DataWorks On CDP/CDH使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心、数据保护伞、审批中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全...
解决方案与客户案例
业务连续性保障：异地多活架构下各个数据中心常态承接业务流量，故障发生时只需调拨入口流量即可实现容灾切换，实现分钟级的容灾切换。同时随着参与多活建设的数据中心数量增加，参与调拨流量的比例会相应减少，未参与调拨的业务流量可以...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
通过函数计算节点实现GitHub实时数据分析与结果发送
其他地域Endpoint请参见 访问域名和数据中心。Bucket 输入OSS Bucket。如果没有可用的Bucket，请 创建Bucket。访问模式 RAM角色授权模式 Access Key模式 选择角色 当访问模式为 RAM角色授权模式，选择RAM角色，详情请参见 通过RAM角色授权...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）逻辑表实例 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）离线整库迁移 为了满足更丰富的场景，Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle...
文档更新动态（2022年之前）
更新说明 逻辑表实例 2021年08月24日 离线整库迁移 为了丰富元表的数据来源，支持基于Hologres数据源新建元表为了满足更丰富的场景，Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for ...
支持识别的行业模板
数据安全中心的识别规则模板是根据不同行业规范、针对性定制的敏感数据分类分级。通过识别规则模板可以使敏感数据自动符合合规要求。本文介绍数据安全中心提供的内置识别模板。数据安全中心支持识别的模板类型按照不同行业规范，可以按以下...
图扑案例
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据...
同步方案概览
建议使用高速通道（Express Connect）或智能接入网关SAG（Smart Access Gateway）将本地数据中心和云上专有网络打通，然后通过 专线/VPN网关/智能网关 的接入方式将自建数据库接入DTS。更多信息，请参见 连接本地IDC。云企业网CEN 源为自建...
迁移方案概览
建议使用高速通道（Express Connect）或智能接入网关SAG（Smart Access Gateway）将本地数据中心和云上专有网络打通，然后通过 专线/VPN网关/智能网关 的接入方式将自建数据库接入DTS。更多信息，请参见 连接本地IDC。云企业网CEN 源为自建...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
管理缓存
通过将数据写回到UFS，可以保证如果Alluxio发生故障数据还是可恢复的。语法 alluxio fs persist示例：将Alluxio中 tmp 目录持久化到底层文件系统中。alluxio fs persist/tmp 返回如下信息。persisted file/tmp with size 46 setTtl 设置...
周期任务补数据
补数据模式 当前，运维中心补数据功能支持对当前任务和对当前任务及下游任务进行补数据，详细说明如下：补当前任务：即当前任务，用于对当前任务进行补数据操作。适用于以下场景：对当前节点进行数据回刷，而无需更新下游节点数据。当前...
周期任务补数据
补数据模式 当前，运维中心补数据功能支持对当前任务和对当前任务及下游任务进行补数据，详细说明如下：补当前任务：即当前任务，用于对当前任务进行补数据操作。适用于以下场景：对当前节点进行数据回刷，而无需更新下游节点数据。当前...
C100售前支持相关问题
数据库安全监控报警：实时监测数据库SQL注入、漏洞攻击、暴力破解及高危语句执行等危险行为并告警，帮助及时感知、排除数据库风险。智能机器学习：通过机器学习建立用户正常访问行为模型，量身定制形成用户合规画像，依照画像智能、精准...
pg_dump
说明 如果需要排除数据库中所有表的数据，请参见-schema only。if-exists 使用条件命令（例如，添加 IF EXISTS 子句）清理数据库对象。使用时需要同时指定-clean，否则此选项无效。inserts 将数据备份为 INSERT 命令。重要 使用此选项后，...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
查看治理方案模板
排除治理项后，数据治理中心将不会检测该工作空间下对应的治理项问题。同时，在待治理列表中也不会展示该治理项问题。配置治理项，详情请参见 配置治理项。使用限制 DataWorks当前仅支持使用系统提供的默认模板，并且您不能修改该模板的...
设计方案
容错 容错是指在分布式系统中，系统出现故障时，通过设计和实现可靠的机制和策略，使系统能够自动检测、排除或者纠正错误，保证系统能够正常运行，从而提高系统的可靠性和稳定性。容量 容量是在一定时间内，系统能够处理的最大工作量或数据...
修改磁盘容量报警线
本文介绍如何通过云数据库HBase控制台修改磁盘容量报警线。注意事项 磁盘容量使用占比达到报警线后，可以通过站内信、邮箱及短信方式通知账号联系人，超过95%后将无法继续写入数据，请及时关注报警信息并根据业务情况合理设置磁盘容量报警...
配置健康检查
在云企业网和本地数据中心存在冗余路由的场景下，健康检查探测到物理专线故障后支持自动切换到可用路由，保障流量传输不中断。背景信息 工作原理 在您为VBR实例配置健康检查后，阿里云默认每隔2秒从每个健康检查源IP地址向本地数据中心的...
配置治理项
治理项用于文件提交发布后的管控治理。数据治理人员可通过 全局视角、个人视角 或 工作空间视角 ...排除可选治理项后，数据治理中心将不会检测该工作空间下对应的治理项问题。同时，在待治理列表中也不会展示该工作空间下对应的治理项问题。
实时分析链路数据
如果异常请求分散在多台机器，那么大概率可以排除单机故障因素，可以重点分析下游依赖服务或程序逻辑是否异常。在 调用链分析 页面筛选错误调用或慢调用，并设置按IP进行分组统计，如果异常调用集中出现在特定机器，则有较大概率是机器故障...
DescribeExcludeSystemPath-查询防勒索系统排除目录
查询防勒索系统排除目录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
备份和灾难恢复
两地三中心 业务部署模式：目前相同的业务应用可以分别部署在阿里云两个城市的三个数据中心中，生产中心和同城灾备中心处于Active模式，应用访问同一数据库实例（数据在两个同城中心各存储一份），异地灾备中心处于Standby模式。...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
- 产品推荐
- 这些文档可能帮助您