质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
质量规则参数配置
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
导出结构和数据
创建导出任务时，如果您指定 数据格式 为 SQL 格式，那文件包中的结构定义文件是以 对象名-schema.sql 命名的 SQL 文本，数据文件是以 对象名.sql 命名的 SQL 文本，其中对象名与数据库实际对象名保持一致。如果您指定 数据格式 为 CSV ...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
PostgreSQL数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以...
语音识别FAQ
“流式”模式和“非流式”模式识别的区别？什么是ASR尾点延迟？效果类 对于识别不准的词该如何进行优化？单字识别不出来是什么原因？热词效果如果不佳是否可以自主调节权重？录音文件识别时间戳不准，如何解决？语音识别太灵敏、无效声音...
DataWorks V2.0
本文将为您介绍DataWorks V2.0版本的发布历史及新增特性。DataWorks V2.0发布 发布版本：DataWorks ...数据保护伞（新增）数据保护伞 为MaxCompute提供数据资产识别、敏感数据发现、数据分级分类、脱敏、访问监控、风险发现预警与审计的能力。
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
DMS数据管理预案助力业务大促
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
DRDS（PolarDB-X）数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，该配置项填写的内容必须与添加的数据源名称保持一致。是 无 table 所选取的需要...
DB2数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 jdbcUrl 描述的是到...
控制台操作指引
功能概览 控制台功能包含服务管理与开通、数据监控、轻应用三大模块：在服务管理与开通模块，您可进行识别服务开通、资源包购买、并发升级操作，也可以查看产品文档及价格文档；数据监控模块中可以查看已开通服务中各个API接口不同时间维度...
Babelfish简介
Single-DB模式 架构图：说明：该模式下，babelfish_db数据库中用户数据库的Schema名称与SQL Server中的相同。例如：通过TDS端口创建数据库DB_A，然后在DB_A下创建schema_A。在PostgreSQL的babelfish_db数据库中，Schema名称为：dbo和schema...
MaxCompute数据离线同步至ClickHouse
批量写入ClickHouse异常时 批量写入ClickHouse异常时，可以选择异常处理策略：尝试单条写入，单条写入仍异常则计入脏数据：单条写入可用于识别少量脏数据但单条写入对ClickHouse负载影响较大，需要您谨慎选择。同步任务失败退出：出于...
新功能发布记录
概述 名词解释 访问数据分析功能 管理数据集 仪表盘 08月 功能名称 变更类型 功能描述 相关文档 极简模式 新增 极简模式的控制台界面简洁、易上手、操作空间大，可以随时查找目标数据库实例，无需反复切换到控制台首页标签页。极简模式控制...
通用文字识别SDK
支持复杂场景：支持视频流识别模式，多帧识别避免了云端识别强依赖单张图片采集质量的问题，使用多帧融合策略进一步提升多字段场景的识别精度和识别速度，有效减少不可预测的外界因素（拍摄角度、光照等）带来的误识别。精度与性能融合：离...
接入数据库
步骤二：连接数据库 完成数据库实例授权后，您可以根据数据库类型参考以下步骤连接数据安全中心与数据库，以便数据安全中心能访问数据库进行数据识别和脱敏。RDS、PolarDB、PolarDB-X 返回 资产中心 页面。在左侧产品名称导航栏，单击...
功能发布记录（2023年）
2023.4.18 所有地域 所有DataWorks用户 SQL查询 大数据公共数据集上线 基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域 所有DataWorks用户 SQL...
自动化治理-物化视图
背 景信息 DataWorks大数据平台结合MaxCompute引擎能力，提供自动化数据治理解决方案，通过MaxCompute自动识别和分类相似数据，以及自动创建物化视图，提升计算效率，节约计算资源。该能力治理方案能体现引擎优化类特性，通过治理方案，将...
数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
管理分类分级模板
说明 若您单击 取消，可能会因未全量扫描元数据，导致现有敏感数据与模板规则不匹配。您需要在控制台顶部菜单栏中，选择 安全与规范>敏感数据管理>敏感数据资产，手动配置扫描任务。具体操作，请参见 配置扫描任务。查看扫描任务的状态和...
MaxCompute数据源
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
产品架构
当前信息化技术发展面临的一个主要矛盾是"日益多样的业务需求带来的多种类型数据与数据存储技术架构日趋复杂成本快速上升之间的矛盾。伴随5G、IoT、智能网联车等新一代信息技术的逐步普及应用，这个矛盾会越来越突出。为了解决这个问题，...
云市场常见问题
具体的识别率与具体图片质量有较大关系。能够识别复印件吗？目前身份证，银行卡，营业执照三个接口可以判断是否为复印件，但是无法判断真伪（是否PS）；其他证件若有特殊需求可单独加入钉钉答疑群21734896进行需求沟通。哪些接口可以识别多...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
管控模式
支持在SQLConsole进行各类数据与结构的SQL变更或可视化编辑操作。数据管理功能存在一定限制。具体功能，请参见 各管控模式支持的功能。数据库实例无需严格管控。单一用户使用。实例未开启安全托管 管理员、DBA或普通用户都需要申请数据库...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
代码模式建模
DataWorks数据建模的设计与实现解耦，在设计过程中，您无需考虑各个大数据引擎的实现方式，建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作，仅在实际物化（即把设计的逻辑表转换为底层引擎的物理表）阶段，建模引擎...
普通数据变更
您可以在DMS中通过SQL窗口直接输入SQL语法或通过数据变更工单提交数据变更。同时，您可以自定义安全规则，实现对不同环境库定义不同的数据变更执行配置。本文将通过以下4个例子向您介绍典型场景下的安全规则设定与对应提交数据变更的方式。...
审计配置
审计模式介绍 审计模式 适用产品 工作原理 模式特点 原生日志采集 阿里云原生数据库（不支持自建数据库、PolarDB）DSC 自动建立与对应产品的数据采集链路，采集日志。警告 该审计模式下，云产品的优先级策略为业务优先于审计，在业务负载...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）支持的数据源 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据安全 为了能够立即需要执行识别规则扫描数据，识别所有敏感字段，Dataphin支持手动触发识别规则扫描。2021年08月...
文档更新动态（2022年）
更新说明 创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、管理FTP组件、配置脚本模式输入组件 2022年10月25日 资产权限新增权限审计模块 可以对自己的权限进行审计。新增说明 权限操作审计 2022年10月25日 ...
RDS MySQL同步至AnalyticDB for PostgreSQL Serverless模式
数据传输服务DTS（Data Transmission Service）支持将RDS MySQL数据同步至 AnalyticDB PostgreSQL版Serverless模式。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 已创建源 RDS MySQL 实例，创建方式...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
管理识别模型
识别模型是 DMS 敏感数据识别能力的升级，在敏感数据识别能力的基础上，扩充了内置的模型数量，同时，也支持自定义识别模型，您可以通过使用内置和自定义模型构建专属的敏感数据识别能力。本文介绍如何查看识别模型、添加、编辑和删除...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
- 产品推荐
- 这些文档可能帮助您