互联网金融：上海富友支付服务股份有限公司
解决方案 数据库选型 经过充分的调研和评估，富友决定采用阿里云瑶池数据库旗下的云原生数据库PolarDB承载核心的支付交易，用来替代传统商业数据库。主要原因有：PolarDB 100%兼容MySQL协议和语法，存储计算分离的云原生架构外加新硬件的...
数据保护伞概述
在EMR集群下使用数据保护伞需升级独享调度资源组，您可加入 DataWorks钉钉群 联系技术支持同学申请升级。数据保护伞默认使用阿里云主账号进行数据抽样，如果您的集群开启了LDAP认证，使用Ranger或DLF-Auth管理表权限，需您为主账号配置账号...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
Spark作业异常排查及处理
解决方案：已使用Spark导入的数据，如果需要被Hive或Impala使用，建议在EMR控制台中Spark服务配置页面的 spark-defaults.conf 页签下，增加 spark.sql.parquet.writeLegacyFormat=true 配置后重新导入数据。Shuffle报错 java.lang....
EncDB
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。详情请参见 全密态数据库。
配置数据识别规则
配置敏感字段所属分类 如果您是首次使用数据保护伞的新用户，进入数据识别规则页面后会在左侧区域展示 数据分类分级模板 的默认分类，您可以输入分类名称进行搜索。还支持您单击分类名称后的 图标 添加同层分类、添加子分类、重命名 和 ...
SQL调优
解决方案：使用如下命令调小单个并发处理的数据大小。set odps.stage.mapper.split.size=;set odps.stage.reducer.num=<并发数>;每次读取 256 MB 数据太少，导致Instance的执行时间太短，而由于输入数据很大，反而导致了并行度过大，使...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行...
资产质量概述
资产质量基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
RDS搭配异构数据库实现数据多样化存储
RDS可以和OSS搭配使用，组成多类型数据存储解决方案。例如，当业务应用为论坛时，RDS搭配OSS使用，论坛用户的图像、帖子内的图像等资源可以存储在OSS中，以减少RDS的存储压力。RDS和OSS搭配使用相关案例请参见 多结构数据存储。
数据管理DMS解决方案系列
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 数据安全解决方案 数据开发解决方案 更多...
DLF中数据入湖功能停止更新公告
本文为你说明DLF中的数据入湖功能停止更新说明...建议 如果您有类似数据入湖的场景，可以使用如下的解决方案来实现数据的实时入湖以及离线入湖场景：实时计算Flink版：参考如 MySQL CDC DataStream Connector。DataWorks产品：数据集成概述。
PolarDB for AI助力菜鸟实现一站式数据智能
解决方案 经过充分的调研和评估，此业务最终采用了DB4AI解决方案，使用PolarDB数据库MLOps能力来替换原有解决方案。PolarDB for AI拥有一系列MLOps和内置的模型，解决了数据、特征和模型的割裂状态，通过SQL来驱动数据、特征和模型，实现了...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
什么是数据灾备中心
数据灾备中心BDRC（Backup and Disaster Recovery Center）作为阿里云企业灾备管理服务，通过智能巡检，发现云上数据资源，展示数据资源保护状态并建议修复方案，使用策略中心对数据资源进行集中化管理，同时提供定制化报表，帮助客户简单...
解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏...
常见问题
具体插件报错原因及解决方案 添加MongoDB数据源时，使用root用户时报错。离线同步常见问题 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？读取MongoDB数据...
Dataphin支持的数据源
Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。资产质量概述 数据服务 数据服务...
Dataphin支持的数据源
Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。资产质量概述 本文仅列举了支持接...
解决方案与客户案例
异地多活是新一代的容灾解决方案，在保证业务持续高可用的同时还能实现成本优化、地域级水平扩展、持续高可用等能力，本文会着重介绍阿里云主流数据库产品在异地多活场景下的解决方案。方案架构 异地多活从业务视角来看是通过对业务做自顶...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
Transaction Table2.0概述
但对于综合业务场景，比如时效性要求为分钟级或者小时级的近实时数据处理场景和海量数据批处理场景的解决方案，使用单一或者联邦多引擎都会存在一些问题。如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟...
数据倾斜调优
使用 DISTRIBUTED MAPJOIN 语法解决数据倾斜，如下所示。SELECT/*+distmapjoin(t1)*/request_datetime,host,URI,eagleeye_traceid from<viewtable>t0 LEFT join(SELECT traceid,eleme_uid,isLogin_is from<servicetable>where ds='${today}...
【通知】敏感数据保护功能商业化
存量实例的操作建议 免费使用期未结束：如果您不再需要敏感数据保护功能，为避免产生额外的费用，您可以关闭敏感数据保护功能，具体请参见 关闭敏感数据保护。如果您希望继续使用敏感数据保护功能，您可以购买敏感数据保护服务。在顶部菜单...
任务运行失败
解决方案：您可以进入 数据源管理 页面，检查所使用的数据源配置是否正确。进入 数据源管理 页面的操作，详情请参见 创建与管理数据源。如果没有可用的数据源，则您需要新建FTP数据源，详情请参见 配置FTP数据源。FTP Check节点任务，运行...
金融大数据
业务架构 架构说明：大数据仓库调用外部数据和数据集市的信息，通过数据获取层、数据模型层、数据加工层、数据应用层和分析集市的层层筛选、分析、加工，由大数据服务接口向内部源数据输出适用于多种用户场景的有效数据。大数据仓库功能...
概览
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
企迈云商
解决方案 企迈使用阿里云DAS数据库自治服务，支持多种数据库类型、多个数据库实例的批量管理，提供 巡检评分、监控大盘 等能力，能够快速定位到异常实例。DAS通过 7*24小时异常检测，自动检测到实例出现异常，并触发根因分析，定位异常的...
应用场景
典型场景 用户角色 诉求 典型场景 解决方案 应用开发者 保证应用系统中敏感数据的安全。作为开发者，我的程序需要使用一些敏感的业务数据和运行数据。我希望敏感数据被加密保护，而加密密钥则通过KMS来保护。敏感数据加密保护 IT运维人员 ...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
什么是云原生数据湖分析
支持 Cassandra 支持 支持 Kudu 支持 支持 ECS自建Druid数据库数据 支持 支持 何时使用DLA DLA主要围绕数据湖存储OSS提供一站式的云原生数据湖分析与计算方案，如果您有如下的痛点可以使用DLA：寻求一站式的数据湖解决方案，从数据高效入湖...
数据湖构建之MaxCompute湖仓一体最佳实践
背景信息 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。与数据湖相比数据仓库具备易优化、易治理等优点，但同时面临数据种类单一，灵活性低，仅向特定引擎开放等不足，提高了数据存储和加工的成本，...
离线同步常见问题
具体插件报错原因及解决方案 添加MongoDB数据源时，使用root用户时报错 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？读取MongoDB数据期间，源端有更新记录...
到期、欠费说明
您可以选择以下任意一种解决方案：购买敏感数据保护服务后，启用被禁用的实例。重要 此操作会变更实例之前的配置。将被禁用实例的敏感数据保护功能关闭后，启用被禁用的实例。将某个或多个实例的敏感数据保护功能关闭，释放敏感数据保护...
客户案例
解决方案 玩物得志基于阿里云DataWorks+MaxCompute框架搭建大数据平台，使用其核心存储、计算等组件、上层可视化及业务查询能力，在开源方案的基础上进行了二次开发。解决方案架构如下。详细案例信息，请参见 玩物得志案例。互联网社交案例...
ODC 常见问题
解决方案 调整数据库认为客户端使用的字符集，将其与实际客户端的字符集兼容。set names utf8mb4;调整完成后，在当前 session 内再执行 SQL，查看结果集时即可避免中文乱码问题。命令行窗口中执行 SQL 结果集中包含中文字符乱码 ODC 安装...
MySQL节点
解决方案 重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在数据源编辑页面查看创建数据源时所使用的模式。常见问题：测试连通性通过但任务执行报错 可能原因1：...
- 产品推荐
- 这些文档可能帮助您