查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
限制说明
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据，不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
MongoDB 4.4
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
MongoDB 5.0
升级数据库大版本所用时间与数据库的数据量有关，请根据业务情况提前安排升级时间。升级数据库大版本后不支持降级数据库大版本。升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份...
Transaction Table2.0概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
数仓规划概述
使用DataWorks进行数据建模时...DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下，为您提供了 模型设计工作空间 与 数据研发工作空间 的概念，通过建模空间功能实现模型跨工作空间应用。建模空间的详细介绍请参见 建模空间。
应用场景
数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库）的通用管理方案，实现多云统一的数据库管理服务，架构图如下所示。...
应用场景
数据库网关与数据管理DMS搭配可为您提供高稳定性、低成本、统一的非阿里云数据库（例如本地IDC自建、其他云厂商的云数据库、其他云厂商云服务器上自建的数据库）的通用管理方案，实现多云统一的数据库管理服务，架构图如下所示。...
概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了...
应用场景
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
创建ClickHouse数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该...
场景：配置增量数据离线同步任务
基本与数据库一致 说明 可与调度参数结合实现每日读取指定时间区间的数据。OSS Reader Object 指定路径 说明 与调度参数结合实现每日读取指定文件数据。配置增量同步 数据集成离线同步任务中，可以使用调度参数来指定同步源表及目标表的...
开发前准备：绑定数据源或集群
部分场景可能导致数据源或集群无法绑定至DataStudio（数据开发）：部分数据源或集群是否可在DataStudio绑定，与数据源或集群的配置有关。例如，不支持在DataStudio绑定AccessKey及AccessSecret模式创建的数据源。更多绑定限制，请参见产品...
发展历程
中国数字化转型与创新案例大会：年度大数据创新产品奖。国家大数据博览会十佳产品：最佳案例实践奖。2017年 TPC的benchmark适配MaxCompute，进行了全球首次基于公共云的BigBench大数据基准测试，数据规模拓展到100 TB，成为首个突破7000分...
轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
轨迹层
数据分级：根据数据中的value字段值大小划分（自然分割）成2~7个数据大小级别，解决value值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。单击 ...
数据模型架构规范
成本与性能平衡 适当的数据冗余可换取查询和刷新性能，不宜过度冗余与数据复制。数据可回滚 处理逻辑不变，在不同时间多次运行数据的结果需确定不变。一致性 相同的字段在不同表中的字段名必须相同。命名清晰可理解 表命名规范需清晰、一致...
创建Hologres数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On Hologres使用说明，了解在DataWorks使用Hologres的开发流程、相关费用、环境准备、权限控制等内容。数据源创建...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
什么是云数据库HBase
新闻 文档存储 JSON、XML或HTML HBase API 存储量大、并发高 图片或视频 对象存储 图片、视频等 HBase API 存储量大 传感器或物联网 时序数据 时间维度的连续数据 OpenTSDB或HBase API 存储量大 车联网或运动App 时空数据 有空间维度或轨迹...
创建MaxCompute数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。说明 数据源创建成功后平台会进行访问身份授权，即将访问身份账号添加至MaxCompute项目中，并为该身份映射MaxCompute对应的权限。在授权完成前，连通性测试可能会产生连通无...
日志服务通过数据集成投递数据
配置数据来源与数据去向具体同步的表等信息。数据来源参数说明：参数 描述 Logstore 目标日志库的名称。日志开始时间 数据消费的开始时间位点，为时间范围（左闭右开）的左边界，为 yyyyMMddHHmmss 格式的时间字符串（例如 20180111013000...
应用场景
数据新闻写作 灵活快速的分析新闻数据，寻找数据灵感与思路。提供丰富的可视化图表组件，最优表达数据见解。所见即所得，沉淀可视化卡片素材，构建数字新闻素材库。行业分析报告 支持海量数据，秒级数据探查。支持行业数据挖掘，所见即所得...
数据类型版本说明
说明 阿里云其他产品或组件对数据类型的支持情况，请参见 组件与数据类型的兼容。选择数据类型版本 项目选择的数据类型版本影响范围如下：表的数据类型。DML语句、内置函数的行为。与MaxCompute密切相关的开发组件。因此，在选择项目的数据...
数据归档
RDS MySQL实例数据量较大时，存储成本会随之增高。业务数据通常分为冷数据和热数据，将对象存储（OSS）作为归档冷数据的存储介质，能够大幅降低用户的存储成本。功能简介 在开启RDS MySQL通用云盘的数据归档OSS功能后，用户可通过执行下面...
计费项
DTS实例的价格主要与计费方式、实例的功能类型、实例的集群类型、源和目标数据库实例所属的地域、链路数量、订购时长等有关，与数据库实例中数据量多少无关，具体价格请参考 DTS按量付费价格 和 DTS包年包月价格。重要 若源数据库为分布式...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
元数据采集
DataWorks目前不建议跨地域采集元数据，即DataWorks所在的地域需要与数据源所在的地域相同。如需跨地域采集元数据，请在新建数据源时使用公网地址。详情请参见 创建并管理数据源。暂不支持使用MySQL元数据采集器来采集OceanBase数据源。...
配置SQLServer数据源
您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击 批量测试连通性。详情请参见 配置资源组与网络连通。说明...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
Oracle同步至Tablestore
网络与资源配置：在下拉框中分别选择已创建的Oracle数据源、Tablestore数据源、独享数据集成资源组，单击 测试所有连通性，保障资源组与数据源之间的网络连通性。配置Oracle来源信息。单击页面上方的 Oracle来源，在Oracle来源信息选择所...
管理数据库档案
编码方式 否 选择与数据库字符集对应的编码方式。端口 是 无需填写，在您选择数据库实例后，系统会为您自动获取。用户名 是 填写数据库账号。口令 是 填写数据库密码。单击 测试连接。测试连接成功后，单击 创建。其他操作 测试数据库档案...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
加速服务
方案1：使用加速服务 注意事项 加速项与数据表之间是一一映射的关系，即：一个加速项中只包含一张数据表，一张数据表最多也只会产生一个加速项。如果在新增加速项时，选择了已配置过加速项的数据表名称，则该加速项将会初始化失败。步骤1：...
- 产品推荐
- 这些文档可能帮助您