ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
数据总览
为实时统计的数据 总表数 为当前租户本地域下，所有MaxCompute表总个数。此数据为离线统计，有T+1的延迟。存储量 为当前租户本地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
QueryDeviceStatistics
调用该接口查询设备统计数据，包括在线设备数、已激活设备数和已创建的设备总数。QPS限制 单个阿里云账号调用该接口的每秒请求数（QPS）最大限制为50。说明 RAM用户共享阿里云账号配额。调试 您可以在OpenAPI Explorer中直接运行该接口，...
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
外部表概述
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
Delta Table概述
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Delta Table实现近实时的增全量一体的数据存储、计算...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
什么是备份数据量
本文介绍 数据库备份DBS 中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
统计信息
手动收集统计信息 收集全表统计信息 ANALYZE TABLE 命令会扫描全表来收集统计信息，对于数据量大的表，全表收集统计信息需消耗更多的时间，建议在业务低峰期执行或采样收集统计信息。语法 ANALYZE TABLE[schema_name.]table_name[UPDATE...
查看云应用和用户行为统计数据
借助监控功能模块，您可以查看各种维度的云应用使用情况数据统计，包括实时数据、按日期聚合的统计数据、按用户聚合的统计数据等。查看监控数据 登录 无影云应用 控制台。在左侧导航栏中单击 监控，并根据需要选择 实时数据、单日数据 或 ...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
我是管理员
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
语义意图标注
功能介绍 意图的“包含语句”极大地影响意图模型识别客服或客户意图的准确率，所以除了在新建意图时添加意图的“包含语句”外，还可以通过建立 意图标注任务 完成有关意图“包含语句”的更新扩充，以此提高意图模型的准确率，并减轻相关...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
如何选取统计信息自动采集策略
同Auto analyze一致 ENABLE_STATISTIC_FEEDBACK 注意事项 在表数据量比较大的情况下，存储节点可能由于执行统计信息采集任务，在凌晨出现IOPS增高的情况。在非凌晨时间出现IOPS升高，有可能是以下两种情况：表数据量过大，导致统计信息采集...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
事件中心
在数据库日常运维中，您可以通过查看数据库实例中计划执行、正在执行和已执行完成的性能事件（例如异常事件、优化事件、弹性伸缩事件等），及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的性能...
总览
站点数据统计：展示了治理风险数、历史风险数、巡检规则、诊断决策树数量、应急预案、演练场景、应用总数、应用覆盖率、产品总数以及产品覆盖率。单击统计数据可直接跳转至相应的业务详情列表。风险统计：今日巡检任务：展示了今日巡检任务...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
通用数据库授权
结构化数据：RDS、PolarDB、PolarDB-X（原DRDS）、PolarDB-X 2.0、MongoDB、OceanBase、自建数据库 大数据：ADB-MySQL、AnalyticDB for PostgreSQL（即ADB-PG）您可以根据上表中对应数据库支持的连接方式和数据安全需求，选择合适的连接...
数据出境监控
出境数据统计 展示个人信息、个人敏感信息出境的数量以及出境的敏感数据类型。检测列表 依据《数据出境安全评估办法》和《促进和规范数据跨境流动规定》，DSC对如下场景的出境数据（包括个人信息数据、个人敏感信息数据）进行合规审查并...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
- 产品推荐
- 这些文档可能帮助您