数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
什么是数据库审计
数据库审计服务将数据库监控、审计技术与公共云环境相结合，针对数据库SQL注入、风险操作等数据库风险行为进行记录与告警，形成对核心数据的安全防护，为您的云端数据库提供完善的安全诊断、维护、管理功能。数据库审计服务符合等级保护...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
TPC-DS数据
支持的工具或平台 MaxCompute客户端（odpscmd）MaxCompute Studio DataWorks数据开发SQL节点 Query样例文件 MaxCompute提供了针对不同数据规格的Query样例文件，每个文件内包含99个查询，这些查询的复杂性和扫描数据范围差异很大，请谨慎...
新建行为数据集
您可以创建行为数据集，用于 行为筛选受众、从行为数据集创建AIPL模型 等。行为包括但不限于用户搜索、浏览、收藏、加购、购买、点赞、评论、转发、进店等等围绕品牌、商品、店铺等的一系列行为。对于用于复购预测、货品推荐的行为数据集，...
IP风险评估事件及返回参数
除 公共返回参数外，IP风险评估服务返回参数Data字段中，score 字段值的业务含义根据阿里云风控团队经验可参考如下（实际使用可根据自身业务运营灵活选择）：本服务返回的Data参数中的score值，值区间在0~1之间，值越大代表行为的风险程度...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
受众与核心能力
产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台，即可实现数据...
东软案例
在运维过程中，用户通过实时监控仪表盘、统计分析报表或风险定位、检测工具对接Lindorm多模引擎海量数据检索、分析能力，来满足不同应用场景的运维大数据信息提取需要。图 3.东软新型IT智能运维系统部署方案 适用场景 实时状态大屏展现。...
集群容灾能力
HDFS会定期扫描数据副本，如果扫描到有数据副本丢失，则会快速复制这些数据以保证数据副本的数量。如果扫描到节点丢失，则节点上的所有数据也会快速复制恢复。在阿里云上，如果使用的是云盘技术，则每一个云盘在后台都会对应三个数据副本，...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
授权DSC访问云资源
使用 数据安全中心DSC（Data Security Center）服务前，您需要先完成允许 DSC 访问云资源的授权。本文档介绍如何进行云资源授权。前提条件 您已购买 DSC 实例。背景信息 您购买 DSC 实例后，首次登录 DSC 控制台时，概览页面会提示您执行云...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
API概览
DescribePackages 查询数据包的信息 调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。DescribeCategoryTemplateList 查询行业模板列表 调用本接口查询行业模板列表。...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
DataWorks各版本详解
马来西亚（吉隆坡）德国（法兰克福）印度尼西亚（雅加达）字段扫描 不支持 支持 支持 支持 数据访问记录 不支持 支持 支持 支持 资产大盘 不支持 支持 支持 支持 自定义内容扫描 不支持 不支持 支持 支持 风险识别大盘 不支持 不支持 支持 ...
安全与合规
风险识别（Fraud Detection）基于阿里巴巴安全团队多年风控技术的积累，结合阿里云、淘宝、支付宝等平台的风险运营经验，为企业用户提供智能、轻量、成熟的业务风控解决方案，快速解决业务安全风险，降低损失。本文档介绍了风险识别提供的...
DescribeInstances-查询数据资产实例列表
1637226782000 LastFinishTime long 最近一次扫描数据资产实例的完成时间。使用时间戳表示，单位：毫秒。1637622793000 Owner string 拥有该数据资产实例的阿里云账号。dtdep-239-*TenantName string 租户的名称。tenant Protection ...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
大数据安全治理的难点
您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
产品定价
查询一段时间的每条SQL扫描数据量 您可以使用如下SQL命令核对查询一段时间内每条SQL扫描数据量，执行此命令的账号需要具有实例的Superuser角色。语法示例 select usename,status,query_id,datname,command_tag,duration,message,query_...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
DataWorks产品安全能力介绍
基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、风险事件响应等多个方面，系统性构建了一套完整且高效的数据安全保障体系。DataWorks安全能力版图 说明 DataWorks产品分为基础版、...
DescribeSQLPlan-查询基础信息和计划信息
1 ScanSizeMax long 带数据扫描算子的阶段在各个存储节点的扫描数据量的最大值，单位为 Byte。0 CPUTimeMin long 该阶段的 CPU Time 在各个计算节点的最小值，单位为毫秒（ms）。47 ScanTimeMin long 带数据扫描算子的阶段在各个存储节点...
如何高效扫描数据
但如果想要更快地扫描数据，可以针对每个分表开启多个会话的方式并行加速扫描。mysql>SHOW TOPOLOGY FROM LJLTEST;ID|GROUP_NAME|TABLE_NAME|+-+-+-+|0|TDDL5_00_GROUP|ljltest_00|1|TDDL5_00_GROUP|ljltest_01|2|TDDL5_00_GROUP|ljltest_...
ParallelScan
调用ParallelScan接口并发扫描数据。请求消息结构 message ParallelScanRequest { optional string table_name=1;optional string index_name=2;optional ColumnsToGet columns_to_get=3;optional bytes session_id=4;optional ScanQuery ...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
风险识别规则
您可以直接使用DataWorks官方提供的扩展程序来对高危行为进行管控，也可以基于DataWorks开放平台自行开发、部署能够应对更加复杂场景的扩展程序作为风险识别规则，从而将自身企业内部风控平台能力延伸至云上DataWorks大数据平台。...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
应用场景
设备风险识别 设备风险识别产品适用于对移动APP上的恶意设备行为进行识别，可以应用到注册、登录、下单、领券等场景，通过传入设备信息，系统进行模拟器检测、恶意工具检测，返回设备风险信息。用户可以根据返回信息甄别模拟器、批量、多开...
概述
当您的行为触发某些风险控制点时，系统会捕获这个事件，并根据您当前和之前的行为进行分析，决定是否对您进行风险控制。企业应用 从企业应用的角度，Flink主要用于以下场景：业务部门：实时风控、实时推荐和搜索引擎的实时索引构建等。数据...
- 产品推荐
- 这些文档可能帮助您