编码解码函数
函数列表 类型 子类 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。str_decode 对数据进行解码。Base64类型 base64_encoding 对数据进行Base64编码。base64_decoding 对数据进行Base64解码。HTML类型 html_encoding 对数据...
one-hot编码
one-hot编码，也称独热编码，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征。此外，这些特征互斥，每次只有一个激活。...使用该组件的训练模型，再通过模型对数据进行编码，实验流程如下。
表达式函数概览
hashids_encoding 使用Hashids库对数据进行编码。hashids_decoding 对已使用Hashids库编码的数据进行解码。解析函数 ua_parse_device 解析User-Agent中的设备信息。ua_parse_os 解析User-Agent中的操作系统信息。ua_parse_agent 解析User-...
入门概览
适用场景 相关文档 Lindorm-cli 不涉及 通过Lindorm-cli连接并使用Lindorm时序引擎 Java Native SDK（推荐）Native SDK提供了更加高效易用的操作方法，支持底层连接管理、数据攒批写入、错误重试等功能，对数据传输编码进行了优化，写入...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？...静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
数据传输与迁移概述
离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。典型场景。类型 典型场景 OSS数据与MaxCompute数据上传 LOAD命令。外部表，湖仓一体。Hologres数据写入MaxCompute MaxCompute直读...
应用场景
通过对敏感数据进行分类、分级和脱敏，帮助您精准识别和保护敏感数据。...数据安全合规检查 应相关监督部门的数据安全合规检查要求，可通过 DSC 提供的数据安全的分类分级、泄漏检测、数据脱敏等功能对数据进行相关合规检查。
管理敏感数据
数据类型即根据数据语义对数据进行的分类。默认包含如下分类：一级分类：个人信息、企业信息、位置信息等。二级分类：手机号、邮箱、银行卡等。说明 用户可自定义新的数据分类。更多信息，请参见 管理敏感数据识别规则。敏感数据信息汇总：...
备份集查询功能概览
背景信息 传统的备份数据查询有两种方式：将备份数据文件导入至数据库，再通过数据库操作对数据进行查询，但是这种方式耗费时间长，且可能会导致数据文件被修改。通过 Hive 的方式直接对文件进行查询，但是这种方式对数据文件格式有严格的...
什么是数据安全中心
数据安全中心（Data Security Center，简称DSC），在满足等保2.0“安全审计”及“个人信息保护”的合规要求的基础上，为您提供敏感数据识别、数据...重要 DSC 仅对数据进行敏感数据分级、打标和敏感数据检测，不会对您的数据文件进行保存。
我是普通用户
可对数据进行变更、执行导入导出等操作。详情请参见 数据变更、数据导出、数据导入。支持普通用户的功能总览 类目 功能 说明 权限 权限管理 您可以申请实例、库、表、敏感列等内容的权限，还可以查看拥有的权限。SQLConsole SQL窗口 在单库...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
数据处理
数据导入后，GDB Automl提供数据解析器对数据进行解析，可以自动配置解析数据源，解析器（支持CSV、ARFF、XLS、XLSX、ORC等多种数据格式的解析）。在 数据解析器 页面，选择导入数据对应的 解析器、分离、列标题 和 选项。单击 解析 以生成...
支持的云服务
在MaxCompute上对数据进行加工处理后，您可以将MaxCompute项目添加为 Quick BI数据源，即可在Quick BI页面制作报表，对MaxCompute表数据进行可视化分析。更多Quick BI信息，请参见 Quick BI。AnalyticDB for MySQL 云原生数据仓库 ...
Quick BI如何接入TSDB
通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在Quick BI上进行数据的分析与展示。前提条件 已创建阿里云时间序列数据库实例。背景...
数据扫描和识别
已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在哪些触发重新扫描的场景？目前，DSC 会在以下场景中自动触发对已授权数据源中的数据进行重新扫描。...
业务分类
如您所在的集团或公司业务复杂且较为庞大时，可创建业务分类，对数据进行业务区分，便于对业务数据进行更加方便的管理。本文为您介绍如何创建业务分类并关联数据域及管理数据集市。新建业务分类 进入智能数据建模页面。登录 DataWorks控制...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
配置数据质量监控
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量分析和定级。本案例通过DataWorks数据质量功能及时感知用户画像分析案例源...
表数据格式
数据存储分桶 为了进一步优化读写效率，Transactional Table 2.0支持按照BucketIndex对数据进行切分存储，BucketIndex数据列默认复用PK列，bucket数量可通过配置表属性 write.bucket.num 指定，因此对同一张表或分区的数据，写入数据会按PK...
配置数据质量监控
当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量分析和定级。本案例通过DataWorks数据质量功能及时感知用户画像分析案例源...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
我是管理员
数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等...
我是DBA
数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
JindoFS实战演示
分层更高效，对Hive数仓进行热度/冷度统计 分层更高效，对Hive数仓进行热度/冷度统计 2021-07-27 传统的Hadoop集群中，没有对数据进行分层，导致数据量不断增加的同时，存储成本也在大幅增加，计算速度在不断下降。此时，您可以对集群中的...
我是安全管理员
数据库开发 数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表...
平台安全诊断
MaxCompute存储安全加强 数据存储加密 说明 MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足企业监管和安全合规需求。详情请参见：《MaxCompute数据存储加密》MaxCompute项目...
实时同步能力说明
数据过滤：可以对数据进行规则过滤，例如过滤字段的大小等，符合规则的数据才会被保留。字符串替换：可以通过字符串替换节点替换字符串类型的字段。数据脱敏：可以对实时同步的单表数据进行脱敏，将脱敏后的数据输出至目标数据库。整库增量...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
数据上云工具
阿里云数加产品 MaxCompute客户端（Tunnel通道系列）客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传和下载，Tunnel命令的使用请参见 Tunnel命令的基本使用介绍。客户端的安装和基本使用方法请参见 客户端介绍。...
数据集成
实时同步任务的下游任务 由于DataWorks仅支持为周期调度节点产出的表设置依赖，因此，当下游任务需对实时同步产出的表数据进行加工（即下游任务的上游依赖为实时同步任务），无法基于血缘关系设置依赖。您可根据工作空间业务复杂性，选择...
处理接口
使用glob模块对数据进行一次整合。将如下示例程序保存为js脚本文件，并在Node.js环境中运行。以下方式不适用大批量的数据。将文件名也就是日期作为key，对应的内容作为值，得到一个all.json整合文件。var fs=require('fs');var csv=require...
云产品集成
本文介绍云数据库 OceanBase 相关的云产品，可通过这些云产品对数据进行进一步处理。背景信息 云数据库 OceanBase 对接了多个阿里云常用云产品，您可以通过这些产品进行数据可视化、数据分析、数据同步等操作。常见云产品如下：大数据开发...
数据传输服务（上传）场景与工具
产品工具：MaxCompute客户端基于 批量数据通道 的SDK，实现了内置的Tunnel命令，可对数据进行上传，Tunnel命令的使用请参见 Tunnel命令。说明 对于离线数据的同步，推荐您优先使用数据集成，详情请参见 数据集成概述。流式数据通道写入 ...
整体架构
随着数据规模的暴增和数据格式的多样化，通常需要离线处理ETL前，先对数据进行加工规整。AnalyticDB MySQL 新推出的 湖仓版（3.0）新增了高吞吐离线处理能力，通过一体化的方式解决离线处理和在线分析两种场景的需求，恰好可以解决该问题。...
数据建模
时序引擎会根据分片键对数据进行分片，然后路由到不同的后端节点进行存储，查询时如果查询条件命中分片键，则直接查询指定节点。示例 创建传感器表。CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
配置跨库Spark SQL节点
在数据仓库中对数据进行加工分析后，往往需要将数据同步回在线库中，以便在线应用提供相关的数据分析和统计服务。示例：某消费服务平台使用的是MySQL数据库，需要在数据仓库 AnalyticDB PostgreSQL版 中对消费数据进行消费金额、消费笔数等...
DataWorks数据集成
应用场景 AnalyticDB PostgreSQL版 可以通过数据集成的同步任务将数据同步到其他的数据源中（AnalyticDB PostgreSQL版 数据导出），并对数据进行相应的处理。可以通过数据集成的同步任务将处理好的其他数据源数据同步到 AnalyticDB ...
- 产品推荐
- 这些文档可能帮助您