采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
性能洞察（新版）
DAS会在每天凌晨采集表和索引的使用数据，判断表和索引是否还在使用中，并统计表和索引无流量的天数。说明 无流量天数的最小设置为7天。即在开启无流量表和索引识别后，需要至少7天才能查看数据库中的无流量表和无流量索引数据。相比旧版...
性能洞察（新版）
DAS会在每天凌晨采集表和索引的使用数据，判断表和索引是否还在使用中，并统计表和索引无流量的天数。说明 无流量天数的最小设置为7天。即在开启无流量表和索引识别后，需要至少7天才能查看数据库中的无流量表和无流量索引数据。相比旧版...
性能洞察（新版）
DAS会在每天凌晨采集表和索引的使用数据，判断表和索引是否还在使用中，并统计表和索引无流量的天数。说明 无流量天数的最小设置为7天。即在开启无流量表和索引识别后，需要至少7天才能查看数据库中的无流量表和无流量索引数据。相比旧版...
风险识别规则响应案例
其他同类场景说明 你可以基于下载事件中的其他字段，例如工作空间名称、SQL明细、数据源名称、人员UID等，实现其他符合实际业务的实时风控场景，例如：按人员所属部门（工作空间）判断是否允许下载数据。当查询SQL中包含敏感字段时阻断下载...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
DeleteDrdsDB
该接口只是提交了删除数据库的任务，接入方需要依据DescribeDrds接口（查询数据库信息的接口）的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数，取值：DeleteDrdsDB。DbName...
时空服务介绍
背景信息 越来越多的领域（例如出行、车联网、物联网、自动驾驶、物流、GIS等）都会产生海量的时空轨迹数据，用户对这些时空轨迹数据产生了时空范围查询、地理围栏判断和时空数据挖掘等需求。例如，查找过去一段时间经过某片区域的车辆、...
配置学区地图Tab列表交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 小学位置判断 和 初中位置判断。具体操作方法请参见 什么是蓝图编辑器。转换器添加完成的效果如下图所示。配置 串行数据处理 节点。右键单击名称为 小学位置...
配置学区地图Tab列表交互
连线完成后，每条连线中间会自动添加一个 串行数据处理 节点，将节点分别命名为 小学位置判断 和 初中位置判断。具体操作方法请参见 配置蓝图编辑器。转换器添加完成的效果如下图所示。配置 串行数据处理 节点。右键单击名称为 小学位置...
Tair扩展数据结构概览
云数据库 Redis 版 与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但无法直接满足一些复杂场景的业务需求，需要通过开发大量代码、使用Lua脚本等复杂的方式实现。...
使用Stage和Task详情分析查询
对该字段进行排序，可以判断源表数据是否存在数据倾斜。如果存在数据倾斜，您可以通过控制台进行分布字段倾斜诊断，具体操作，请参见 数据建模诊断。创建时间 Task的创建时间。排队时间 Task在真正开始执行前的排队时间。结束时间 Task执行...
业务指标趋势
显示 打开开关，可以此判断不合法数据的显示，如果为合法数据则忽略此配置项。数据源面板 字段 说明 value 数值内容。base（可选）基础值数据。数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据...
业务指标趋势
显示 打开开关，可以此判断不合法数据的显示，如果为合法数据则忽略此配置项。数据面板（默认模式）说明 当组件以 默认模式 添加后，您可以单击数据面板右上角的 分析模式，切换到分析模式数据面板。配置字段说明 字段 说明 value 数值内容...
RDS增量数据同步至MaxCompute
数据中的时间字段 optime 用来表示该数据的修改时间，从而判断这条数据是否为增量数据。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量...
RDS增量数据同步至MaxCompute
数据中的时间字段 optime 用来表示该数据的修改时间，从而判断这条数据是否为增量数据。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
配置数据质量监控
2、配置监控规则 表ods_raw_log_d用于接收从OSS同步过来的网站访问记录，为用户画像分析场景源头表，所以为避免后续无效加工及质量问题，我们针对该表配置表行数大于0的强监控规则，来判断同步任务是否往该表该分区写入数据。当监控到ods_...
识别规则及识别方式
有新数据则更新：识别时，若数据表有新数据（以DDL/DML时间判断）则更新采样数据。每7天更新一次：识别时，如果距离上次采样成功超过7天则重新采样。每30天更新一次：识别时，如果距离上次采样成功超过30天则重新采样。不更新：仅采样存储...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
增加或删除已运行任务的同步表
这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。③ 如果来源库有主键，同步数据时会直接使用该主键进行去重。如果勾选 支持源表无主键同步，那么源表...
按时间戳冷热分离
说明 自定义时间戳可能会影响数据的冷热判断。系统会将当前时间与自定义时间戳进行比较，假设冷热分离线为3天，自定义时间戳为系统当前时间3天后的某一时间点，则写入的数据会比当前写入时间延迟3天才能进入冷存储；假设冷热分离时间点为3...
连接方式概述
重要 OceanBase 数据库会依据 JDBC 驱动连接时的租户名称判断运行模式为 MySQL 或者 Oracle。Oracle 模式的租户只允许使用 Oracle 兼容的 SQL 语法。除了支持标准的 JDBC 编程接口（API），OceanBase Connector/J 还兼容 Oracle Driver 的...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
什么是数据安全中心
DSC 可根据预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储）、自建数据库等数据库中的数据，通过敏感数据规则中的命中次数来判断是否属于敏感数据。重要 DSC 仅对数据...
REPLACE SELECT FROM
写入数据时，根据主键判断待写入的数据是否已经存在于表中，如果已经存在，则先删除该行数据，然后插入新的数据；如果不存在，则直接插入新数据。语法 REPLACE INTO table_name[(column_name,.)]query;参数 query：可以是 SELECT FROM ...
REPLACE INTO
写入数据时，会先根据主键判断待写入的数据是否已经存在于表中，并根据判断结果选择不同的方式写入数据：如果待写入数据已经存在，则先删除该行数据，然后插入新的数据。如果待写入数据不存在，则直接插入新数据。说明 本文所指的主键既...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
添加识别特征
按数据类型扫描：根据元数据中的字段的数据类型进行扫描判断。扫描条件支持 等于，可选择的数据类型包括tinyint、smallint、mediumint、int、bigint、decimal、bit、date、datetime、timestamp、varchar、text、json。说明 至少配置一条...
添加识别特征
按数据类型扫描：根据元数据中的字段的数据类型进行扫描判断。扫描条件支持 等于，可选择的数据类型包括tinyint、smallint、mediumint、int、bigint、decimal、bit、date、datetime、timestamp、varchar、text、json。说明 至少配置一条...
缓冲区管理
刷脏控制 为了避免只读节点读取到未来页，PolarDB 引入刷脏控制功能，即在主节点将数据页写入共享存储时，判断所有只读节点是否均已回放到该数据页最近一次修改的对应的WAL日志。主节点Buffer Pool中的数据页，根据是否包含未来数据（即...
- 产品推荐
- 这些文档可能帮助您