数据防泄漏典型案例
排查结果：查看数据安全中心日志，排查出有内部员工通过 电报App 将文件分享出去。处理方法：在 OSS控制台 将文件下载链接取消，并且编写自定义异常规则，对非常规UA下载进行预警。身份冒用（某教育公司）问题描述：数据安全中心检测到异常...
监控预警
功能概述 为保障您的系统正常运行，阿里云App在管控首页提供重要监控报警、安全告警，您可以实时查看、及时处理问题。资源监控 打开阿里云App。在管控页签下找到监控预警模块。模块第一行是资源监控告警信息，具体项目分别是：云监控正在...
常见问题
日志目录通常在以下路径：FE/opt/apps/STARROCKS/starrocks-current/fe/log/mnt/disk1/log/starrocks/BE/opt/apps/STARROCKS/starrocks-current/be/log/mnt/disk1/log/starrocks/如何 使用StarRocks的存算分离模式？EMR on ECS形态下的...
表设计最佳实践
由于PC端、APP端采用不同的体系采集数据，所以通常需要按照终端设计多个明细DWD表。如果终端较多但数据量不大，例如，一个终端的数据量小于1 TB但采集次数较多，则可以不对终端进行分区，设置终端信息为普通列。说明 对日志表进行分区设计...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从...说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
授权API
DataWorks数据服务默认会对工作空间下的API添加“阿里云APP认证”的认证方式，并授权给与工作空间同名的应用（APP）（详情请参见 查看API调用的认证信息），这样一来，调用方即可使用获得授权的应用（APP）下的AppCode或AppKey&Secret来...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆...通过APP->Lindorm->LTS实时归档->parquet列存（Lindorm HDFS）->DLA Spark分析->bulkload->Lindorm这样一条链路形成了数据存储、实时归档、分析、数据回流、分析后数据查询的全链路数据闭环，满足业务发展的诉求。
使用Fluid加速Lindorm S3协议兼容的数据访问
步骤二：创建Dataset和Runtime 说明 为了方便管理数据，Fluid定义了数据集Dataset（数据集是逻辑上相关的一组数据的集合，会被计算引擎使用）和Runtime（实现数据集安全性、版本管理和数据加速等能力的执行引擎，定义了一系列生命周期的...
通过数据同步功能同步Kafka至湖仓版（推荐）
说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。JSON解析层级和Schema字段推断示例 解析层级指按相应层数解析出JSON中的字段...
低成本RDS历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
MaxCompute表数据
说明 如需从API视角查看上游（数据源）和下游（APP）的完整端到端血缘链路，请参考 查看API详情。查看血缘信息 使用说明 您可以进行 编辑、查看历史版本 和 查看markdown语法 等操作，根据数据的业务说明了解相关的信息。数据质量 为您展示...
应用场景：低成本历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
DescribeMetricsData-查询监控指标数据
该接口用于查询 OceanBase 集群的单维度或者多维度监控指标数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）内置了时空数据库引擎Ganos，可对空间/时空数据进行高效的存储、索引、查询和分析计算。从静态POI（兴趣点）到APP位置信息，从电子地图到移动对象轨迹，从卫星遥感到泛在物联网，空间和时空信息已成为...
如何设计时序数据表
时序数据表可以为您提高查询和存储性能，本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要，需要仔细分析数据来源的特性和查询的场景，建立合理的数据表，以便达到最佳的存储和查询性能。以下图的...
应用授权规则列表
opensearch:DescribeAppStatistics app-groups/$appGroupName UpdateFetchFields 更新应用版本的默认展示字段 opensearch:UpdateApp apps/$appGroupName CreateDataCollection 开通应用的数据采集功能 opensearch:WriteDataCollection apps...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
数据源管理常见问题
说明 如果接口数据需要被所有网站使用，您可以使用通配符*。数据库类问题 如何配置数据库数据源？在DataV控制台，选择 我的数据>数据源管理，单击+添加数据，在 添加数据 对话框中输入数据库相关配置信息，单击 确定，即可创建数据库数据源...
应用授权规则列表
POP Action Description RAM Action Resource Pattern ListApps 获取所有应用版本 opensearch:ListApp apps/*CreateAppGroup 创建应用 opensearch:CreateAppGroup app-groups/*DescribeAppGroupDataReport 查询应用的数据质量报告 ...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据...
互联网行业实时BI分析
应用范围 互联网公司的网站、App以及小程序应用内BI分析场景。在线运营以及运营指标实时化分析等场景。可扩展到各类网站BI分析场景使用。架构图 详细实现方式请参见 互联网、电商及游戏行业实时BI分析。客户价值 1小时短平快即可实现实时...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
什么是云数据库 Memcache 版
对于动态 Web、APP 应用，可通过缓存服务减轻对数据库的压力，从而提高网站整体的响应速度。与本地自建 Memcached 相同之处在于云数据库 Memcache 版同样兼容 Memcached 协议，与用户环境兼容，可直接使用。不同之处在于硬件和数据部署...
DATASOURCE:ApiGateway:Apps
语法 {"Type":"DATASOURCE:ApiGateway:Apps","Properties":{"AppOwner":String,"AppId":String } } 属性 属性名称 类型 必须 允许更新 描述 约束 AppOwner String 否 是 App拥有者的阿里云账号ID。无 AppId String 否 是 App的唯一标识。无...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
DLF+EMR之统一权限最佳实践
DLF 数据权限：DLF所提供的数据湖的数据权限体系，支持配置数据库、数据表、数据列、函数四种维度细粒度权限控制。详见 数据权限概述。业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
基于MaxCompute进行大数据BI分析
应用场景 互联网行业、电商、游戏行业等网站、App、小程序应用内的BI分析场景。各类网站的BI分析场景。方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
删除App
DeleteApp 描述 删除一个 App 资源，或者删除 App 的指定版本。请求语法 请求行：DELETE/apps/{ AppName }?Qualifier={ Qualifier } HTTP / 1.1 请求方法 DELETE，请求资源为 apps，请求参数为：参数名称 类型 必选 描述 AppName string 是...
概述
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
- 产品推荐
- 这些文档可能帮助您