OSS
本文介绍如何使用Databricks 读写 OSS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI产品...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
管理Agent
挂起Agent后，该Agent将停止转发数据库访问流量到审计系统等操作，但仍会和数据库系统保持通信连接。注意 只有状态为 正常 的Agent才能执行挂起操作。唤醒Agent 挂起Agent后，如果您需要Agent再次正常运行，可以使用唤醒功能，将 挂起 状态...
功能简介
依托企业数据智能平台，您可以设计高质量的标准化数据模型，减少重复开发工作，全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前企业数据智能平台提供以下功能：...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
恢复SQL Server数据
系统默认使用原数据库名。说明 恢复后的数据库名不能与目标实例中已有的数据库名相同。说明 若有相同数据库名存在，需要修改 恢复后库名。恢复后库名 只能使用小写字母、数字、下划线（_）和短横线（-）。（可选）查看恢复任务进展。系统将...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
C100售后支持相关问题
数据库审计实例配置相关问题 使用数据库审计时，我可以为RAM用户授予哪些权限？如何选择数据库审计版本？已经购买数据库审计服务后，如何配置？如何将跨地域、跨VPC或跨账号的服务器接入数据库审计系统？无法打开云盾·数据库审计系统，...
A100使用指南
审计查询和告警配置 查看系统审计到的语句 配置数据库审计告警邮件 常见问题访问入口 使用数据库审计时，我可以为RAM用户授予哪些权限？数据库审计A100是否支持云数据库PolarDB？在CentOS中删除Agent是指删除/usr/local/rmagent目录吗？在...
准备权限
云数据库ClickHouse 使用的系统策略如下。AliyunClickHouseFullAccess：管理 云数据库ClickHouse 的权限，包括对 云数据库ClickHouse 中所有资源的所有操作权限。AliyunHBaseFullAccess：管理云数据库HBase版的权限，包括对云数据库HBase版...
使用ClickHouse-Local迁移上云
背景信息 如果ClickHouse中提供了您自建数据库系统对应的集成引擎或表函数，或者您自建数据库系统提供了JDBC驱动程序或ODBC驱动程序，您就可以使用ClickHouse-Local作为ETL工具，将数据从当前的数据库系统迁移到云数据库ClickHouse企业版。...
网络资源
数据缓存：对于网络闪断导致的数据传输中断，可以使用数据缓存机制，将数据暂时缓存起来，并在网络恢复后进行重传，确保数据传输的完整性和准确性。重新建连：系统服务要具备重新建立连接的能力，网络闪断后可自动重新建立新连接，恢复通信...
配置离线数据集成节点
使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点...
配置语句规则
操作系统用户 访问数据库所使用的操作系统名称。主机名 访问数据库所使用的计算机主机名。服务（实例）名 访问的数据库实例名。应用身份 应用客户端IP 应用关联客户端IP地址。应用用户 应用关联用户名。响应动作 控制动作 此项目不需要配置...
TPC-H
大批量实时写入：亿级数据写入和删除操作，考验事务处理的性能，也对AP系统必用的列存存储引擎发起巨大的挑战。大吞吐并发读写：30 TB数据集下至少10并发查询流（Query Stream），同时启动数据更新流（Refresh Stream）进行多轮大批量数据...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
概述
Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接到许多存储系统。背景信息 在大数据生态系统中，Alluxio位于数据驱动...
技术面临的挑战与革新
当前的数据中心已经有了25G，50G和100G的网络，系统瓶颈也逐渐变成了资源使用率。随着云的概念不断发展，公有云厂商使用基于网络的块存储逐步代替了单机的本地存储，在这样的基础架构下计算和存储耦合的架构已经变得不透明不合理，此时存储...
数据订阅操作指导
数据订阅使用流程 通常，使用数据传输服务DTS（Data Transmission Service）执行数据订阅的操作，您需要经历如下步骤。操作流程 适用的订阅版本 说明 1.准备工作概览 新版 在使用DTS执行数据订阅前，您需要对源数据库做一些准备工作，以...
系统函数分类
本文为您介绍数据探索提供的系统函数类型及函数使用相关说明。函数分类 数据探索系统函数的类型包含分为以下几种：函数类型 说明 时间函数 处理日期、时间类型数据，实现加减日期、提取日期字段、获取当前时间、转换日期格式等业务处理能力...
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建数据源 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
数据查询
使用限制 为确保数据安全，本系统每次查询最多返回100条数据。ROW 字段对应Lindorm的RowKey，ROW 和 qualifier 都是varbinary类型，qualifier 如果不属于family，需要指定family。ROW 和 COL 是SQL保留字段，查询时需要加反引号（`）。...
互联网教育：尚学博志（上海）教育科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍尚学博...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
DataWorks数据集成
该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息，请参见 数据集成（Data Integration）和 支持的数据源与读写插件...
数据加工过程卡点校验
此时，您可以通过使用数据资产等级的标识对业务进行打标。针对高等级的数据资产，整理出会影响数据的加工的变更，及时通知离线开发人员。例如，对于财务报表，如果业务系统的改造影响财务报表的计算，导致约定好的计算口径被业务系统变更...
概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了...
创建Teradata数据源
背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出Dataphin数据至Teradata，您需要先完成Teradata数据源的创建。更多Teradata信息，请参见 Teradata官网。权限说明 Dataphin仅支持 超级...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
减灾与应急时空解决方案与案例
在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据量巨大，包括中国和全球地震、地质、台风、洪水、高温、低温、暴雨、雪灾、森林和草原火灾等灾种中高精度风险地图数据，台风、地震、滑坡、森林草原火灾等全球准...
创建Teradata数据源
背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出Dataphin数据至Teradata，您需要先完成Teradata数据源的创建。更多Teradata信息，请参见 Teradata官网。权限说明 Dataphin仅支持 超级...
功能特性
OceanBase 数据库真正实现了用一套计算引擎同时支持混合负载的能力，让用户通过一套系统解决 80%的问题。相对于中国很多分布式数据库采用的通过两种不同的计算引擎，甚至两套数据库系统去分别支持 OLTP 和 OLAP 的方式具有巨大优势。多租户...
- 产品推荐
- 这些文档可能帮助您