数据导入与迁移
数据的导入和迁移，都是基于LTS服务实现。RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中，使用说明：开通 LTS服务。在BDS中添加HBase增强版集群关联，具体操作方法参见 添加HBase增强版数据。请参见 RDS全...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
流量诊断
读rt 毫秒（ms）不同分片读数据的平均响应时间。写rt 毫秒（ms）不同分片写数据的平均响应时间。Memstore Size MB 内存数据量。总请求数据量 KB/每秒 不同分片每秒的总请求数据量。读数据量 KB/每秒 不同分片每秒的读请求数据量。写数据量 ...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
新建 Kafka 数据源
Kafka 提供了数据加密和多种身份认证机制的配置来保证用户数据和服务的安全。认证方式 如果开启认证，则需要选择认证方式。目前数据传输支持的认证方式包括 GSSAPI、PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。KDC 服务器地址 输入 Kerberos ...
topRegion分析
读rt 毫秒（ms）不同分片读数据的平均响应时间。写rt 毫秒（ms）不同分片写数据的平均响应时间。Memstore Size MB 内存数据量。总请求数据量 KB/每秒 不同分片每秒的总请求数据量。读数据量 KB/每秒 不同分片每秒的读请求数据量。写数据量 ...
概述
日常工作中，企业通常会对实时日志数据进行开发。其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明...
Java程序如何连接RDS MySQL
通过阿里云SDK 在使用Java开发RDS管理和连接时，您可以通过阿里云的SDK连接云数据库RDS MySQL版的测试程序。您需要先安装JDK1.7及以上版本，然后通过Maven安装阿里云的Java SDK。下载阿里云关系型数据库所对应的SDK，详情请参见 阿里云开发...
数字翻牌器
图表样式 数字翻牌器是文字组件的一种，支持自定义翻牌器的标题、数字、前缀、后缀等样式，通常与其他组件配合使用，通过交互功能在可视化应用中展示实时数据的变化情况。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索...
Java UDTF
MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java.lang.Long LongWritable FLOAT java.lang.Float ...
功能特性
SQL变更规则 用数规范 支持配置数据使用规范，通过配置规则来规范数据的使用，例如数据导出规则、查询规则、执行规则等。规范策略 支持自定义配置各类型数据的管控规范策略。创建安全规则 安全规则DSL语法 功能规范 支持对DMS中所有功能...
Druid 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Druid 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 druid-mysql-client 示例工程 前提条件 您已...
ETL工作流快速体验
视频个性化推荐（协同过滤）DataWorks MaxCompute PAI 数据开发 以社交平台的”猜你喜欢“和”详情页相关推荐“为例，通过在DataStudio 数据开发 模块中调用 阿里云PAI 中的协同过滤算法 etrec，实现视频个性化推荐。案例配套文档（与人工...
企业版产品系列
多主集群（库表）在一个集群中通过多个主节点来实现从一写多读架构到多写多读架构的升级。集群中所有的数据文件都存放在共享存储（PolarStore）中，各个主节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据...
RDS(SQL Server)
本文介绍如何使用Databricks 读写阿里云RDS（SQL Server）数据源数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 SQL Server实例，具体参见 创建 SQL Server实例。已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
基本概念
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
客户案例
数据库网关提供安全、可靠、低成本的数据库接入服务。本文将例举一个客户案例为您介绍如何通过数据库网关解决自身业务上的挑战。百姓网股份有限公司 行业分类：分类信息服务商 公司网站：https://www.baixing.com/ 公司介绍 百姓网...
设置读写属性和读权重
如果您需要修改数据库代理连接地址的读写属性，或者不希望使用系统默认的读权重策略，可以参考本文，RDS PostgreSQL支持调整数据库代理连接地址的读写属性，并且支持自定义各只读实例的读权重比例。前提条件 已开通数据库代理服务，具体请...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
文本摘要训练
使用 读OSS数据-1 和 读OSS数据-2 组件分别读取训练数据集和验证数据集。即配置 读OSS数据 组件的 OSS数据路径 参数为存放训练数据集和验证数据集的OSS路径。将训练数据集和验证数据集接入 文本摘要训练-1 组件，并配置具体参数，详情请...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
什么是RDS SQL Server
读写分离：创建只读实例后，您可以开通只读地址，然后在应用程序中配置主实例地址和只读地址，可以实现写请求转发到主实例，读请求转发到只读地址，只读地址会根据权重将读请求自动转发给各个只读实例。RDS SQL Server支持的功能请参见 ...
数据连接管理
数据传输服务DTS（Data Transmission Service）支持录入数据库信息。在配置任务时，您可以直接选择已录入的数据库，DTS将自动填入数据库信息而无需您手动输入，避免了重复输入数据库信息的繁琐步骤。本文介绍如何录入、保存、编辑或删除...
写入数据
写入数据 TSDB-Client 有两种写数据的方式：同步阻塞的写数据和异步非阻塞的写数据。同步阻塞的写数据 假设我们现在需要构建 500 个时间点提交给 TSDB。示例代码 List<Point>points=new ArrayList();构建 Point for(int i=0;i;i+){ long ...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
分析数据
您可以选中需要分析的数据，单击菜单栏中的 数据探查，即可在电子表格顶部，以图形和富文本的形式，为您展示每列数据的类型、值分布的概览情况。数据探查简单模式的说明如下：针对STRING和DATE类型：以富文本的形式为您展示Top2的值及其占...
Java API访问
云数据库HBase增强版全文索引服务支持多语言访问，并且完全...使用Solr Java API访问云数据库HBase增强版全文索引服务的操作和使用Solr Java API访问云原生多模数据库Lindorm搜索引擎的操作相同，具体请参见 通过开源Solr API访问搜索引擎。
验证读写分离
通过ECS使用测试账号连接数据库代理地址，执行写操作，在RDS控制台的SQL洞察和审计功能中查看只读实例和主实例的SQL命令执行记录。根据只读实例和主实例的SQL命令执行记录判断读请求和写请求由哪个实例处理，是否实现了读写分离。操作步骤 ...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
全文检索
人们通常选择数据库或数据仓库存储文本数据，但是将文本数据中有价值的信息提取出来并进行高效分析，往往需要涉及多个数据处理系统配合来实现，用户的使用门槛通常较高、维护成本较大。通常在使用数据仓库进行文本数据的加工和分析时，离不...
什么是数据库存储DBFS
一写多读：可通过集成DBFS SDK实现数据库一写多读功能。快照 支持DBFS快照功能，实现数据的备份与恢复。DBFS快照不单独收费，仅收取ECS云盘快照费用。数据备份：通过快照功能，实现数据库的备份。数据恢复：通过快照可以恢复数据库，用于...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据安全
多可用区部署 云原生多模数据库 Lindorm 的多可用区部署方案是指将一个Lindorm实例部署在多个可用区，多可用区实例具备更高的容灾能力，同时Lindorm实例可以实现多个可用区之间数据的强一致，也可以在数据最终一致的情况下发出请求，快速...
同步 OceanBase 数据库的数据至 Kafka
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 Kafka。背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用...
建表并上传数据
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
数据方案概览
环境构建 数据库克隆 支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化。测试数据构建 提供根据字段类型按照多种规则，自动化构建数据的能力。数据追踪/提供数据库Binlog日志的解析处理...
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比，取消了全局过滤器的概念（即各可视化应用共享过滤器...
- 产品推荐
- 这些文档可能帮助您