数据标准化
模块介绍 数据标准化模块的作用是对接入的数据进行标准化处理，可以通过原始数据得出对应的标准地址、结构化信息、POi信息、POi类型、判断是否为问题地址等信息。新建任务 进入 数据标准化 页面后，点击“新建任务”，输入任务名称，选择...
聚合操作
本文为您介绍DataFrame支持的聚合操作，以及如何实现分组聚合和编写自定义聚合。DataFrame提供对列进行HyperLogLog计数的接口。from odps.df import DataFrame iris=...63250 说明 splitter 参数会对每个字段进行分隔，再计算去重后的数据量。
列存索引技术架构介绍
随着MySQL发展为世界上最为流行的开源数据库系统，用户在其中存储了大量的数据，并且运行着关键的业务逻辑，对这些数据进行实时分析成为一个日益增长的需求。当单机MySQL不能满足需求时，用户寻求一个更好的解决方案。如 MySQL+专用AP数据...
2023年
事务管理 2023-06-26 新增TimeTravel 新说明 基于Transactional Table 2.0，计算引擎可高效支持 TimeTravel查询 的典型业务场景，即查询历史版本的数据，可用于回溯历史状态的业务数据，或数据出错时，用来恢复历史状态数据进行数据纠正，...
PolarDB HTAP实时数据分析技术解密
因此一体化的方法更符合技术发展趋势。PolarDB MySQL版 AP能力的演进 PolarDB MySQL版 能力栈与开源MySQL类似，长于TP但AP能力较弱。由于PolarDB提供了单实例100 TB的存储能力，同时其事务处理能力远超用户自建MySQL。因此PolarDB用户倾向...
Sequence
SequenceExpr代表二维数据集中的一列。SequenceExpr只可以从一个Collection中获取，不支持手动创建SequenceExpr。前提条件 您需要提前完成以下步骤，用于操作本文中的示例：准备示例表 pyodps_iris，详情请参见 Dataframe数据处理。创建...
概述
对于Pandas自定义函数，输入数据的类型是Pandas中定义的数据结构，例如pandas.Series和pandas.DataFrame等，您可以在Pandas自定义函数中使用Pandas和Numpy等高性能的Python库，开发出高性能的Python自定义函数，详情请参见 Vectorized User...
方案设计
标准化格点数据模型 一个规整的五维网格数据为一个网格的数据集（GridDataSet），按照维度顺序五维分别为：维度 说明 variable 变量，例如各种物理量 time 时间维度 z z轴，一般表示空间高度 x x轴，一般表示经度或纬度 y y轴，一般表示...
列式JSONB
但如果JSONB数据中的字段比较稀疏，列数膨胀比较厉害，那么列式化后的每一列都会带来额外的存储开销（列的统计信息、索引等），且如果列式化后每一列的类型都是TEXT类型，压缩效果就不会很好。所以实际的存储压缩效率与实际业务的数据有关...
平台安全诊断
查看诊断结果 在 平台安全诊断 界面，对每个安全域下存在的安全隐患、待优化的中、高等级风险问题进行统计，您可以单击对应的目标安全隐患，查看风险详情，并根据诊断建议进行优化。下图以 数据传输安全性诊断 为例查看该安全域下具体待...
6.0版本与7.0版本兼容性注意事项
open_analytic 对非结构化数据进行分析。oss_ext 用于支持OSS外表的协议。AnalyticDB PostgreSQL 7.0版 不再支持，使用oss_fdw替换。PL/Java 提供了将Java代码嵌入到PostgreSQL数据库中的能力。PL/Python 提供了将Python代码嵌入到...
管理脱敏规则
脱敏失效示例：已创建了一条需要对 name 列数据进行脱敏的规则，当执行 SELECT hobby FROM person UNION SELECT name FROM person 语句进行查询时，应用程序仍然能够读取到 name 的原始值。新建脱敏规则 登录 PolarDB控制台。在控制台左上...
基本概念
国际互联网工程任务组（IETF）对SSL 3.0进行了标准化，标准化后更名为安全传输层协议（TLS）。删除保护 删除保护可以防止您在操作过程中将承载有重要业务的实例误释放。开启实例删除保护后，将无法释放该实例，如果需要释放，需要先关闭...
访问列存数据
列存即列式存储，是一种将数据按列进行存储和处理的数据管理方式。Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储，相较于行式存储，列式存储的查询响应时间更短，消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据...
Python SDK示例：Table
type bigint>,,type bigint>,,type double>,,type double>,,type string>,,type string>,,type boolean>,,type boolean>,,type datetime>,,type datetime>]创建表的Schema 初始化方法有如下两种：通过表的列以及可选的分区进行初始化。...
CREATE TABLE
每一个列约束也可以被写作一个表约束，列约束只是一种当约束只影响一列时方便书写的记号习惯。要能创建一个表，你必须分别具有所有列类型或 OF 子句中类型的 USAGE 特权。语法 CREATE[[GLOBAL|LOCAL]{ TEMPORARY|TEMP }|UNLOGGED]TABLE[IF ...
CREATE INDEX
为索引的每一列可以指定一个带可选参数的 操作符类。该操作符类标识要被该索引用于该列的操作符。例如，一个四字节整数上的 B-树索引会使用 int4_ops 类。这个操作符类包括了用于四字节整数的比较函数。实际上，通常列数据类型的默认操作符...
基本概念
三维瓦片 三维瓦片用于流式传输大规模异构3D地理空间数据集，目的是为了高效地渲染和流式传输3D模型，如建筑物、树木、地形以及点云等，在网络上进行可视化。三维瓦片特别适合用于Web浏览器备上，能够实现对3D空间数据即时、动态地查看和...
表概述
它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。一条记录可以包含一个或多个列，各个列的名称和数据类型构成表的Schema。MaxCompute的表有两种类型：内部表：所有数据都存储在MaxCompute中，内部...
离线同步常见问题
脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。如何排查离线同步任务运行时间长的问题？可能原因1：...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 同步...
PyODPS常见问题
解决措施 Project要求对每张表设置生命周期，因此需要在每次执行时设置如下信息即可。from odps import options options.lifecycle=7#此处设置lifecycle的值。lifecycle取值为整数，单位为天。使用PyODPS写数据时，提示Perhaps the ...
Python SDK常见问题
解决措施 Project要求对每张表设置生命周期，因此需要在每次执行时设置如下信息即可。from odps import options options.lifecycle=7#此处设置lifecycle的值。lifecycle取值为整数，单位为天。使用PyODPS写数据时，提示Perhaps the ...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对企业数据进行实时分析，帮助您实现高性能的分析处理和在线数据探索。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 同步...
事务隔离
特别是，对一个序列的修改（以及用 serial 声明的一列的计数器）是立刻对所有其他事务可见的，并且在作出该修改的事务中断时也不会被回滚。读已提交隔离级别 读已提交 是本数据库中的默认隔离级别。当一个事务使用这个隔离级别运行时，一个...
2021年
2021-11-23 全部地域 清空分区数据 MaxCompute集成网易有数BI工具（商业化）发布 MaxCompute集成网易有数BI无缝对接，支持网易有数BI对MaxCompute直连场景下BI分析，同时可以支持可视化配置数据缓存时长，对数据进行缓存，以提高数据查询...
Tunnel命令常见问题
这种情况下可以先用少量的数据进行测试，当-td 及-fd 调试成功后再上传全量数据。使用Tunnel Upload命令上传数据时，需要上传很多数据文件到一个表中，是否有方法写一个脚本就可以把文件夹下的所有数据文件上传上去？Tunnel Upload命令支持...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
RDS MySQL迁移至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或 RDS MySQL）迁移至ClickHouse集群，帮助您轻松实现数据的流转，将企业数据集中分析。本文以 RDS MySQL 实例为例，介绍从 RDS MySQL 迁移至ClickHouse集群...
自建SQL Server同步至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS SQL Server同步至RDS MySQL
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据归一化
在很多项目中，数据来源不同，量纲及量纲单位不同，为了让它们具备可比性，需要采用标准化方法消除由此带来的偏差。归一化的方法包括：min-max和z-score两种方法。计算逻辑原理 min-max归一化：将数据进行一次线性变换，将数据映射到[0,1]...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 已创建源 RDS SQL Server 实例，支持的版本，请参见 同步方案...
DataFrame概述
Sequence Expr代表二维数据集中的一列。SequenceExpr只可以从一个Collection中获取，不支持手动创建SequenceExpr。Collection：为您介绍Collection。CollectionExpr中包含针对二维数据集的列操作、筛选、变换等大量操作。执行：为您介绍...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的传输，用于实时数据分析。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建...
PolarDB MySQL版同步至ClickHouse集群
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群同步至ClickHouse集群，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ...
- 产品推荐
- 这些文档可能帮助您