（邀测）MaxCompute Notebook使用说明
MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的...
FineReport
找一列数据分布均匀的列做分布键，一列时间类型做分区键。请参考 表结构设计。观察到合同销售总表中的几列数据，按合同编号分布较随机，因此用合同编号做分区键。建表语句如下：Create Table `demo_contract`(`contract_id` varchar,`...
快速入门
本文以具体数据及开发场景为例，为您介绍在DataWorks数据开发的PyODPS 3节点中，如何创建和操作MaxFrame中的DataFrame对象，以及使用DataFrame完成基本的数据处理，帮助您在十分钟内快速使用MaxFrame进行开发。数据准备 本文以 movielens ...
Spark SQL、Dataset和DataFrame基础操作
Spark SQL、Dataset和DataFrame介绍 Spark SQL是一个用于结构化数据处理的Spark模块，与基本的Spark RDD的API不同，Spark SQL的接口还提供了更多关于数据和计算的结构化信息。Spark SQL可以用于执行SQL查询并从Hive表中读取数据。Dataset是...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
CREATE DOMAIN
CREATE DOMAIN 用于创建一个新的域。简介 CREATE DOMAIN 创建一个新的域。域本质上是一种带有可选约束（在允许的值集合上的限制）的数据类型。定义一个域的用户将成为它的拥有者。如果给定一个模式名（例如 CREATE DOMAIN myschema....
PolarDB HTAP实时数据分析技术解密
在列存格式下，由于每一列的数据都单独顺序存储，涉及到某一个特定列上的表达式计算过程都可以批量进行。对每一个计算表达式，其输入和输出都以Batch为单位，在Batch处理模式下，计算过程可以使用SIMD指令进行加速。即表达式系统有两项关键...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
宽表模型介绍
说明 如果现有业务对数据库的并发读写、扩展性和可用性要求较高，或者需要复杂的数据检索和大数据分析，原有数据架构已不能满足业务需求，您可以将MySQL、Oracle、Kafka、HBase、MaxCompute等数据源的数据迁移到表格存储的数据表中使用。...
镜像管理
MaxCompute提供镜像管理功能，内置数据分析、科学计算、机器学习（如Pandas、Numpy、Scikit-learn、Xgboost）等各类常用镜像，并已对镜像进行预先加热，您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像，无需执行繁琐的镜像打包、上传...
CREATE TABLE
CREATE TABLE 用于在当前数据库中创建一个新的、初始为空的表。简介 CREATE TABLE 将在当前数据库中创建一个新的、初始为空的表。该表将由发出该命令的用户所拥有。如果给定了一个模式名（例如 CREATE TABLE myschema.mytable.），那么该表...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。说明 二级索引包括全局二级...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。创建二级索引后，您可以使用二...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
创建二级索引
在数据表上创建索引表后，可根据需要读取索引表中的数据或者删除数据表上指定的索引表。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，请参见 二级索引。您也可以使用CreateTable接口在创建数据表的同时创建一个...
Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。您可以使用CreateIndex接口在...
MySQL分库分表同步至MaxCompute
然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全量分区，在查询数据时，一般需要查询Base表最新分区。使用限制 同步资源组：分库分表同步至MaxCompute需要使用DataWorks独享数据集成资源组。跨时区同步限制：同步...
MySQL分库分表同步至MaxCompute
然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全量分区，在查询数据时，一般需要查询Base表最新分区。使用限制 同步资源组：分库分表同步至MaxCompute需要使用DataWorks独享数据集成资源组。跨时区同步限制：同步...
离线同步常见问题
脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。如何排查离线同步任务运行时间长的问题？可能原因1：...
层级生成器功能介绍
京津冀整体行政区域数据合并完成后，单击选中该区域，并在下方 属性表面板 中，新增一列name字段属性列，并将属性字段名称命名为 京津冀，完成配置后单击地图面板右侧的 导出GeoJSON 图标，下载合并后的完整数据。单击页面左上角的 层级...
执行
ResultFrame to_pandas 转换为Pandas DataFrame或者Series，wrap参数为True的时候，返回PyODPS DataFrame对象。wrap为True时，返回PyODPS DataFrame。wrap为False时，返回Pandas DataFrame。False为默认值。plot，hist，boxplot 画图有关。...
什么是EMR Serverless StarRocks
StarRocks介绍 StarRocks是一款支持MySQL协议的分析型数据库，它集成了向量化处理、MPP架构、代价基础优化器（CBO）、智能物化视图和实时更新的列式存储技术，从而实现了快速、实时、高效的多维数据分析。您可以轻松地将实时或离线数据源...
BLOB数据类型（邀测中）
} 数据读取 Lindorm支持以下两种方式读取BLOB列的数据：方式一：一次性读取一行数据中整个BLOB列的全部内容，并保存至一个字节数组中。直接读取整个BLOB列的完整内容 ResultSet resultSet=stmt.executeQuery("select*from"+tableName+...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
列运算
'eq5.0',default='noeq').rename('equalness').head(5)equalness 0 noeq 1 eq4.9 2 noeq 3 noeq 4 eq5.0 PyODPS 0.7.8以上版本支持根据条件修改数据集某一列的一部分值，写法如下。iris[iris.sepallength>5,'cmp5']='gt5'>>>iris[iris....
MaxCompute表的高级功能
ALTER TABLE table_name[CLUSTERED BY(col_name[,col_name,.])[SORTED BY(col_name[ASC|DESC][,col_name[ASC|DESC].])]INTO number_of_buckets BUCKETS]Alter Table语句适用于存量表，在增加了新的聚集属性之后，新的分区将进行Hash ...
数据同步模版
分库分表合并 当同一份业务数据分散在不同的数据库或者业务表时，我们往往需要用到分库分表合并的能力，将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据（包括新增的符合正则表达...
表格产品说明书
表格文档不仅可以满足用户日常办公的需要，还可以帮用户实现专业的财务数据处理，非常适合企事业单位的财务工作者使用。本文介绍表格文档的工作界面、基本操作及常用功能等。表格简介 工作表界面 启动表格，打开工作表界面，工作表由以下各...
使用二级索引读取数据
如果读取本地二级索引中的数据，索引表的第一列主键必须与数据表的第一列主键相同。primary_key=[('definedcol1',1),('pk1',101),('pk2',11)]#需要返回的索引表属性列definedcol2和definedcol3。如果columns_to_get为[]，则返回索引表的...
CSV数据文件格式
本文介绍需要导入至图数据库GDB实例的CSV数据文件格式。背景信息 CSV数据文件遵循RFC 4180 CSV规范。更多信息，请参见 CSV文件的一般格式和MIME类型。重要 所有文件必须采用UTF-8格式编码。注意事项 必须将点和边分别放到单独的文件。说明 ...
使用二级索引读取数据
如果读取本地二级索引中的数据，索引表的第一列主键必须与数据表的第一列主键相同。putPk:=new(tablestore.PrimaryKey)putPk.AddPrimaryKeyColumn("definedcol1","value1")putPk.AddPrimaryKeyColumn("pk1",int64(2))putPk....
ACL权限体系
例如，执行 LOAD DATA 命令可以向数据库或者表导入数据，但不支持仅向表中的某一列导入数据。注意事项 权限聚合。按照Database>Table[Group]>Column由高到低的权限级别，高级别聚合低级别的所有权限。使用阿里云账号在阿里云官网开通分析型...
使用Notebook开发
本文介绍如何使用DMS Jupyter Notebook进行数据查询和分析。Notebook相当于一个交互式的页面，能够在同一个页面中集成代码、文字和图表，以便于向其他用户传达信息。Notebook界面介绍：保存在Notebook编辑的内容。在当前单元格的上方插入...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
数据导入常见问题
例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入语句中却指定制表符（\t）作为列分隔符，最终导致源数据的三列数据解析成了一列数据。解决方案 修改导入命令或导入语句中的列分隔符为逗号（,），...
DDL
PRIMARY KEY 定义由表中定义的一列或多列组成。在语法上，主关键字定义为关键字 PRIMARY KEY，后跟用括号括起来的列名称的列表，该列名称用括号括起来，但是如果主键只有一列，则可以用 PRIMARY KEY 关键字替换该列定义。主键中定义的列的...
深度解析Lindorm搜索索引（SearchIndex）特性
索引通常用来加速查询，可以通过增加一种新的索引类型来解决海量数据的复杂查询问题，Lindorm作为一个多模数据库，原生支持搜索引擎，天然具备全文索引能力。因此，通过融合搜索引擎，Lindorm宽表增加了SearchIndex，使得业务在不用感知...
表引擎
云数据库ClickHouse 支持的表引擎分为MergeTree、Log、Integrations和Special四个系列。本文主要对这四类表引擎进行概要介绍，并通过示例介绍常用表引擎的功能。概述 表引擎即表的类型，在 云数据库ClickHouse 中决定了如何存储和读取数据...
ALTER TABLE
示例 在 customer 表中增加一列 province，数据类型为VARCHAR。ALTER TABLE adb_demo.customer ADD COLUMN province VARCHAR COMMENT '省份';在 customer 表中增加两列，一列为 vip，数据类型为Boolean，另一列为 tags，数据类型为VARCHAR...
- 产品推荐
- 这些文档可能帮助您