Dataphin新手引导
新建流程引导 帮助您从零开始逐步完成数据规划与研发步骤，了解Dataphin的基础操作步骤。单击 去导入 按钮，进入 管理中心-预制模型-模型市场 页面，详情请参见 导入模型。新建流程引导 帮助您按照标准步骤逐步完成模型配置，从第一步到第...
数据迁移和同步方案概览
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 从DataWorks同步 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute外表导入（20...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
上海新能源汽车车辆基础数据
客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，...
Kafka增量数据同步至MaxCompute
这几个参数明确了后续同步数据时从哪个数据开始同步，同步到哪个数据同步任务结束，本实践的配置表明${startTime} 时间的数据开始同步，一直到${endTime} 时间的数据结束。{startTime} 和${endTime} 在同步任务实际运行时会根据调度配置做...
Kafka增量数据同步至MaxCompute
这几个参数明确了后续同步数据时从哪个数据开始同步，同步到哪个数据同步任务结束，本实践的配置表明${startTime} 时间的数据开始同步，一直到${endTime} 时间的数据结束。{startTime} 和${endTime} 在同步任务实际运行时会根据调度配置做...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
客户案例
大数据处理能力：随着阿里巴巴集团业务的高速发展，推广营销在商业引流上的重要性越发明显，报表作为营销产品的闭环，其诉求也越发的多样化、个性化，报表数据在近几年的发展中在量级上已经增长到TB甚至数十 TB 的规模。这个时候存储系统的...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
Broker Load
本文介绍如何通过Broker Load导入数据至 云数据库 SelectDB 版 实例。背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load ...
从自建TiDB增量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
pg_attribute
一般列从1开始向上编号。系统列，如 ctid，则拥有（任意）负值编号。attndims int4 如果该列是一个数组类型，这里就是其维度数；否则为0。（在目前一个数组的维度数并不被强制，因此任何非零值都能有效地表明“这是一个数组”）。...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
分析数据
单元格的行标记从A开始由左向右递增、列标记从1开始由上向下递增。右键单击某一行的行数或某一列的列数，您可以 删除、隐藏 和 取消隐藏 该行或该列。右键单击选中的单元格，您可以进行 剪切、复制 和 粘贴 等操作。数据探查 数据探查功能...
DataWorks on EMR数据安全方案
数据安全实践：从Hadoop单一账号升级到完善的数据权限管理 很多用户为快速开始大数据业务，使用单一账号Hadoop进行作业开发运行，没有做用户管理和相应的数据权限管理。如何能够快速升级，保障业务正常运转的情况下增加对数据的安全管控...
概述
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
什么是DataWorks
DataWorks发展之路 阿里巴巴集团内发展历程 从2009年产品立项开始，DataWorks与阿里巴巴业务共同发展，结合MaxCompute、Hologres等大数据计算引擎的能力，跨越多个技术阶段，支撑阿里巴巴数据中台与数据治理建设。目前阿里巴巴集团内...
应用场景
从最初面向DBA的工具化辅助诊断，到Self-driving Platform理念提出，开始孵化和锤炼数据库自治能力，随后DAS自治能力逐步覆盖集团全网数据库实例，如自动SQL优化、自动空间、自动异常修复等。目前，混合云数据库管理HDM+CloudDBA+自治能力...
数据资产等级定义
分析数据链路 定义数据资产等级后，您可以从数据流转链路开始进行数据资产等级打标，完成数据资产等级的确认，给不同的数据定义不同的重要程度。MaxCompute进行数据加工基本流程为从业务系统上产生数据，通过同步工具（DataWorks的数据集成...
配置OSS输入组件
按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则将数据内容起始行设置为 N+1。数据内容结束行 填写数据内容结束行。如不指定，则默认读到有数据的...
配置OSS输入组件
按索引：需要填写要读取的 sheet索引，从0开始。数据内容起始行 填写数据内容起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则将数据内容起始行设置为 N+1。数据内容结束行 填写数据内容结束行。如不指定，则默认读到有数据的...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
管理控制台介绍
数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管，真正实现零门槛API开发，帮助您更好地进行数据资产应用并实现数据的价值化。如果您选择了 数据标准，下方展示 数据标准 增值功能。更多信息请参见 数据标准...
管理控制台介绍
数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管，真正实现零门槛API开发，帮助您更好地进行数据资产应用并实现数据的价值化。如果您选择了 数据标准，下方展示 数据标准 增值功能。更多信息请参见 数据标准...
COPY
COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY TO 也能复制一个 SELECT 查询的结果。如果指定了一个列列表，COPY TO 将只把指定列的数据复制到文件。对于 COPY ...
数据类型
说明 TIMESTAMP类型本身与时区无关，在任何时区，TIMESTAMP类型存储的都是从Epoch（UTC 1970-01-01 00:00:00）开始的一个偏移量。您可以通过内建函数对TIMESTAMP类型数据执行与时区相关的计算，如 cast(<a timestamp>as string)将TIMESTAMP...
窗口函数
这个框架包含当前分区中所有从开始到目前行的所有数据。例如，下面的查询对每一个店员进行订单价钱的大小排序：SELECT orderkey,clerk,totalprice,rank()OVER(PARTITION BY clerk ORDER BY totalprice DESC)AS rnk FROM orders ORDER BY ...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
层次调用规范
在完成数据仓库的分层后，您需要对各层次的数据之间的调用关系作出约定。层次调用规范 ADS应用层优先调用数据仓库公共层数据。如果已经存在CDM层数据，不允许ADS应用层跨过CDM中间层从ODS层重复加工数据。CDM中间层应该积极了解应用层数据...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
自动故障转移和读写分离
read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果连接后发现不支持读写，则会断开连接，然后尝试连接第二个数据库，以此类推，直至连接到支持读写的数据库。更多libpq的使用方法和参数说明请参见 Connection ...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
基本介绍
背景信息 云数据库HBase增强版是由 云原生多模数据库Lindorm宽表引擎 提供的、完全兼容HBase的云上托管数据库，从2011年开始云数据库HBase增强版正式承载阿里内部业务的海量数据实时存储需求，支撑服务了淘宝、支付宝、菜鸟、优酷、高德等...
发展历程
本文为您介绍了MaxCompute从诞生到成熟的发展历程。关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
- 产品推荐
- 这些文档可能帮助您