Materialized View

TiFlink: 使用TiKV和Flink实现强一致的物化视图

在本年初的TiDB Hackathon上,我和一众队友尝试使用Flink为TiDB添加物化视图功能,并摘得了“最佳人气奖”。可以说,物化视图在这届比赛中可谓是一个热点。单单是结合Flink实现相关功能的队伍就有三四个。必须承认的是,在比赛结束时我们项目的完成度很低,虽然基本思路已经定型,最终呈现的结果却远没达到预期。经过半年多断断续续的修补,在今天终于可以发布一个预览版本给大家试用。这篇文章就是对我们思路和成果的一个介绍。

Stream SQL 的执行原理与 Flink 的实现

在数据仓库应用中,执行 ETL 过程是一种常见的需求。我们希望通过 ETL 过程预处理我们的原始数据, 从而达到抽取有用信息和将数据转换为适合进一步查询的格式等目的。MapReduce 和 Spark 等批数据处理系统已经很好地解决了在高延迟的场景下的需求,目前低延迟的流式处理和增量计算是主要的发展方向。 本文将结合 Apache Flink 系统讨论相关技术课题。