Distributed System

TiFlink: 使用TiKV和Flink实现强一致的物化视图

在本年初的TiDB Hackathon上,我和一众队友尝试使用Flink为TiDB添加物化视图功能,并摘得了“最佳人气奖”。可以说,物化视图在这届比赛中可谓是一个热点。单单是结合Flink实现相关功能的队伍就有三四个。必须承认的是,在比赛结束时我们项目的完成度很低,虽然基本思路已经定型,最终呈现的结果却远没达到预期。经过半年多断断续续的修补,在今天终于可以发布一个预览版本给大家试用。这篇文章就是对我们思路和成果的一个介绍。

图解图算法 Pregel: 模型简介与实战案例

这篇文章是对之前在 SHLUG 月度分享活动上所作演讲 Pregel in Graphs 的总结。为使分享内容清晰易懂,本人绘制了大量原创示意图,这篇文字版的总结也会尽量以这些图示为主。 除了对 Pregel 算法的简单介绍,本文还附加了一个用户追踪画像的实战案例,用以证明图计算模型的重要意义。

集群资源调度系统设计架构总结

之前为完成《AWS 下 Kylin 调度系统的设计》,阅读了大量 集群资源管理和任务调度的资料和论文。了解了如 Hadoop YARNMesosSpark DrizzleBorg/KubernetesOmega 等系统的调度器设计架构,在这篇文章里我将试图从这些架构案例中总结出此类系统一般的设计模式。