AWS 上 Kylin 调度系统的设计
最近加入 Strikingly / 上线了 光荣地成为了一名数据平台工程师, 投身于大数据平台开发的工作当中。这两个月来,通过设计和实现一个 AWS 的 Kylin 数据仓库调度系统, 收获很多,借此机会总结一下。
最近加入 Strikingly / 上线了 光荣地成为了一名数据平台工程师, 投身于大数据平台开发的工作当中。这两个月来,通过设计和实现一个 AWS 的 Kylin 数据仓库调度系统, 收获很多,借此机会总结一下。
说起 Immutable Data Structure,浮现在人们脑海里的可能是 Scala 和 Clojure 或者 ImmutableJS 等语言和库所提供的数据结构。不过,今天这篇文章则是想要通过介绍实现不可变数据结构的一些思路, 带领大家了解另一种具有巨大应用价值的数据结构:Log-Structured Merge Tree。
近期受邀在 VMWare 上海的一个公开活动里做了一个技术分享介绍 Functional Programming, 在准备 Slides 的过程中又重新审视了一下自己对函数式编程这个主题的了解深度, 感觉又有一些收获。
在之前的一个系列的文章里,我们从基本原理开始,一步步实现了基于 Vector Trie 的持久化 List 数据结构。 接下来将要研究的是使用 HAMT 这一数据结构实现持久化 Hash Table。
在之前的文章中,我们介绍了一些持久化数据结构实现的基本原理和 Vector Trie 这一数据结构在 Golang 下的实现过程。 这篇文章终于来到了实现持久化 List 的最后一步: 实现 Transient 和持久化的功能。
函数式编程模型因其天生对并发具备良好的支持,近些年来越来越受到重视。从这篇文章开始, 我将以一个系列的博客来记录函数式编程的一个重要组件:持久化数据结构在 Go 语言下的实现。