Tag:数据分析

数据可视化实例-使用d3绘制乌拉穆螺旋

质数螺旋( Ulam spiral — “乌拉姆螺旋”)是在1963年被美籍波兰数学家斯塔尼斯拉夫·乌拉姆(Stanislaw Ulam)(1909年 - 1984年)发现.本实例将使用d3将该螺旋绘制出来,或许能发现其中的规律


Flume数据收集测试-2

关于Flume的配置我们已经在上一个章节中的内容中简单的描述完毕。这一个章节主要是介绍下Flume的输入源和输出源的配置问题,以及哪些默认的配置源我们可以直接使用。


Flume数据收集测试-1

Flumes是一套分布式的,可靠地数据收集系统,他可以将大量的数据源传递的数据(log data等)传递到一个集中的数据源中进行统一的管理。他可以实现数据的收集和聚合,而且收集的数据可以是日志数据,也可以网络信息,社交媒体产生的信息等等。现存的版本主要是0.9.x还有1.x版本,本章节文章中使用的是官方的1.6.0版本。主要内容是通过Flume产生的数据收集起来后放入kafka队列中。为后期的数据消费做准备。


Trident 拓扑结构与实例分析

Trident是在原来的Storm开发基础上抽象了很多方法和数据处理的一个框架,使开发Storm更加的容易和便捷。使用该框架可以让我们省去很多事物处理和状态管理的代码编写,并且增加了一些常见的函数处理接口比如过滤和聚合等操作。本实例代码来自于《分布式实时计算模型》的传感器实例。通过代码分析我们可以基本上了解如何使用Triend来开发Storm程序。


基于Storm的实时分析程序设计

基于Storm开发经典的WordCount实例的代码笔记。内容涉及环境的搭建和部署,各个模块的代码编写和解释。本地模式的开发和远程模式的提交等问题。