技术篇

Flume数据收集测试-2

关于Flume的配置我们已经在上一个章节中的内容中简单的描述完毕。这一个章节主要是介绍下Flume的输入源和输出源的配置问题,以及哪些默认的配置源我们可以直接使用。


Flume数据收集测试-1

Flumes是一套分布式的,可靠地数据收集系统,他可以将大量的数据源传递的数据(log data等)传递到一个集中的数据源中进行统一的管理。他可以实现数据的收集和聚合,而且收集的数据可以是日志数据,也可以网络信息,社交媒体产生的信息等等。现存的版本主要是0.9.x还有1.x版本,本章节文章中使用的是官方的1.6.0版本。主要内容是通过Flume产生的数据收集起来后放入kafka队列中。为后期的数据消费做准备。


Trident 拓扑结构与实例分析

Trident是在原来的Storm开发基础上抽象了很多方法和数据处理的一个框架,使开发Storm更加的容易和便捷。使用该框架可以让我们省去很多事物处理和状态管理的代码编写,并且增加了一些常见的函数处理接口比如过滤和聚合等操作。本实例代码来自于《分布式实时计算模型》的传感器实例。通过代码分析我们可以基本上了解如何使用Triend来开发Storm程序。


基于Storm的实时分析程序设计

基于Storm开发经典的WordCount实例的代码笔记。内容涉及环境的搭建和部署,各个模块的代码编写和解释。本地模式的开发和远程模式的提交等问题。


Kafka开发日志流系统(环境搭建)

image


如何使用Browserify开发前端应用

我们在做后端开发的时候,有很多优秀的库模块供我们后端程序使用,但是在开发前端应用的时候,虽然这些模块代码也是使用了javascript进行开发,但却没有办法直接被引入<script>中使用。幸好有Browerify这样的工具,我们可以在前后端使用相同的库模块,加速开发的进度。本文章内容取材于Browserify-Handbook。介绍如何使用browerify来开发前端的应用。


immutable.js使用说明

我们在使用数据是,经常会将一个变量赋予另一个变量。对于复制的话,又分为深复制和浅复制。对象直接赋值的时候,往往是浅复制的过程,两个变量同时公用一个内存单元,一旦一方发生变化,另一个也会随之改变。为杜绝这种现象导致的错误,我们在本次内容将简要介绍immutable.js是如何产生不可变对象,并进行相关操作的。


TokenBased的Angular认证模块设计

在开发web应用时,有时候需要加入用户管理的功能,或者页面的授权查看,这些功能都依赖于web的认证模块实现。本节内容主要是针对认证系统的设计进行一些简单分析,并对于如何利用JWT的token方式来进行安全认证做了代码实现。


Node的子进程管理

node的异步响应机制,很适合做一些I/O类型的数据处理,但是对于一个CPU密集型的处理操作,则会阻塞后续的请求。有时候我们又不得不在后台做一些数据处理操作。如何剥离这部分计算操作,使主进程不被阻塞。本文将对于Node的子进程管理进行简要的介绍,主要是子进程管理的基本用法,希望能跟大家多多交流这方面的知识。


Node事件机制及事件绑定

Node的事件发射机制类似于订阅发布模式,当发射一个事件成功时,监听事件的对象将获得该响应并采取进一步的操作.事件模式与标准的异步模式是不同的,本小节将简要的描述如何使用事件模式进行编程。