《Hadoop Operations》读书笔记 - 4 - 第五章 安装与配置
Chapter 5: Installation and ConfigurationEric Sammer “Hadoop Operations” - O’Reilly (2012) … (p75 ~ p134) 安装 Hadoop 有无数种办法可以安装 Hadoop，这里给出的
《Hadoop Operations》读书笔记 - 3 - 第四章 规划集群
Chapter 4: Planning a Hadoop ClusterEric Sammer “Hadoop Operations” - O’Reilly (2012) … (p41 ~ p73) 选择 Hadoop 发布以及版本 计划部署 Hadoop 集群的第一件事情就是
《Hadoop Operations》读书笔记 - 2 - 第三章 MapReduce
Chapter 3: MapReduceEric Sammer “Hadoop Operations” - O’Reilly (2012) … (p25 ~ p39) MapReduce，在这里实际上有两个含义，一个是一种分布式计算模型；另一个是某种特定实现，比如Apache
《Hadoop Operations》读书笔记 - 1 - 第二章 HDFS
Chapter 2: HDFSEric Sammer “Hadoop Operations” - O’Reilly (2012) … (p7 ~ p24) 传统存储是 SAN 或者 NAS，提供了集中化、低延时的块存储或者文件系统，以支持TB级数据。在面对关系型数据库之类的服务
生与熟：大数据的神话 - Kate Crawford在伯克利的讲座的笔记与思考
Kate Crawford 是微软美国新英格兰研究中心的主要研究人员，同时也是MIT的客座教授和UNSW的副教授。她分别在英国、澳大利亚、美国甚至印度做过研究工作。这个讲座是 2013 年在伯克利大学举办的 DataEDGE 的研讨会上，Kate Crawford 进行的讲座。
Hadoop 1.2.1 多节点全分布配置
一、集群配置 一般来说，按照集群的规模会有不同的拓扑结构。 1.1 小规模集群(2~10节点) 这类小规模集群主要是针对测试、练习、开发，甚至可能是比较小一些的生产集群。 这种规模下，一般会将 NameNode 和 JobTracker 都集中到一台计算机上。小的集群一般不大需要
Vagrant 简介
一、什么是 Vagrant 开发过程中，我们经常碰到一个问题，总有成员会抱怨说：“我这里编译出错啊”，或者，“这个页面在我机器上运行不了啊”。这类问题层出不穷，大多是由于开发环境搭建过程中的不一致所产生。而我们往往无法苛求开发人员所使用的桌面环境必须保持完全一致，毕竟每个人都有自
Hadoop 2.2.0 单节点伪分布配置
前言 本安装指南是针对 Ubuntu Server 12.04 进行 Hadoop 2.x 单节点伪分布模式配置的。其它系统或其它版本请酌情调整配置方法。 一、准备工作 我们需要有一台 Ubuntu Server 12.04 64位的虚拟机，如果尚未建立，请参考：【在 Virtu
编译 Hadoop 2.2.0
前言 Hadoop 2.2 所提供的二进制包是针对32位系统进行编译的，其中并未像1.x那样提供了64位的原生库文件。 如果直接使用该二进制包安装，会导致无法使用原生库进行加速。 执行过程中可能会出现如下的警告： 1 2 3 OpenJDK 64-Bit Server VM wa
Hadoop 1.2.1 单节点伪分布配置
前言 本安装指南是针对 Ubuntu Server 12.04 进行 Hadoop 1.x 单节点伪分布模式配置的。其它系统或其它版本请酌情调整配置方法。 一、准备工作 我们需要有一台 Ubuntu Server 12.04 64位的虚拟机，如果尚未建立，请参考：【在 Virtu