造云记（1）：从零打造一个私人云（提纲）

云计算日益热门，借项目之机实验一些关键性技术。记录一些实验过程与心得。

1.背景

1.1 硬件

• 二个linode vps
• 一个阿里云标准C套餐
• 两台公司淘汰下来的2U服务器，一台1U服务器
• 联通光纤+独立ip

1.2 目的

• 实现完全自动化地部署
• R Hadoop 大数据计算实验，跑Map reduce任务
• 任意开服

1.3 测试数据

• 微博2012年23G测试数据
• 大脑结构数据

2. vagrant与veewee

2.1 vagrant基础

• Vagrant Documentation
• 使用Vagrant練習環境佈署

vagrant box 列表：

• A list of base boxes for Vagrant - Vagrantbox.es

国内访问速度不行，我提供的dropbox镜像：

• ubuntu官方镜像
• vanilla镜像
• opscode官方镜像

2.2 vagrant、lindoe vps与kvm等

vagrant加载linode vps镜像

• Copying a Disk Image Over SSH – Linode Library

vagrant与Cloud Foundry

• Installing Cloud Foundry on Vagrant | Cloud Foundry Blog

2.3 制作包：veewee

• jedi4ever/veewee

3. 配置管理：chef

3.1 chef基础

• Getting Started with Chef

3.2 chef的三种配置方式

• chef-solo
• chef-server
• hosted chef

第一种方式的教程：

• 使用Chef-Solo一鍵安裝機器

第三种方式的教程：

• Converge the node - QuickStart Guide | Opscode Learn Chef

3.3 最常用的方式：chef-solo

3.4 最佳实践：knife solo+berkshelf+railsbox

最佳流程：

• 第一步：knife solo

knife-solo

• 第二步：berksfile文件

Berkshelf

• 第三步：整合Vagrantfile文件

名词解释：

• RUNIT - UNIX初始化
• Berkshelf

链接

• #339 Chef Solo Basics (pro) - RailsCasts
• How to include the Windows Cookbook Helper methods in your Chef recipe - Automate All the Things!

常见错误

4. 撰写box：Railsbox实例

4.1 基础box：appbox

4.2 撰写与定制个人的box

我写的部署box项目：

• ouyangzhiping/railsbox
• ouyangzhiping/railsbox-example

一键部署：基础server安装+postgresql+rbenv+rails+nginx+unicorn

5. 使用railsbox部署阿里云、linode vps与openstack

5.1 部署rails app

5.2 部署R app

6. openstack部署

6.1 一键部署

chef社区提供的：

Search Results for openstack - Opscode Community

常用的一键部署项目：

• DevStack - Deploying OpenStack for Developers
• StackGeek - Installing OpenStack on Ubuntu 12.04 LTS in 10 Minutes

国人写的：

• onestack - A tool to deploy complete and real OpenStack cloud computing service.（一键部署OpenStack） - Google Project Hosting

6.2 openstack架构与基础

• Introducing the OpenStack Operations Guide » The OpenStack Blog
• Open Cloud学堂

6.3 vagrant与openstack

6.4 openstack配套项目解析

图书：

• 开源云OpenStack技术指南 (豆瓣)

7. hadoop

7.1 hadoop部署

chef社区提供的部署项目

• Search Results for hadoop - Opscode Community

7.2 hadoop与Python、R

python与hadoop

• Writing An Hadoop MapReduce Program In Python - Michael G. Noll

7.3 hadoop实例

8 R in Cloud

8.1 Revolution R

• Real-time Big Data Analytics: From Deployment to Production

8.2 高性能R项目

概述：

• CRAN Task View: High-Performance and Parallel Computing with R

图书：

• Parallel R

snow、multicore

• CRAN - Package snow
• CRAN - Package multicore

RHIPE

• RHIPE
• R and Hadoop: Step-by-step tutorials

PHDR

• pbd: programming with big data in R

9 其它

---

声明: 本文采用 CC BY-NC-ND 4.0授权。微信号Mindnote，欢迎订阅。扫码请点击