在JDK的命令行中，一般开发人员最耳熟能详的肯定就是java,javac,javap等常用命令，不过在jdk/bin下还有许多其他的命令行工具，它们被用来监测JVM运行时的状态，下面我们来详细解读一下几个常用的工具以及如何使用。

在JDK的命令行中，一般开发人员最耳熟能详的肯定就是java,javac,javap等常用命令，不过在jdk/bin下还有许多其他的命令行工具，它们被用来监测JVM运行时的状态，下面我们来详细解读一下几个常用的工具以及如何使用。

Homebrew算是pgg们的神器了，各种包依赖和安装一键搞定，不过在国内使用官方源很多时候速度超慢，甚至很多源是被墙的。我自己虽然有翻墙工具，不过是浏览器插件，全局翻墙还是无能为力。。

中科大的镜像站前阵子更新了Homebrew的国内源，简直超赞！
USTC镜像站还是良心啊！

概括

每个Spark程序都包括一个主驱动程序和在集群上执行的并行操作。
Spark一个重要的抽象模型是RDD(resilient distributed dataset)，中文翻译呢，就是弹性分布式数据集，弹性呢，指的其实是可以在集群中跨节点和分区。RDDs的创建呢，可以通过一个本地文件，或者HDFS，或者一个现有的Scala集合，甚至其他的RDD通过transformation(RDD的一个基本操作之一，后面会讲到)得来。用户也可以把一个RDD持久化到内存中，可以在并行操作中更高效的复用。还有非常重要的一点，RDDs出现节点故障时可以自动恢复。

Apache Spark是一个效率极高的大数据处理引擎

各种快

在内存中运行程序比Hadoop MapReduce快100倍，在磁盘中快10倍

Spark使用先进的DAG(Directed Acyclic Graph)执行引擎并且支持循环数据流和内存计算。

引用官网的一张图：

最近电商行情不是太乐观，整个市场流量增长缓慢，正好项目闲了下来，老板说下一步重点要搞大数据分析。

大姨吗现在接近一亿注册用户，日PV和UV已经达到很高的一个数量级，美月这边实际消费转化率目前也就在1%左右，整个电商市场的寒冬，老板表示急于需要分析现有的用户数据来进行针对性的推送推荐备货以及下一步战略目标。这样就开始我的大数据之旅。

上次在处理生产事故的时候要从日志中找出失败和可能失败的记录，给这些用户重新请求，顺道温故了一下shell。

先确定下分析思路，在请求正常的情况下每个uid会记录5次日志，此次失败的uid只有一次日志记录，那么我要做的就是先筛出所有的uid，然后再去日志里找记录次数小于4次的uid

• 分析日志，确定需要提取哪句日志，分析后需要找出包含关键字”&uid=”的日志记录

1

$ grep "&uid=" info.log > temp.log

然后temp.log里就是我们需要分析的日志，日志每行都很长，不一定都是我们需要的信息，比如类名，时间，其他无关参数等等

一个程序猿遇到个问题，他决定用多线程解决，现在他有题了个问两。

经过

上周六刚熬夜上线新feature，次日本来要美美的睡一觉，不到9点就被客服在微信群炸醒，用户又领不到优惠券了!（什么啊你你你说清楚，为什么是又呢）。

这是总部app调我们web的http接口，用户在app中抽取优惠券，然后调用我们接口后给账户充值优惠券并返回结果。用户在app点查看会跳转到我们提供的一个显示页面。

那边开发说接口404了。
我艰难的爬起床，登陆服务器查看，日志一切正常啊！又post个请求过去，一切OK啊！
然后截上图问对面，你看，我连正常啊！
对面静默了一会儿，“你们接口是https？”

我。。。

说明

在SecureCRT之类的ssh登陆软件中，通过rz/sz命令来上传和下载文件非常的方便，对于大多数Linux系统来说，默认是不带rz/sz命令的，需要手动安装。

最近变身苹果狗，terminal直接阔以SSH登陆服务器简直好顶赞。
不过复杂变态的密码每次都要输入实在苦恼不已，每次都得从文本里复制进去。
后来捣鼓了半天，终于搞定了免密码登陆服务器。
其实实质就是本地生成公钥放在服务器，然后通过ssh口令时就会验证公钥来完成登陆。

• 1. 本地生成密钥

1

$ ssh-keygen -t rsa

然后就会看到.ssh目录下生成的私钥和公钥

1
2
3

$ ls ~/.ssh  
    id_rsa  //私钥 
    id_rsa.pub    //公钥

• 2. 配置ssh config

  Read more »