本节来介绍Spark实战案例：通过分析网站的访问日志，来求出网站中访问量最高的两个页面。
access_log.txt 提取码：xxjc
本节用到的日志文件格式如下所示：
192.168.88.1 - - [30/Jul/2017:12:54:52 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242 192.168.88.1 - - [30/Jul/2017:12:54:53 +0800] "GET /MyDemoWeb/oracle.jsp HTTP/1.1" 200 242 192.168.88.1 - - [30/Jul/2017:12:54:54 +0800] "GET /MyDemoWeb/mysql.jsp HTTP/1.1" 200 241
使用WinSCP工具将$SPARK_HOME/jars目录下的所有Jar包下载到本地目录如E:/sparklib中。
- 打开IDEA开发工具，选择“Create New Project”，选择Scala下面的sbt工程，Next
- 工程名字：WebAccessCount，选择一个保存位置，比如：E:/WebAccessCount，Java版本和Scala版本需要和Spark集群环境中的保持一致，sbt版本保持默认，Finish
- 在WebAccessCount工程上右键单击，New，Directory，输入目录名：lib，OK
- 将刚才下载好的所有Jar包，复制粘贴到lib文件夹，在弹出的确认对话框中单击OK
- 选中lib目录下的所有的Jar包，右键，选中“Add as Libirary”，在弹出的对话框中输入库的名字，比如：spark_jars，OK
注意：IDEA构建工程的过程比较慢，请耐心等待。只有等工程构建完成后，工程的结构才会完整，写代码时才会有智能提示。可以通过更改sbt源的方式来提高构建速度，这里不作介绍。
- 在WebAccessCount工程下的src/main/scala目录上右键，New，Package：demo，OK
- 在demo下面New，Scala Class：WebAccessCount.scala，种类选择：Object，OK
- 编写WebAccessCount.scala代码如下：