Spark MLlib随机梯度下降法概述与实例

package cn.just.shinelon.mllib.algorithm

import java.util

import scala.collection.immutable.hashmap

/**

  * 随机梯度下降算法实战

  * 随机梯度下降算法：最短路径下达到最优结果

  * 数学表达公式如下：

  * f(θ)=θ0x0+θ1x1+θ2x2+...+θnxn

  * 对于系数要通过不停地求解出当前位置下最优化的数据，即不停对系数θ求偏导数

  * 则θ求解的公式如下：

  * θ=θ-α(f(θ)-yi)xi

  * 公式中α是下降系数，即每次下降的幅度大小，系数越大则差值越小，系数越小则差值越小，但是计算时间也相对延长

  */

object sgd {

  var data=hashmap[ int , int ]()     //创建数据集

  def getdata():hashmap[ int , int ]={

   for (i <- 1 to 50 ){        //创建50个数据集

    data += (i->( 2 *i))       //写入公式y=2x

   }

   data               //返回数据集

  }

  var θ: double = 0             //第一步 假设θ为0

  var α: double = 0.1            //设置步进系数

  def sgd(x: double ,y: double )={    //随机梯度下降迭代公式

   θ=θ-α*((θ*x)-y)         //迭代公式

  }

  def main(args: array[string]): unit = {

   val datasource=getdata()     //获取数据集

   datasource.foreach(mymap=>{    //开始迭代

    sgd(mymap._1,mymap._2)     //输入数据

   })

   println( "最终结果值θ为：" +θ)

  }

}