`
Eastsun
  • 浏览: 303488 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

Scala2.8探秘之for表达式

阅读更多
  虽然Scala2.8还在持续跳票中,但目前Nightly Build版本的可用性已经很高了,其中Scala2.8中主要特性都已经实现。毫无疑问,Scala2.8的发布将会是Scala发展中的一个重大里程碑。在这个版本中,不仅包括了许多Scala社区期待已久的特性,如命名参数、类型特殊化等等,详细的信息可以参看http://eastsun.iteye.com/blog/373710;而且包含了一些对之前Scala中设计不合理的地方的改进,例如Scala中对String以及数组的处理,在之前的版本中Scala编译器在编译的时候对这两种类型进行了一些比较特殊(魔法)的处理,这样做虽然某些程度上使得这两种类型在Scala中更加易用,但同时也破坏了Scala中的一致性,并随之产生了一些离奇的问题。举个例子,在Scala2.7.7 final中我们可以看到如下结果:
//Scala2.7.7 final
scala> val array = Array("String Array")
array: Array[java.lang.String] = Array(String Array)

scala> println(array.toString())
Array(String Array)

scala> println(array)
[Ljava.lang.String;@139491b

scala> "WOW" == "WOW".reverse
res4: Boolean = false

scala> "abcdefg" map { _.toUpperCase }
res5: Seq[Char] = ArrayBufferRO(A, B, C, D, E, F, G)         //注意,得到的是个Seq[Char]而不是String

  显然这样的运行结果有违我们的直觉,即使是对Scala有一定了解的人也未必能马上明白其中的奥妙。
  在Scala2.8中,这些问题都得到了一定的解决——可能有些解决方式会让你觉得退步了,但是保持了Scala的一致性,并且消除了编译器在背后做的那些魔法,使事情变得简单——虽然这样破坏了Scala的向后兼容性,但我认为这样做事非常值得的:这为Scala成为一门成功的语言垫下了基础。下面我们看看在Scala 2.8.0.r20117-b20091213020323中上面代码的运行结果:
scala> val array = Array("String Array")
array: Array[java.lang.String] = Array(String Array)

scala> println(array.toString())
[Ljava.lang.String;@335053

scala> println(array)
[Ljava.lang.String;@335053

scala> "WOW" == "WOW".reverse
res2: Boolean = true

scala> "abcdefg" map { _.toUpperCase }
res3: String = ABCDEFG

  可以看到,运行结果就如我们所预想的那样——固然其中数组的toString结果变得丑陋了,和Java中一样丑陋,但保持一致了。
  OK,String与数组的讨论就此为止,以后如果有时间我再来详细解释一下其背后的故事;现在我们转向本文要讨论的东东:Scala中的for表达式。注意:在本文中使用了两种不同的Scala版本:Scala2.7.7final与2.8.0.r20117-b20091213020323进行对比。

1.Scala2.8之前的for表达式

  在Scala中,通常有以下几种使用方式:
   for (p <- e) e'
   for (p <- e if g) e'
   for (p <- e; p' <- e' ...) e''

以及相应的
   for (p <- e) yield e'
   for (p <- e if g) yield e'
   for (p <- e; p' <- e' ...) yield e''

其中p,p'为Scala中的Pattern;e,e',e''为表达式;g为Boolean表达式。
  根据《The Scala Language Specification Version 2.7》,上面的for表达式将在编译阶段展开为下面的形式(没有考虑p为比较复杂的Pattern时的情形):
   for (p <- e) e'                 => e.foreach { case p => e' }
   for (p <- e if g) e'            => for (p <- e.filter{ (x1,...,xn) => g }) e' => ..
   for (p <- e; p' <- e' ...) e''  => e.foreach{ case p => for (p' <- e' ...) e'' }

以及相应的
   for (p <- e) yield e'                => e.map { case p => e' }
   for (p <- e if g) yield e'           => for (p <- e.filter{ (x1,...,xn) => g }) yield e'
   for (p <- e; p' <- e' ...) yield e'' => e.flatmap { case p => for (p' <- e' ...) yield e'' }

  注意的是,这个转换发生在类型检查之前。也就是说,对map,filter,flatMap以及foreach这四个方法的方法签名没有任何其它限制,只需要满足展开后for语句的类型检查。通常情况下,对于一个具有类型参数A的类C——一般表示某种数据结构(集合)——下面的定义方式是比较自然的:
class C[A] {
    def map[B](f: A => B): C[B]
    def flatMap[B](f: A => C[B]): C[B]
    def filter(p: A => Boolean): C[A]
    def foreach(b: A => Unit): Unit
}

  相对Java1.5中的for语句,Scala的实现更加灵活,并且以一种轻量级的方式实现了List comprehension。举个例子,下面几行代码实现了求一个List的全排列:
scala> def perm[T](ls: List[T]): List[List[T]] = ls match {
     |     case Nil => List(Nil)
     |     case xs  => for(x <- xs;ys <- perm(xs-x)) yield x::ys
     | }
perm: [T](List[T])List[List[T]]

scala> perm(1::2::3::Nil)
res2: List[List[Int]] = List(List(1, 2, 3), List(1, 3, 2), List(2, 1, 3),
                             List(2, 3, 1), List(3, 1, 2), List(3, 2, 1))

  但是这个转换规则还不甚完美。当转换后的表达式含有filter方法的时候,会产生几个问题。
(a)性能问题
  以一个简单的问题为例:求1~999中所有偶数之和。
  下面是两段类似的解决代码:
    val set = 1 until 1000
    var sum = 0
    for(num <- set;if(num%2 == 0)) sum += num

或者把if语句移到括号外面:
    val set = 1 until 1000
    var sum = 0
    for(num <- set) if(num%2 == 0) sum += num

  这两段代码功能上应该是等价的,但是运行效率如何呢?下面首先写一个粗略的测试函数:
/**
  计算count次调用call所需的时间,单位:毫秒
*/
def time(call : => Unit,count: Int): Long = {
    var cnt = count
    val start = System.currentTimeMillis
    while(cnt > 0) {
        call
        cnt -= 1
    }
    System.currentTimeMillis - start
}

  先在Scala2.7.7final中将每段代码各运行十万次:
scala> val set = 1 until 1000
set: Range = Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, ...

scala> time({
     |     var sum = 0
     |     for(num <- set;if(num%2 == 0)) sum += num
     | },100000)
res3: Long = 47390

scala>

scala> time({
     |     var sum = 0
     |     for(num <- set)  if(num%2 == 0) sum += num
     | },100000)
res4: Long = 3344

scala>

  测试结果很出乎意料:两段类似的代码,性能竟相差一个数量级!
  之所以会有这么大的差异,根据上述的转换规则,第一段代码将会转换为下面的实际执行代码:
    val set = 1 until 1000
    var sum = 0
    set.filter{ num => num%2 == 0) }.foreach{ case num => sum += num }

  而第二段代码实际执行的是:
    val set = 1 until 1000
    var sum = 0
    set.foreach{ case num => if(num%2 == 0) sum += num }

  相对而言,第一段代码会调用filter方法,创建一个新的集合类,而这个集合类包含了1~999中所有的偶数。显然这个过程是比较昂贵的,也是不必要的。

(b)运行顺序
  以
for (p <- e if g) e'

为例,实际运行的代码为:
e.filter{ (x1,...,xn) => g }.foreach{ case p => e'}

  可以看到,虽然直观上if g与e'在遍历的时候应该是依次循环执行;但事实上转换后if g整体先于e'执行。当g与e'中同时包含一个变量v,并且在g中对变量v进行改动时,实际运行结果可能和我们所预想的不一致。可能问题描述的不是很清楚,下面引用fineqtbull同学在for语句中内嵌if语句的副作用一文中的代码作为例子来说明:实现compress方法,其功能是将一个list中连续相同的元素删减至一个。比如compress(List(1,1,2,3,3,1,1,4)) == List(1,2,3,1,4),下面是两段类似的实现代码,咋一看都没问题,但运行结果却不一样。
Welcome to Scala version 2.7.7.final (Java HotSpot(TM) Client VM, Java 1.6.0_17).

scala> def compress1[T](ls: List[T]): List[T] = {
     |     var res = List(ls.first)
     |     for(x <- ls) if(x != res.last) res = res:::List(x)
     |     res
     | }
compress1: [T](List[T])List[T]

scala> def compress2[T](ls: List[T]): List[T] = {
     |     var res = List(ls.first)
     |     for(x <- ls;if(x != res.last)) res = res:::List(x)
     |     res
     | }
compress2: [T](List[T])List[T]

scala> compress1(List(1,1,2,3,3,1,1,4))
res0: List[Int] = List(1, 2, 3, 1, 4)

scala> compress2(List(1,1,2,3,3,1,1,4))
res1: List[Int] = List(1, 2, 3, 3, 4)

scala>

  有了之前的说明,我们不难发现其原因所在。但这样的结果显然违反了C/Java中习惯用法,很容易让一个刚接触Scala的人产生困惑。

2.Scala2.8中的for表达式

  刚才已经提到了Scala2.8之前for表达式所存在的两个问题,那么在Scala2.8中这两个问题有没有得到解决呢?下面将之前的代码在2.8.0.r20117-b20091213020323重新运行一次试试:
Welcome to Scala version 2.8.0.r20117-b20091213020323 (Java HotSpot(TM) Client VM, Java 1.6.0_17).

scala> def time(call : => Unit,count: Int): Long = {
     |     var cnt = count
     |     val start = System.currentTimeMillis
     |     while(cnt > 0) {
     |         call
     |         cnt -= 1
     |     }
     |     System.currentTimeMillis - start
     | }
time: (call: => Unit,count: Int)Long

scala> val set = 1 until 1000
set: scala.collection.immutable.Range ...

scala> time({
     |     var sum = 0
     |     for(num <- set;if(num%2 == 0)) sum += num
     | },100000)
res0: Long = 6906

scala> time({
     |     var sum = 0
     |     for(num <- set)  if(num%2 == 0) sum += num
     | },100000)
res1: Long = 4312

scala> def compress1[T](ls: List[T]): List[T] = {
     |     var res = List(ls.first)
     |     for(x <- ls) if(x != res.last) res = res:::List(x)
     |     res
     | }
compress1: [T](ls: List[T])List[T]

scala> def compress2[T](ls: List[T]): List[T] = {
     |     var res = List(ls.first)
     |     for(x <- ls;if(x != res.last)) res = res:::List(x)
     |     res
     | }
compress2: [T](ls: List[T])List[T]

scala> compress1(List(1,1,2,3,3,1,1,4))
res2: List[Int] = List(1, 2, 3, 1, 4)

scala> compress2(List(1,1,2,3,3,1,1,4))
res3: List[Int] = List(1, 2, 3, 1, 4)

scala>

  可以看到Scala2.8中已经很好的解决了这两个问题。对于一门语言,要想对已经存在的问题进行改进是很困难的,因为首先这些改进要尽可能少的影响已经存在的旧有代码,另一方面不能带来新的问题。幸运的是,Martin想到了一个简单而优雅的方法成功做到了这些。下面简单的叙述一下Martin的解决方法,感兴趣的同学可以去看Martin的原文Rethinking filter
  首先,Martin引入了一个新的方法withFilter,这个方法与filter方法一样以一个条件函数A => Boolean作为参数。与filter方法不同的是,withFilter方法是lazy的。它并不会创建一个新的包含符合条件的元素所组成的集合类,而是返回一个代理类WithFilter,这个类具有foreach、map、flatMap以及withFilter等方法,并且所有这些方法的调用是与原来条件组合的结果。下面是TraversableLike中WithFilter的实现,Scala2.8中所有的集合类都继承了TraversableLike:
  class WithFilter(p: A => Boolean) {

    /** Builds a new collection by applying a function to all elements of the
     *  outer $coll containing this `WithFilter` instance that satisfy predicate `p`.
     *
     *  @param f      the function to apply to each element.
     *  @tparam B     the element type of the returned collection.
     *  @tparam That  $thatinfo
     *  @param bf     $bfinfo
     *  @return       a new collection of type `That` resulting from applying the given function
     *                `f` to each element of the outer $coll that satisfies predicate `p`
     *                and collecting the results.
     *
     *  @usecase def map[B](f: A => B): $Coll[B] 
     *  
     *  @return       a new $coll resulting from applying the given function
     *                `f` to each element of the outer $coll that satisfies predicate `p`
     *                and collecting the results.
     */
    def map[B, That](f: A => B)(implicit bf: CanBuildFrom[Repr, B, That]): That = {
      val b = bf(repr)
      for (x <- self) 
        if (p(x)) b += f(x)
      b.result
    }

    /** Builds a new collection by applying a function to all elements of the
     *  outer $coll containing this `WithFilter` instance that satisfy predicate `p` and concatenating the results. 
     *
     *  @param f      the function to apply to each element.
     *  @tparam B     the element type of the returned collection.
     *  @tparam That  $thatinfo
     *  @param bf     $bfinfo
     *  @return       a new collection of type `That` resulting from applying the given collection-valued function
     *                `f` to each element of the outer $coll that satisfies predicate `p` and concatenating the results.
     *
     *  @usecase def flatMap[B](f: A => Traversable[B]): $Coll[B]
     * 
     *  @return       a new $coll resulting from applying the given collection-valued function
     *                `f` to each element of the outer $coll that satisfies predicate `p` and concatenating the results.
     */
    def flatMap[B, That](f: A => Traversable[B])(implicit bf: CanBuildFrom[Repr, B, That]): That = {
      val b = bf(repr)
      for (x <- self) 
        if (p(x)) b ++= f(x)
      b.result
    }

    /** Applies a function `f` to all elements of the outer $coll containing this `WithFilter` instance
     *  that satisfy predicate `p`.
     *
     *  @param  f   the function that is applied for its side-effect to every element.
     *              The result of function `f` is discarded.
     *              
     *  @tparam  U  the type parameter describing the result of function `f`. 
     *              This result will always be ignored. Typically `U` is `Unit`,
     *              but this is not necessary.
     *
     *  @usecase def foreach(f: A => Unit): Unit
     */   
    def foreach[U](f: A => U): Unit = 
      for (x <- self) 
        if (p(x)) f(x)

    /** Further refines the filter for this $coll.
     *
     *  @param q   the predicate used to test elements.
     *  @return    an object of class `WithFilter`, which supports
     *             `map`, `flatMap`, `foreach`, and `withFilter` operations.
     *             All these operations apply to those elements of this $coll which
     *             satify the predicate `q` in addition to the predicate `p`.
     */
    def withFilter(q: A => Boolean): WithFilter = 
      new WithFilter(x => p(x) && q(x))
  }
}

  在Scala2.8中,for表达式的转换方式大体保持不变,只是将以前使用filter的地方全部替换为withFilter方法。

结语:可以看到Scala2.8成功解决了之前Scala中存在的一些问题,使得Scala语言变得更加优雅、强大。你还在等待Java7的闭包吗?赶紧去尝试Scala2.8吧^_^

分享到:
评论
9 楼 regular 2010-03-17  
很动心。恨自己没时间做研究。
8 楼 lonlyleo 2009-12-29  
学习一下思想吧,能在实践中用这个吗?会不会被团队PK死?
7 楼 徐风子 2009-12-28  
你还在等待Java7的闭包吗?赶紧去尝试Scala2.8吧 ^_^
6 楼 nethibernate 2009-12-28  
正在学习scala,每看到里面的一种特性都会让我激动不已。我觉得这已经超出了一门语言的范畴了,它是所有开发思想的一种结合
5 楼 NumbCoder 2009-12-27  
发这么多代码 不容易啊~
听说Twitter都改用scala开发了
4 楼 helian 2009-12-27  
好久没关注scala了,LZ有没有什么基于scala的项目值得推荐?
3 楼 donyee 2009-12-27  
刚改了一些groovy代码到scala,学习函数式语言看看
期待lz更多的关于scala的介绍
2 楼 chinpom 2009-12-27  
我对Scala非常看好,不管它以后会不会流行,都很值得学习,因为它已经是我心中下一代编程语言的典范了。
1 楼 ytl 2009-12-27  
好文章

相关推荐

Global site tag (gtag.js) - Google Analytics