compiler/vectorise/Vectorise.hs

   1 {-# OPTIONS -w #-}
   2 -- The above warning supression flag is a temporary kludge.
   3 -- While working on this module you are encouraged to remove it and fix
   4 -- any warnings in the module. See
   5 --     http://hackage.haskell.org/trac/ghc/wiki/Commentary/CodingStyle#Warnings
   6 -- for details
   7
   8 module Vectorise( vectorise )
   9 where
  10
  11 #include "HsVersions.h"
  12
  13 import VectMonad
  14 import VectUtils
  15 import VectType
  16 import VectCore
  17
  18 import DynFlags
  19 import HscTypes
  20
  21 import CoreLint             ( showPass, endPass )
  22 import CoreSyn
  23 import CoreUtils
  24 import CoreFVs
  25 import SimplMonad           ( SimplCount, zeroSimplCount )
  26 import Rules                ( RuleBase )
  27 import DataCon
  28 import TyCon
  29 import Type
  30 import FamInstEnv           ( extendFamInstEnvList )
  31 import InstEnv              ( extendInstEnvList )
  32 import Var
  33 import VarEnv
  34 import VarSet
  35 import Name                 ( Name, mkSysTvName, getName )
  36 import NameEnv
  37 import Id
  38 import MkId                 ( unwrapFamInstScrut )
  39 import OccName
  40 import Module               ( Module )
  41
  42 import DsMonad hiding (mapAndUnzipM)
  43 import DsUtils              ( mkCoreTup, mkCoreTupTy )
  44
  45 import Literal              ( Literal, mkMachInt )
  46 import PrelNames
  47 import TysWiredIn
  48 import TysPrim              ( intPrimTy )
  49 import BasicTypes           ( Boxity(..) )
  50
  51 import Outputable
  52 import FastString
  53 import Control.Monad        ( liftM, liftM2, zipWithM, mapAndUnzipM )
  54 import Data.List            ( sortBy, unzip4 )
  55
  56 vectorise :: HscEnv -> UniqSupply -> RuleBase -> ModGuts
  57           -> IO (SimplCount, ModGuts)
  58 vectorise hsc_env _ _ guts
  59   = do
  60       showPass dflags "Vectorisation"
  61       eps <- hscEPS hsc_env
  62       let info = hptVectInfo hsc_env `plusVectInfo` eps_vect_info eps
  63       Just (info', guts') <- initV hsc_env guts info (vectModule guts)
  64       endPass dflags "Vectorisation" Opt_D_dump_vect (mg_binds guts')
  65       return (zeroSimplCount dflags, guts' { mg_vect_info = info' })
  66   where
  67     dflags = hsc_dflags hsc_env
  68
  69 vectModule :: ModGuts -> VM ModGuts
  70 vectModule guts
  71   = do
  72       (types', fam_insts, tc_binds) <- vectTypeEnv (mg_types guts)
  73
  74       let fam_inst_env' = extendFamInstEnvList (mg_fam_inst_env guts) fam_insts
  75       updGEnv (setFamInstEnv fam_inst_env')
  76
  77       -- dicts   <- mapM buildPADict pa_insts
  78       -- workers <- mapM vectDataConWorkers pa_insts
  79       binds'  <- mapM vectTopBind (mg_binds guts)
  80       return $ guts { mg_types        = types'
  81                     , mg_binds        = Rec tc_binds : binds'
  82                     , mg_fam_inst_env = fam_inst_env'
  83                     , mg_fam_insts    = mg_fam_insts guts ++ fam_insts
  84                     }
  85
  86 vectTopBind :: CoreBind -> VM CoreBind
  87 vectTopBind b@(NonRec var expr)
  88   = do
  89       var'  <- vectTopBinder var
  90       expr' <- vectTopRhs var expr
  91       hs    <- takeHoisted
  92       cexpr <- tryConvert var var' expr
  93       return . Rec $ (var, cexpr) : (var', expr') : hs
  94   `orElseV`
  95     return b
  96
  97 vectTopBind b@(Rec bs)
  98   = do
  99       vars'  <- mapM vectTopBinder vars
 100       exprs' <- zipWithM vectTopRhs vars exprs
 101       hs     <- takeHoisted
 102       cexprs <- sequence $ zipWith3 tryConvert vars vars' exprs
 103       return . Rec $ zip vars cexprs ++ zip vars' exprs' ++ hs
 104   `orElseV`
 105     return b
 106   where
 107     (vars, exprs) = unzip bs
 108
 109 vectTopBinder :: Var -> VM Var
 110 vectTopBinder var
 111   = do
 112       vty  <- vectType (idType var)
 113       var' <- cloneId mkVectOcc var vty
 114       defGlobalVar var var'
 115       return var'
 116
 117 vectTopRhs :: Var -> CoreExpr -> VM CoreExpr
 118 vectTopRhs var expr
 119   = do
 120       closedV . liftM vectorised
 121               . inBind var
 122               $ vectPolyExpr (freeVars expr)
 123
 124 tryConvert :: Var -> Var -> CoreExpr -> VM CoreExpr
 125 tryConvert var vect_var rhs
 126   = fromVect (idType var) (Var vect_var) `orElseV` return rhs
 127
 128 -- ----------------------------------------------------------------------------
 129 -- Bindings
 130
 131 vectBndr :: Var -> VM VVar
 132 vectBndr v
 133   = do
 134       vty <- vectType (idType v)
 135       lty <- mkPArrayType vty
 136       let vv = v `Id.setIdType` vty
 137           lv = v `Id.setIdType` lty
 138       updLEnv (mapTo vv lv)
 139       return (vv, lv)
 140   where
 141     mapTo vv lv env = env { local_vars = extendVarEnv (local_vars env) v (vv, lv) }
 142
 143 vectBndrNew :: Var -> FastString -> VM VVar
 144 vectBndrNew v fs
 145   = do
 146       vty <- vectType (idType v)
 147       vv  <- newLocalVVar fs vty
 148       updLEnv (upd vv)
 149       return vv
 150   where
 151     upd vv env = env { local_vars = extendVarEnv (local_vars env) v vv }
 152
 153 vectBndrIn :: Var -> VM a -> VM (VVar, a)
 154 vectBndrIn v p
 155   = localV
 156   $ do
 157       vv <- vectBndr v
 158       x <- p
 159       return (vv, x)
 160
 161 vectBndrNewIn :: Var -> FastString -> VM a -> VM (VVar, a)
 162 vectBndrNewIn v fs p
 163   = localV
 164   $ do
 165       vv <- vectBndrNew v fs
 166       x  <- p
 167       return (vv, x)
 168
 169 vectBndrIn' :: Var -> (VVar -> VM a) -> VM (VVar, a)
 170 vectBndrIn' v p
 171   = localV
 172   $ do
 173       vv <- vectBndr v
 174       x  <- p vv
 175       return (vv, x)
 176
 177 vectBndrsIn :: [Var] -> VM a -> VM ([VVar], a)
 178 vectBndrsIn vs p
 179   = localV
 180   $ do
 181       vvs <- mapM vectBndr vs
 182       x <- p
 183       return (vvs, x)
 184
 185 -- ----------------------------------------------------------------------------
 186 -- Expressions
 187
 188 vectVar :: Var -> VM VExpr
 189 vectVar v
 190   = do
 191       r <- lookupVar v
 192       case r of
 193         Local (vv,lv) -> return (Var vv, Var lv)
 194         Global vv     -> do
 195                            let vexpr = Var vv
 196                            lexpr <- liftPA vexpr
 197                            return (vexpr, lexpr)
 198
 199 vectPolyVar :: Var -> [Type] -> VM VExpr
 200 vectPolyVar v tys
 201   = do
 202       vtys <- mapM vectType tys
 203       r <- lookupVar v
 204       case r of
 205         Local (vv, lv) -> liftM2 (,) (polyApply (Var vv) vtys)
 206                                      (polyApply (Var lv) vtys)
 207         Global poly    -> do
 208                             vexpr <- polyApply (Var poly) vtys
 209                             lexpr <- liftPA vexpr
 210                             return (vexpr, lexpr)
 211
 212 vectLiteral :: Literal -> VM VExpr
 213 vectLiteral lit
 214   = do
 215       lexpr <- liftPA (Lit lit)
 216       return (Lit lit, lexpr)
 217
 218 vectPolyExpr :: CoreExprWithFVs -> VM VExpr
 219 vectPolyExpr (_, AnnNote note expr)
 220   = liftM (vNote note) $ vectPolyExpr expr
 221 vectPolyExpr expr
 222   = polyAbstract tvs $ \abstract ->
 223     do
 224       mono' <- vectExpr mono
 225       return $ mapVect abstract mono'
 226   where
 227     (tvs, mono) = collectAnnTypeBinders expr
 228
 229 vectExpr :: CoreExprWithFVs -> VM VExpr
 230 vectExpr (_, AnnType ty)
 231   = liftM vType (vectType ty)
 232
 233 vectExpr (_, AnnVar v) = vectVar v
 234
 235 vectExpr (_, AnnLit lit) = vectLiteral lit
 236
 237 vectExpr (_, AnnNote note expr)
 238   = liftM (vNote note) (vectExpr expr)
 239
 240 vectExpr e@(_, AnnApp _ arg)
 241   | isAnnTypeArg arg
 242   = vectTyAppExpr fn tys
 243   where
 244     (fn, tys) = collectAnnTypeArgs e
 245
 246 vectExpr (_, AnnApp (_, AnnVar v) (_, AnnLit lit))
 247   | Just con <- isDataConId_maybe v
 248   , is_special_con con
 249   = do
 250       let vexpr = App (Var v) (Lit lit)
 251       lexpr <- liftPA vexpr
 252       return (vexpr, lexpr)
 253   where
 254     is_special_con con = con `elem` [intDataCon, floatDataCon, doubleDataCon]
 255
 256
 257 vectExpr (_, AnnApp fn arg)
 258   = do
 259       arg_ty' <- vectType arg_ty
 260       res_ty' <- vectType res_ty
 261       fn'     <- vectExpr fn
 262       arg'    <- vectExpr arg
 263       mkClosureApp arg_ty' res_ty' fn' arg'
 264   where
 265     (arg_ty, res_ty) = splitFunTy . exprType $ deAnnotate fn
 266
 267 vectExpr (_, AnnCase scrut bndr ty alts)
 268   | Just (tycon, ty_args) <- splitTyConApp_maybe scrut_ty
 269   , isAlgTyCon tycon
 270   = vectAlgCase tycon ty_args scrut bndr ty alts
 271   where
 272     scrut_ty = exprType (deAnnotate scrut)
 273
 274 vectExpr (_, AnnCase expr bndr ty alts)
 275   = panic "vectExpr: case"
 276
 277 vectExpr (_, AnnLet (AnnNonRec bndr rhs) body)
 278   = do
 279       vrhs <- localV . inBind bndr $ vectPolyExpr rhs
 280       (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
 281       return $ vLet (vNonRec vbndr vrhs) vbody
 282
 283 vectExpr (_, AnnLet (AnnRec bs) body)
 284   = do
 285       (vbndrs, (vrhss, vbody)) <- vectBndrsIn bndrs
 286                                 $ liftM2 (,)
 287                                   (zipWithM vect_rhs bndrs rhss)
 288                                   (vectPolyExpr body)
 289       return $ vLet (vRec vbndrs vrhss) vbody
 290   where
 291     (bndrs, rhss) = unzip bs
 292
 293     vect_rhs bndr rhs = localV
 294                       . inBind bndr
 295                       $ vectExpr rhs
 296
 297 vectExpr e@(fvs, AnnLam bndr _)
 298   | not (isId bndr) = pprPanic "vectExpr" (ppr $ deAnnotate e)
 299   | otherwise = vectLam fvs bs body
 300   where
 301     (bs,body) = collectAnnValBinders e
 302
 303 vectExpr e = pprPanic "vectExpr" (ppr $ deAnnotate e)
 304
 305 vectLam :: VarSet -> [Var] -> CoreExprWithFVs -> VM VExpr
 306 vectLam fvs bs body
 307   = do
 308       tyvars <- localTyVars
 309       (vs, vvs) <- readLEnv $ \env ->
 310                    unzip [(var, vv) | var <- varSetElems fvs
 311                                     , Just vv <- [lookupVarEnv (local_vars env) var]]
 312
 313       arg_tys <- mapM (vectType . idType) bs
 314       res_ty  <- vectType (exprType $ deAnnotate body)
 315
 316       buildClosures tyvars vvs arg_tys res_ty
 317         . hoistPolyVExpr tyvars
 318         $ do
 319             lc <- builtin liftingContext
 320             (vbndrs, vbody) <- vectBndrsIn (vs ++ bs)
 321                                            (vectExpr body)
 322             return $ vLams lc vbndrs vbody
 323
 324 vectTyAppExpr :: CoreExprWithFVs -> [Type] -> VM VExpr
 325 vectTyAppExpr (_, AnnVar v) tys = vectPolyVar v tys
 326 vectTyAppExpr e tys = pprPanic "vectTyAppExpr" (ppr $ deAnnotate e)
 327
 328 type CoreAltWithFVs = AnnAlt Id VarSet
 329
 330 -- We convert
 331 --
 332 --   case e :: t of v { ... }
 333 --
 334 -- to
 335 --
 336 --   V:    let v' = e in case v' of _ { ... }
 337 --   L:    let v' = e in case v' `cast` ... of _ { ... }
 338 --
 339 -- When lifting, we have to do it this way because v must have the type
 340 -- [:V(T):] but the scrutinee must be cast to the representation type. We also
 341 -- have to handle the case where v is a wild var correctly.
 342 --
 343
 344 -- FIXME: this is too lazy
 345 vectAlgCase tycon ty_args scrut bndr ty [(DEFAULT, [], body)]
 346   = do
 347       vscrut <- vectExpr scrut
 348       vty    <- vectType ty
 349       lty    <- mkPArrayType vty
 350       (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
 351       return $ vCaseDEFAULT vscrut vbndr vty lty vbody
 352
 353 vectAlgCase tycon ty_args scrut bndr ty [(DataAlt dc, [], body)]
 354   = do
 355       vscrut <- vectExpr scrut
 356       vty    <- vectType ty
 357       lty    <- mkPArrayType vty
 358       (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
 359       return $ vCaseDEFAULT vscrut vbndr vty lty vbody
 360
 361 vectAlgCase tycon ty_args scrut bndr ty [(DataAlt dc, bndrs, body)]
 362   = do
 363       vect_tc <- maybeV (lookupTyCon tycon)
 364       vty <- vectType ty
 365       lty <- mkPArrayType vty
 366       vexpr <- vectExpr scrut
 367       (vbndr, (vbndrs, vbody)) <- vect_scrut_bndr
 368                                 . vectBndrsIn bndrs
 369                                 $ vectExpr body
 370
 371       (vscrut, arr_tc, arg_tys) <- mkVScrut (vVar vbndr)
 372       vect_dc <- maybeV (lookupDataCon dc)
 373       let [arr_dc] = tyConDataCons arr_tc
 374       repr <- mkRepr vect_tc
 375       shape_bndrs <- arrShapeVars repr
 376       return . vLet (vNonRec vbndr vexpr)
 377              $ vCaseProd vscrut vty lty vect_dc arr_dc shape_bndrs vbndrs vbody
 378   where
 379     vect_scrut_bndr | isDeadBinder bndr = vectBndrNewIn bndr FSLIT("scrut")
 380                     | otherwise         = vectBndrIn bndr
 381
 382 vectAlgCase tycon ty_args scrut bndr ty alts
 383   = do
 384       vect_tc <- maybeV (lookupTyCon tycon)
 385       vty               <- vectType ty
 386       lty               <- mkPArrayType vty
 387
 388       repr        <- mkRepr vect_tc
 389       shape_bndrs <- arrShapeVars repr
 390       (len, sel, indices) <- arrSelector repr (map Var shape_bndrs)
 391
 392       (vbndr, valts) <- vect_scrut_bndr $ mapM (proc_alt sel vty lty) alts'
 393       let (vect_dcs, vect_bndrss, lift_bndrss, vbodies) = unzip4 valts
 394
 395       vexpr <- vectExpr scrut
 396       (vscrut, arr_tc, arg_tys) <- mkVScrut (vVar vbndr)
 397       let [arr_dc] = tyConDataCons arr_tc
 398
 399       let (vect_scrut,  lift_scrut)  = vscrut
 400           (vect_bodies, lift_bodies) = unzip vbodies
 401
 402       let vect_case = Case vect_scrut (mkWildId (exprType vect_scrut)) vty
 403                            (zipWith3 mk_vect_alt vect_dcs vect_bndrss vect_bodies)
 404
 405       lbody <- combinePA vty len sel indices lift_bodies
 406       let lift_case = Case lift_scrut (mkWildId (exprType lift_scrut)) lty
 407                            [(DataAlt arr_dc, shape_bndrs ++ concat lift_bndrss,
 408                              lbody)]
 409
 410       return . vLet (vNonRec vbndr vexpr)
 411              $ (vect_case, lift_case)
 412   where
 413     vect_scrut_bndr | isDeadBinder bndr = vectBndrNewIn bndr FSLIT("scrut")
 414                     | otherwise         = vectBndrIn bndr
 415
 416     alts' = sortBy (\(alt1, _, _) (alt2, _, _) -> cmp alt1 alt2) alts
 417
 418     cmp (DataAlt dc1) (DataAlt dc2) = dataConTag dc1 `compare` dataConTag dc2
 419     cmp DEFAULT       DEFAULT       = EQ
 420     cmp DEFAULT       _             = LT
 421     cmp _             DEFAULT       = GT
 422
 423     proc_alt sel vty lty (DataAlt dc, bndrs, body)
 424       = do
 425           vect_dc <- maybeV (lookupDataCon dc)
 426           let tag = mkDataConTag vect_dc
 427               fvs = freeVarsOf body `delVarSetList` bndrs
 428           (vect_bndrs, lift_bndrs, vbody)
 429             <- vect_alt_bndrs bndrs
 430              $ \len -> packLiftingContext len sel tag fvs vty lty
 431              $ vectExpr body
 432
 433           return (vect_dc, vect_bndrs, lift_bndrs, vbody)
 434
 435     vect_alt_bndrs [] p
 436       = do
 437           void_tc <- builtin voidTyCon
 438           let void_ty = mkTyConApp void_tc []
 439           arr_ty <- mkPArrayType void_ty
 440           bndr   <- newLocalVar FSLIT("voids") arr_ty
 441           len    <- lengthPA void_ty (Var bndr)
 442           e      <- p len
 443           return ([], [bndr], e)
 444
 445     vect_alt_bndrs bndrs p
 446        = localV
 447        $ do
 448            vbndrs <- mapM vectBndr bndrs
 449            let (vect_bndrs, lift_bndrs) = unzip vbndrs
 450                vv : _ = vect_bndrs
 451                lv : _ = lift_bndrs
 452            len <- lengthPA (idType vv) (Var lv)
 453            e   <- p len
 454            return (vect_bndrs, lift_bndrs, e)
 455
 456     mk_vect_alt vect_dc bndrs body = (DataAlt vect_dc, bndrs, body)
 457
 458 packLiftingContext :: CoreExpr -> CoreExpr -> CoreExpr -> VarSet
 459                    -> Type -> Type -> VM VExpr -> VM VExpr
 460 packLiftingContext len shape tag fvs vty lty p
 461   = do
 462       select <- builtin selectPAIntPrimVar
 463       let sel_expr = mkApps (Var select) [shape, tag]
 464       sel_var <- newLocalVar FSLIT("sel#") (exprType sel_expr)
 465       lc_var <- builtin liftingContext
 466       localV $
 467         do
 468           bnds <- mapM (packFreeVar (Var lc_var) (Var sel_var))
 469                 . filter isLocalId
 470                 $ varSetElems fvs
 471           (vexpr, lexpr) <- p
 472           empty <- emptyPA vty
 473           return (vexpr, Let (NonRec sel_var sel_expr)
 474                          . mkLets (concat bnds)
 475                          $ Case len lc_var lty
 476                              [(DEFAULT, [], lexpr),
 477                               (LitAlt (mkMachInt 0), [], empty)])
 478
 479 packFreeVar :: CoreExpr -> CoreExpr -> Var -> VM [CoreBind]
 480 packFreeVar len sel v
 481   = do
 482       r <- lookupVar v
 483       case r of
 484         Local (vv,lv) ->
 485           do
 486             lv' <- cloneVar lv
 487             expr <- packPA (idType vv) (Var lv) len sel
 488             updLEnv (upd vv lv')
 489             return [(NonRec lv' expr)]
 490
 491         _  -> return []
 492   where
 493     upd vv lv' env = env { local_vars = extendVarEnv (local_vars env) v (vv, lv') }
 494