compiler/vectorise/Vectorise.hs

   1
   2 module Vectorise( vectorise )
   3 where
   4
   5 import VectMonad
   6 import VectUtils
   7 import VectType
   8 import VectCore
   9
  10 import HscTypes hiding      ( MonadThings(..) )
  11
  12 import Module               ( PackageId )
  13 import CoreSyn
  14 import CoreUtils
  15 import CoreFVs
  16 import CoreMonad            ( CoreM, getHscEnv, liftIO )
  17 import DataCon
  18 import TyCon
  19 import Type
  20 import FamInstEnv           ( extendFamInstEnvList )
  21 import Var
  22 import VarEnv
  23 import VarSet
  24 import Id
  25 import OccName
  26
  27 import DsMonad
  28
  29 import Literal              ( Literal, mkMachInt )
  30 import TysWiredIn
  31
  32 import Outputable
  33 import FastString
  34 import Control.Monad        ( liftM, liftM2, zipWithM )
  35 import Data.List            ( sortBy, unzip4 )
  36
  37 vectorise :: PackageId -> ModGuts -> CoreM ModGuts
  38 vectorise backend guts = do
  39     hsc_env <- getHscEnv
  40     liftIO $ vectoriseIO backend hsc_env guts
  41
  42 vectoriseIO :: PackageId -> HscEnv -> ModGuts -> IO ModGuts
  43 vectoriseIO backend hsc_env guts
  44   = do
  45       eps <- hscEPS hsc_env
  46       let info = hptVectInfo hsc_env `plusVectInfo` eps_vect_info eps
  47       Just (info', guts') <- initV backend hsc_env guts info (vectModule guts)
  48       return (guts' { mg_vect_info = info' })
  49
  50 vectModule :: ModGuts -> VM ModGuts
  51 vectModule guts
  52   = do
  53       (types', fam_insts, tc_binds) <- vectTypeEnv (mg_types guts)
  54
  55       let fam_inst_env' = extendFamInstEnvList (mg_fam_inst_env guts) fam_insts
  56       updGEnv (setFamInstEnv fam_inst_env')
  57
  58       -- dicts   <- mapM buildPADict pa_insts
  59       -- workers <- mapM vectDataConWorkers pa_insts
  60       binds'  <- mapM vectTopBind (mg_binds guts)
  61       return $ guts { mg_types        = types'
  62                     , mg_binds        = Rec tc_binds : binds'
  63                     , mg_fam_inst_env = fam_inst_env'
  64                     , mg_fam_insts    = mg_fam_insts guts ++ fam_insts
  65                     }
  66
  67 vectTopBind :: CoreBind -> VM CoreBind
  68 vectTopBind b@(NonRec var expr)
  69   = do
  70       var'  <- vectTopBinder var
  71       expr' <- vectTopRhs var expr
  72       hs    <- takeHoisted
  73       cexpr <- tryConvert var var' expr
  74       return . Rec $ (var, cexpr) : (var', expr') : hs
  75   `orElseV`
  76     return b
  77
  78 vectTopBind b@(Rec bs)
  79   = do
  80       vars'  <- mapM vectTopBinder vars
  81       exprs' <- zipWithM vectTopRhs vars exprs
  82       hs     <- takeHoisted
  83       cexprs <- sequence $ zipWith3 tryConvert vars vars' exprs
  84       return . Rec $ zip vars cexprs ++ zip vars' exprs' ++ hs
  85   `orElseV`
  86     return b
  87   where
  88     (vars, exprs) = unzip bs
  89
  90 vectTopBinder :: Var -> VM Var
  91 vectTopBinder var
  92   = do
  93       vty  <- vectType (idType var)
  94       var' <- cloneId mkVectOcc var vty
  95       defGlobalVar var var'
  96       return var'
  97
  98 vectTopRhs :: Var -> CoreExpr -> VM CoreExpr
  99 vectTopRhs var expr
 100   = do
 101       closedV . liftM vectorised
 102               . inBind var
 103               $ vectPolyExpr (freeVars expr)
 104
 105 tryConvert :: Var -> Var -> CoreExpr -> VM CoreExpr
 106 tryConvert var vect_var rhs
 107   = fromVect (idType var) (Var vect_var) `orElseV` return rhs
 108
 109 -- ----------------------------------------------------------------------------
 110 -- Bindings
 111
 112 vectBndr :: Var -> VM VVar
 113 vectBndr v
 114   = do
 115       (vty, lty) <- vectAndLiftType (idType v)
 116       let vv = v `Id.setIdType` vty
 117           lv = v `Id.setIdType` lty
 118       updLEnv (mapTo vv lv)
 119       return (vv, lv)
 120   where
 121     mapTo vv lv env = env { local_vars = extendVarEnv (local_vars env) v (vv, lv) }
 122
 123 vectBndrNew :: Var -> FastString -> VM VVar
 124 vectBndrNew v fs
 125   = do
 126       vty <- vectType (idType v)
 127       vv  <- newLocalVVar fs vty
 128       updLEnv (upd vv)
 129       return vv
 130   where
 131     upd vv env = env { local_vars = extendVarEnv (local_vars env) v vv }
 132
 133 vectBndrIn :: Var -> VM a -> VM (VVar, a)
 134 vectBndrIn v p
 135   = localV
 136   $ do
 137       vv <- vectBndr v
 138       x <- p
 139       return (vv, x)
 140
 141 vectBndrNewIn :: Var -> FastString -> VM a -> VM (VVar, a)
 142 vectBndrNewIn v fs p
 143   = localV
 144   $ do
 145       vv <- vectBndrNew v fs
 146       x  <- p
 147       return (vv, x)
 148
 149 vectBndrsIn :: [Var] -> VM a -> VM ([VVar], a)
 150 vectBndrsIn vs p
 151   = localV
 152   $ do
 153       vvs <- mapM vectBndr vs
 154       x <- p
 155       return (vvs, x)
 156
 157 -- ----------------------------------------------------------------------------
 158 -- Expressions
 159
 160 vectVar :: Var -> VM VExpr
 161 vectVar v
 162   = do
 163       r <- lookupVar v
 164       case r of
 165         Local (vv,lv) -> return (Var vv, Var lv)
 166         Global vv     -> do
 167                            let vexpr = Var vv
 168                            lexpr <- liftPA vexpr
 169                            return (vexpr, lexpr)
 170
 171 vectPolyVar :: Var -> [Type] -> VM VExpr
 172 vectPolyVar v tys
 173   = do
 174       vtys <- mapM vectType tys
 175       r <- lookupVar v
 176       case r of
 177         Local (vv, lv) -> liftM2 (,) (polyApply (Var vv) vtys)
 178                                      (polyApply (Var lv) vtys)
 179         Global poly    -> do
 180                             vexpr <- polyApply (Var poly) vtys
 181                             lexpr <- liftPA vexpr
 182                             return (vexpr, lexpr)
 183
 184 vectLiteral :: Literal -> VM VExpr
 185 vectLiteral lit
 186   = do
 187       lexpr <- liftPA (Lit lit)
 188       return (Lit lit, lexpr)
 189
 190 vectPolyExpr :: CoreExprWithFVs -> VM VExpr
 191 vectPolyExpr (_, AnnNote note expr)
 192   = liftM (vNote note) $ vectPolyExpr expr
 193 vectPolyExpr expr
 194   = polyAbstract tvs $ \abstract ->
 195     do
 196       mono' <- vectFnExpr False mono
 197       return $ mapVect abstract mono'
 198   where
 199     (tvs, mono) = collectAnnTypeBinders expr
 200
 201 vectExpr :: CoreExprWithFVs -> VM VExpr
 202 vectExpr (_, AnnType ty)
 203   = liftM vType (vectType ty)
 204
 205 vectExpr (_, AnnVar v) = vectVar v
 206
 207 vectExpr (_, AnnLit lit) = vectLiteral lit
 208
 209 vectExpr (_, AnnNote note expr)
 210   = liftM (vNote note) (vectExpr expr)
 211
 212 vectExpr e@(_, AnnApp _ arg)
 213   | isAnnTypeArg arg
 214   = vectTyAppExpr fn tys
 215   where
 216     (fn, tys) = collectAnnTypeArgs e
 217
 218 vectExpr (_, AnnApp (_, AnnVar v) (_, AnnLit lit))
 219   | Just con <- isDataConId_maybe v
 220   , is_special_con con
 221   = do
 222       let vexpr = App (Var v) (Lit lit)
 223       lexpr <- liftPA vexpr
 224       return (vexpr, lexpr)
 225   where
 226     is_special_con con = con `elem` [intDataCon, floatDataCon, doubleDataCon]
 227
 228
 229 vectExpr (_, AnnApp fn arg)
 230   = do
 231       arg_ty' <- vectType arg_ty
 232       res_ty' <- vectType res_ty
 233       fn'     <- vectExpr fn
 234       arg'    <- vectExpr arg
 235       mkClosureApp arg_ty' res_ty' fn' arg'
 236   where
 237     (arg_ty, res_ty) = splitFunTy . exprType $ deAnnotate fn
 238
 239 vectExpr (_, AnnCase scrut bndr ty alts)
 240   | Just (tycon, ty_args) <- splitTyConApp_maybe scrut_ty
 241   , isAlgTyCon tycon
 242   = vectAlgCase tycon ty_args scrut bndr ty alts
 243   where
 244     scrut_ty = exprType (deAnnotate scrut)
 245
 246 vectExpr (_, AnnLet (AnnNonRec bndr rhs) body)
 247   = do
 248       vrhs <- localV . inBind bndr $ vectPolyExpr rhs
 249       (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
 250       return $ vLet (vNonRec vbndr vrhs) vbody
 251
 252 vectExpr (_, AnnLet (AnnRec bs) body)
 253   = do
 254       (vbndrs, (vrhss, vbody)) <- vectBndrsIn bndrs
 255                                 $ liftM2 (,)
 256                                   (zipWithM vect_rhs bndrs rhss)
 257                                   (vectPolyExpr body)
 258       return $ vLet (vRec vbndrs vrhss) vbody
 259   where
 260     (bndrs, rhss) = unzip bs
 261
 262     vect_rhs bndr rhs = localV
 263                       . inBind bndr
 264                       $ vectExpr rhs
 265
 266 vectExpr e@(_, AnnLam bndr _)
 267   | isId bndr = vectFnExpr True e
 268 {-
 269 onlyIfV (isEmptyVarSet fvs) (vectScalarLam bs $ deAnnotate body)
 270                 `orElseV` vectLam True fvs bs body
 271   where
 272     (bs,body) = collectAnnValBinders e
 273 -}
 274
 275 vectExpr e = cantVectorise "Can't vectorise expression" (ppr $ deAnnotate e)
 276
 277 vectFnExpr :: Bool -> CoreExprWithFVs -> VM VExpr
 278 vectFnExpr inline e@(fvs, AnnLam bndr _)
 279   | isId bndr = onlyIfV (isEmptyVarSet fvs) (vectScalarLam bs $ deAnnotate body)
 280                 `orElseV` vectLam inline fvs bs body
 281   where
 282     (bs,body) = collectAnnValBinders e
 283 vectFnExpr _ e = vectExpr e
 284
 285
 286 vectScalarLam :: [Var] -> CoreExpr -> VM VExpr
 287 vectScalarLam args body
 288   = do
 289       scalars <- globalScalars
 290       onlyIfV (all is_scalar_ty arg_tys
 291                && is_scalar_ty res_ty
 292                && is_scalar (extendVarSetList scalars args) body)
 293         $ do
 294             fn_var <- hoistExpr (fsLit "fn") (mkLams args body)
 295             zipf <- zipScalars arg_tys res_ty
 296             clo <- scalarClosure arg_tys res_ty (Var fn_var)
 297                                                 (zipf `App` Var fn_var)
 298             clo_var <- hoistExpr (fsLit "clo") clo
 299             lclo <- liftPA (Var clo_var)
 300             return (Var clo_var, lclo)
 301   where
 302     arg_tys = map idType args
 303     res_ty  = exprType body
 304
 305     is_scalar_ty ty | Just (tycon, []) <- splitTyConApp_maybe ty
 306                     = tycon == intTyCon
 307                       || tycon == floatTyCon
 308                       || tycon == doubleTyCon
 309
 310                     | otherwise = False
 311
 312     is_scalar vs (Var v)     = v `elemVarSet` vs
 313     is_scalar _ e@(Lit _)    = is_scalar_ty $ exprType e
 314     is_scalar vs (App e1 e2) = is_scalar vs e1 && is_scalar vs e2
 315     is_scalar _ _            = False
 316
 317 vectLam :: Bool -> VarSet -> [Var] -> CoreExprWithFVs -> VM VExpr
 318 vectLam inline fvs bs body
 319   = do
 320       tyvars <- localTyVars
 321       (vs, vvs) <- readLEnv $ \env ->
 322                    unzip [(var, vv) | var <- varSetElems fvs
 323                                     , Just vv <- [lookupVarEnv (local_vars env) var]]
 324
 325       arg_tys <- mapM (vectType . idType) bs
 326       res_ty  <- vectType (exprType $ deAnnotate body)
 327
 328       buildClosures tyvars vvs arg_tys res_ty
 329         . hoistPolyVExpr tyvars
 330         $ do
 331             lc <- builtin liftingContext
 332             (vbndrs, vbody) <- vectBndrsIn (vs ++ bs)
 333                                            (vectExpr body)
 334             return . maybe_inline $ vLams lc vbndrs vbody
 335   where
 336     maybe_inline = if inline then vInlineMe else id
 337
 338 vectTyAppExpr :: CoreExprWithFVs -> [Type] -> VM VExpr
 339 vectTyAppExpr (_, AnnVar v) tys = vectPolyVar v tys
 340 vectTyAppExpr e tys = cantVectorise "Can't vectorise expression"
 341                         (ppr $ deAnnotate e `mkTyApps` tys)
 342
 343 -- We convert
 344 --
 345 --   case e :: t of v { ... }
 346 --
 347 -- to
 348 --
 349 --   V:    let v' = e in case v' of _ { ... }
 350 --   L:    let v' = e in case v' `cast` ... of _ { ... }
 351 --
 352 -- When lifting, we have to do it this way because v must have the type
 353 -- [:V(T):] but the scrutinee must be cast to the representation type. We also
 354 -- have to handle the case where v is a wild var correctly.
 355 --
 356
 357 -- FIXME: this is too lazy
 358 vectAlgCase :: TyCon -> [Type] -> CoreExprWithFVs -> Var -> Type
 359             -> [(AltCon, [Var], CoreExprWithFVs)]
 360             -> VM VExpr
 361 vectAlgCase _tycon _ty_args scrut bndr ty [(DEFAULT, [], body)]
 362   = do
 363       vscrut         <- vectExpr scrut
 364       (vty, lty)     <- vectAndLiftType ty
 365       (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
 366       return $ vCaseDEFAULT vscrut vbndr vty lty vbody
 367
 368 vectAlgCase _tycon _ty_args scrut bndr ty [(DataAlt _, [], body)]
 369   = do
 370       vscrut         <- vectExpr scrut
 371       (vty, lty)     <- vectAndLiftType ty
 372       (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
 373       return $ vCaseDEFAULT vscrut vbndr vty lty vbody
 374
 375 vectAlgCase tycon _ty_args scrut bndr ty [(DataAlt dc, bndrs, body)]
 376   = do
 377       vect_tc    <- maybeV (lookupTyCon tycon)
 378       (vty, lty) <- vectAndLiftType ty
 379       vexpr      <- vectExpr scrut
 380       (vbndr, (vbndrs, vbody)) <- vect_scrut_bndr
 381                                 . vectBndrsIn bndrs
 382                                 $ vectExpr body
 383
 384       (vscrut, arr_tc, _arg_tys) <- mkVScrut (vVar vbndr)
 385       vect_dc <- maybeV (lookupDataCon dc)
 386       let [arr_dc] = tyConDataCons arr_tc
 387       repr <- mkRepr vect_tc
 388       shape_bndrs <- arrShapeVars repr
 389       return . vLet (vNonRec vbndr vexpr)
 390              $ vCaseProd vscrut vty lty vect_dc arr_dc shape_bndrs vbndrs vbody
 391   where
 392     vect_scrut_bndr | isDeadBinder bndr = vectBndrNewIn bndr (fsLit "scrut")
 393                     | otherwise         = vectBndrIn bndr
 394
 395 vectAlgCase tycon _ty_args scrut bndr ty alts
 396   = do
 397       vect_tc     <- maybeV (lookupTyCon tycon)
 398       (vty, lty)  <- vectAndLiftType ty
 399       repr        <- mkRepr vect_tc
 400       shape_bndrs <- arrShapeVars repr
 401       (len, sel, indices) <- arrSelector repr (map Var shape_bndrs)
 402
 403       (vbndr, valts) <- vect_scrut_bndr $ mapM (proc_alt sel vty lty) alts'
 404       let (vect_dcs, vect_bndrss, lift_bndrss, vbodies) = unzip4 valts
 405
 406       vexpr <- vectExpr scrut
 407       (vscrut, arr_tc, _arg_tys) <- mkVScrut (vVar vbndr)
 408       let [arr_dc] = tyConDataCons arr_tc
 409
 410       let (vect_scrut,  lift_scrut)  = vscrut
 411           (vect_bodies, lift_bodies) = unzip vbodies
 412
 413       vdummy <- newDummyVar (exprType vect_scrut)
 414       ldummy <- newDummyVar (exprType lift_scrut)
 415       let vect_case = Case vect_scrut vdummy vty
 416                            (zipWith3 mk_vect_alt vect_dcs vect_bndrss vect_bodies)
 417
 418       lbody <- combinePA vty len sel indices lift_bodies
 419       let lift_case = Case lift_scrut ldummy lty
 420                            [(DataAlt arr_dc, shape_bndrs ++ concat lift_bndrss,
 421                              lbody)]
 422
 423       return . vLet (vNonRec vbndr vexpr)
 424              $ (vect_case, lift_case)
 425   where
 426     vect_scrut_bndr | isDeadBinder bndr = vectBndrNewIn bndr (fsLit "scrut")
 427                     | otherwise         = vectBndrIn bndr
 428
 429     alts' = sortBy (\(alt1, _, _) (alt2, _, _) -> cmp alt1 alt2) alts
 430
 431     cmp (DataAlt dc1) (DataAlt dc2) = dataConTag dc1 `compare` dataConTag dc2
 432     cmp DEFAULT       DEFAULT       = EQ
 433     cmp DEFAULT       _             = LT
 434     cmp _             DEFAULT       = GT
 435     cmp _             _             = panic "vectAlgCase/cmp"
 436
 437     proc_alt sel vty lty (DataAlt dc, bndrs, body)
 438       = do
 439           vect_dc <- maybeV (lookupDataCon dc)
 440           let tag = mkDataConTag vect_dc
 441               fvs = freeVarsOf body `delVarSetList` bndrs
 442           (vect_bndrs, lift_bndrs, vbody)
 443             <- vect_alt_bndrs bndrs
 444              $ \len -> packLiftingContext len sel tag fvs vty lty
 445              $ vectExpr body
 446
 447           return (vect_dc, vect_bndrs, lift_bndrs, vbody)
 448     proc_alt _ _ _ _ = panic "vectAlgCase/proc_alt"
 449
 450     vect_alt_bndrs [] p
 451       = do
 452           void_tc <- builtin voidTyCon
 453           let void_ty = mkTyConApp void_tc []
 454           arr_ty <- mkPArrayType void_ty
 455           bndr   <- newLocalVar (fsLit "voids") arr_ty
 456           len    <- lengthPA void_ty (Var bndr)
 457           e      <- p len
 458           return ([], [bndr], e)
 459
 460     vect_alt_bndrs bndrs p
 461        = localV
 462        $ do
 463            vbndrs <- mapM vectBndr bndrs
 464            let (vect_bndrs, lift_bndrs) = unzip vbndrs
 465                vv : _ = vect_bndrs
 466                lv : _ = lift_bndrs
 467            len <- lengthPA (idType vv) (Var lv)
 468            e   <- p len
 469            return (vect_bndrs, lift_bndrs, e)
 470
 471     mk_vect_alt vect_dc bndrs body = (DataAlt vect_dc, bndrs, body)
 472
 473 packLiftingContext :: CoreExpr -> CoreExpr -> CoreExpr -> VarSet
 474                    -> Type -> Type -> VM VExpr -> VM VExpr
 475 packLiftingContext len shape tag fvs vty lty p
 476   = do
 477       select <- builtin selectPAIntPrimVar
 478       let sel_expr = mkApps (Var select) [shape, tag]
 479       sel_var <- newLocalVar (fsLit "sel#") (exprType sel_expr)
 480       lc_var <- builtin liftingContext
 481       localV $
 482         do
 483           bnds <- mapM (packFreeVar (Var lc_var) (Var sel_var))
 484                 . filter isLocalId
 485                 $ varSetElems fvs
 486           (vexpr, lexpr) <- p
 487           empty <- emptyPA vty
 488           return (vexpr, Let (NonRec sel_var sel_expr)
 489                          $ Case len lc_var lty
 490                              [(DEFAULT, [], mkLets (concat bnds) lexpr),
 491                               (LitAlt (mkMachInt 0), [], empty)])
 492
 493 packFreeVar :: CoreExpr -> CoreExpr -> Var -> VM [CoreBind]
 494 packFreeVar len sel v
 495   = do
 496       r <- lookupVar v
 497       case r of
 498         Local (vv,lv) ->
 499           do
 500             lv' <- cloneVar lv
 501             expr <- packPA (idType vv) (Var lv) len sel
 502             updLEnv (upd vv lv')
 503             return [(NonRec lv' expr)]
 504
 505         _  -> return []
 506   where
 507     upd vv lv' env = env { local_vars = extendVarEnv (local_vars env) v (vv, lv') }
 508