Make Vectorise warning-free
[ghc-hetmet.git] / compiler / vectorise / Vectorise.hs
index 796a265..46aa9a8 100644 (file)
@@ -1,10 +1,11 @@
+
 module Vectorise( vectorise )
 where
 
-#include "HsVersions.h"
-
 import VectMonad
 import VectUtils
+import VectType
+import VectCore
 
 import DynFlags
 import HscTypes
@@ -13,230 +14,452 @@ import CoreLint             ( showPass, endPass )
 import CoreSyn
 import CoreUtils
 import CoreFVs
+import SimplMonad           ( SimplCount, zeroSimplCount )
+import Rules                ( RuleBase )
+import DataCon
 import TyCon
 import Type
-import TypeRep
+import FamInstEnv           ( extendFamInstEnvList )
 import Var
 import VarEnv
-import Name                 ( mkSysTvName )
-import NameEnv
+import VarSet
 import Id
+import OccName
 
-import DsMonad hiding (mapAndUnzipM)
+import DsMonad
 
-import PrelNames
+import Literal              ( Literal, mkMachInt )
+import TysWiredIn
 
 import Outputable
 import FastString
-import Control.Monad        ( liftM, liftM2, mapAndUnzipM, zipWithM_ )
-import Data.Maybe           ( maybeToList )
+import Control.Monad        ( liftM, liftM2, zipWithM )
+import Data.List            ( sortBy, unzip4 )
 
-vectorise :: HscEnv -> ModGuts -> IO ModGuts
-vectorise hsc_env guts
-  | not (Opt_Vectorise `dopt` dflags) = return guts
-  | otherwise
+vectorise :: HscEnv -> UniqSupply -> RuleBase -> ModGuts
+          -> IO (SimplCount, ModGuts)
+vectorise hsc_env _ _ guts
   = do
       showPass dflags "Vectorisation"
       eps <- hscEPS hsc_env
       let info = hptVectInfo hsc_env `plusVectInfo` eps_vect_info eps
       Just (info', guts') <- initV hsc_env guts info (vectModule guts)
       endPass dflags "Vectorisation" Opt_D_dump_vect (mg_binds guts')
-      return $ guts' { mg_vect_info = info' }
+      return (zeroSimplCount dflags, guts' { mg_vect_info = info' })
   where
     dflags = hsc_dflags hsc_env
 
 vectModule :: ModGuts -> VM ModGuts
-vectModule guts = return guts
+vectModule guts
+  = do
+      (types', fam_insts, tc_binds) <- vectTypeEnv (mg_types guts)
+
+      let fam_inst_env' = extendFamInstEnvList (mg_fam_inst_env guts) fam_insts
+      updGEnv (setFamInstEnv fam_inst_env')
+
+      -- dicts   <- mapM buildPADict pa_insts
+      -- workers <- mapM vectDataConWorkers pa_insts
+      binds'  <- mapM vectTopBind (mg_binds guts)
+      return $ guts { mg_types        = types'
+                    , mg_binds        = Rec tc_binds : binds'
+                    , mg_fam_inst_env = fam_inst_env'
+                    , mg_fam_insts    = mg_fam_insts guts ++ fam_insts
+                    }
+
+vectTopBind :: CoreBind -> VM CoreBind
+vectTopBind b@(NonRec var expr)
+  = do
+      var'  <- vectTopBinder var
+      expr' <- vectTopRhs var expr
+      hs    <- takeHoisted
+      cexpr <- tryConvert var var' expr
+      return . Rec $ (var, cexpr) : (var', expr') : hs
+  `orElseV`
+    return b
+
+vectTopBind b@(Rec bs)
+  = do
+      vars'  <- mapM vectTopBinder vars
+      exprs' <- zipWithM vectTopRhs vars exprs
+      hs     <- takeHoisted
+      cexprs <- sequence $ zipWith3 tryConvert vars vars' exprs
+      return . Rec $ zip vars cexprs ++ zip vars' exprs' ++ hs
+  `orElseV`
+    return b
+  where
+    (vars, exprs) = unzip bs
+
+vectTopBinder :: Var -> VM Var
+vectTopBinder var
+  = do
+      vty  <- vectType (idType var)
+      var' <- cloneId mkVectOcc var vty
+      defGlobalVar var var'
+      return var'
+
+vectTopRhs :: Var -> CoreExpr -> VM CoreExpr
+vectTopRhs var expr
+  = do
+      closedV . liftM vectorised
+              . inBind var
+              $ vectPolyExpr (freeVars expr)
+
+tryConvert :: Var -> Var -> CoreExpr -> VM CoreExpr
+tryConvert var vect_var rhs
+  = fromVect (idType var) (Var vect_var) `orElseV` return rhs
 
 -- ----------------------------------------------------------------------------
 -- Bindings
 
-vectBndr :: Var -> VM (Var, Var)
+vectBndr :: Var -> VM VVar
 vectBndr v
   = do
-      vty <- vectType (idType v)
-      lty <- mkPArrayType vty
+      (vty, lty) <- vectAndLiftType (idType v)
       let vv = v `Id.setIdType` vty
           lv = v `Id.setIdType` lty
       updLEnv (mapTo vv lv)
       return (vv, lv)
   where
-    mapTo vv lv env = env { local_vars = extendVarEnv (local_vars env) v (Var vv, Var lv) }
+    mapTo vv lv env = env { local_vars = extendVarEnv (local_vars env) v (vv, lv) }
 
-vectBndrIn :: Var -> VM a -> VM (Var, Var, a)
+vectBndrNew :: Var -> FastString -> VM VVar
+vectBndrNew v fs
+  = do
+      vty <- vectType (idType v)
+      vv  <- newLocalVVar fs vty
+      updLEnv (upd vv)
+      return vv
+  where
+    upd vv env = env { local_vars = extendVarEnv (local_vars env) v vv }
+
+vectBndrIn :: Var -> VM a -> VM (VVar, a)
 vectBndrIn v p
   = localV
   $ do
-      (vv, lv) <- vectBndr v
+      vv <- vectBndr v
       x <- p
-      return (vv, lv, x)
+      return (vv, x)
+
+vectBndrNewIn :: Var -> FastString -> VM a -> VM (VVar, a)
+vectBndrNewIn v fs p
+  = localV
+  $ do
+      vv <- vectBndrNew v fs
+      x  <- p
+      return (vv, x)
 
-vectBndrsIn :: [Var] -> VM a -> VM ([Var], [Var], a)
+vectBndrsIn :: [Var] -> VM a -> VM ([VVar], a)
 vectBndrsIn vs p
   = localV
   $ do
-      (vvs, lvs) <- mapAndUnzipM vectBndr vs
+      vvs <- mapM vectBndr vs
       x <- p
-      return (vvs, lvs, x)
+      return (vvs, x)
 
 -- ----------------------------------------------------------------------------
 -- Expressions
 
-replicateP :: CoreExpr -> CoreExpr -> VM CoreExpr
-replicateP expr len
+vectVar :: Var -> VM VExpr
+vectVar v
   = do
-      dict <- paDictOfType ty
-      rep  <- builtin replicatePAVar
-      return $ mkApps (Var rep) [Type ty, dict, expr, len]
-  where
-    ty = exprType expr
+      r <- lookupVar v
+      case r of
+        Local (vv,lv) -> return (Var vv, Var lv)
+        Global vv     -> do
+                           let vexpr = Var vv
+                           lexpr <- liftPA vexpr
+                           return (vexpr, lexpr)
+
+vectPolyVar :: Var -> [Type] -> VM VExpr
+vectPolyVar v tys
+  = do
+      vtys <- mapM vectType tys
+      r <- lookupVar v
+      case r of
+        Local (vv, lv) -> liftM2 (,) (polyApply (Var vv) vtys)
+                                     (polyApply (Var lv) vtys)
+        Global poly    -> do
+                            vexpr <- polyApply (Var poly) vtys
+                            lexpr <- liftPA vexpr
+                            return (vexpr, lexpr)
 
-capply :: (CoreExpr, CoreExpr) -> (CoreExpr, CoreExpr) -> VM (CoreExpr, CoreExpr)
-capply (vfn, lfn) (varg, larg)
+vectLiteral :: Literal -> VM VExpr
+vectLiteral lit
   = do
-      apply  <- builtin applyClosureVar
-      applyP <- builtin applyClosurePVar
-      return (mkApps (Var apply)  [Type arg_ty, Type res_ty, vfn, varg],
-              mkApps (Var applyP) [Type arg_ty, Type res_ty, lfn, larg])
+      lexpr <- liftPA (Lit lit)
+      return (Lit lit, lexpr)
+
+vectPolyExpr :: CoreExprWithFVs -> VM VExpr
+vectPolyExpr (_, AnnNote note expr)
+  = liftM (vNote note) $ vectPolyExpr expr
+vectPolyExpr expr
+  = polyAbstract tvs $ \abstract ->
+    do
+      mono' <- vectExpr mono
+      return $ mapVect abstract mono'
   where
-    fn_ty            = exprType vfn
-    (arg_ty, res_ty) = splitClosureTy fn_ty
+    (tvs, mono) = collectAnnTypeBinders expr
+
+vectExpr :: CoreExprWithFVs -> VM VExpr
+vectExpr (_, AnnType ty)
+  = liftM vType (vectType ty)
+
+vectExpr (_, AnnVar v) = vectVar v
+
+vectExpr (_, AnnLit lit) = vectLiteral lit
+
+vectExpr (_, AnnNote note expr)
+  = liftM (vNote note) (vectExpr expr)
 
-vectVar :: CoreExpr -> Var -> VM (CoreExpr, CoreExpr)
-vectVar lc v = local v `orElseV` global v
+vectExpr e@(_, AnnApp _ arg)
+  | isAnnTypeArg arg
+  = vectTyAppExpr fn tys
   where
-    local  v = maybeV (readLEnv $ \env -> lookupVarEnv (local_vars env) v)
-    global v = do
-                 vexpr <- maybeV (readGEnv $ \env -> lookupVarEnv (global_vars env) v)
-                 lexpr <- replicateP vexpr lc
-                 return (vexpr, lexpr)
+    (fn, tys) = collectAnnTypeArgs e
 
-vectPolyVar :: CoreExpr -> Var -> [Type] -> VM (CoreExpr, CoreExpr)
-vectPolyVar lc v tys
+vectExpr (_, AnnApp (_, AnnVar v) (_, AnnLit lit))
+  | Just con <- isDataConId_maybe v
+  , is_special_con con
   = do
-      r <- readLEnv $ \env -> lookupVarEnv (local_vars env) v
-      case r of
-        Just (vexpr, lexpr) -> liftM2 (,) (mk_app vexpr) (mk_app lexpr)
-        Nothing ->
-          do
-            poly  <- maybeV (readGEnv $ \env -> lookupVarEnv (global_vars env) v)
-            vexpr <- mk_app poly
-            lexpr <- replicateP vexpr lc
-            return (vexpr, lexpr)
+      let vexpr = App (Var v) (Lit lit)
+      lexpr <- liftPA vexpr
+      return (vexpr, lexpr)
   where
-    mk_app e = do
-                 vtys  <- mapM vectType tys
-                 dicts <- mapM paDictOfType vtys
-                 return $ mkApps e [arg | (vty, dict) <- zip vtys dicts
-                                        , arg <- [Type vty, dict]]
-
-vectPolyExpr :: CoreExpr -> CoreExprWithFVs -> VM (CoreExpr, CoreExpr)
-vectPolyExpr lc expr
-  = do
-      mdicts <- mapM mk_dict_var tvs
-      
-      -- FIXME: shadowing (tvs in lc)
-      (vmono, lmono) <- localV
-                      $ do
-                          zipWithM_ (\tv -> maybe (deleteTyVarPA tv) (extendTyVarPA tv . Var))
-                                    tvs mdicts
-                          vectExpr lc mono
-      return (mk_lams tvs mdicts vmono, mk_lams tvs mdicts lmono)
+    is_special_con con = con `elem` [intDataCon, floatDataCon, doubleDataCon]
+
+
+vectExpr (_, AnnApp fn arg)
+  = do
+      arg_ty' <- vectType arg_ty
+      res_ty' <- vectType res_ty
+      fn'     <- vectExpr fn
+      arg'    <- vectExpr arg
+      mkClosureApp arg_ty' res_ty' fn' arg'
   where
-    (tvs, mono) = collectAnnTypeBinders expr
+    (arg_ty, res_ty) = splitFunTy . exprType $ deAnnotate fn
 
-    mk_dict_var tv = do
-                       r <- paDictArgType tv
-                       case r of
-                         Just ty -> liftM Just (newLocalVar FSLIT("dPA") ty)
-                         Nothing -> return Nothing
-
-    mk_lams tvs mdicts = mkLams [arg | (tv, mdict) <- zip tvs mdicts
-                                     , arg <- tv : maybeToList mdict]
-                
-vectExpr :: CoreExpr -> CoreExprWithFVs -> VM (CoreExpr, CoreExpr)
-vectExpr lc (_, AnnType ty)
-  = do
-      vty <- vectType ty
-      return (Type vty, Type vty)
-vectExpr lc (_, AnnVar v)   = vectVar lc v
-vectExpr lc (_, AnnLit lit)
-  = do
-      let vexpr = Lit lit
-      lexpr <- replicateP vexpr lc
-      return (vexpr, lexpr)
-vectExpr lc (_, AnnNote note expr)
+vectExpr (_, AnnCase scrut bndr ty alts)
+  | Just (tycon, ty_args) <- splitTyConApp_maybe scrut_ty
+  , isAlgTyCon tycon
+  = vectAlgCase tycon ty_args scrut bndr ty alts
+  where
+    scrut_ty = exprType (deAnnotate scrut)
+
+vectExpr (_, AnnCase _ _ _ _)
+  = panic "vectExpr: case"
+
+vectExpr (_, AnnLet (AnnNonRec bndr rhs) body)
   = do
-      (vexpr, lexpr) <- vectExpr lc expr
-      return (Note note vexpr, Note note lexpr)
-vectExpr lc e@(_, AnnApp _ arg)
-  | isAnnTypeArg arg
-  = vectTyAppExpr lc fn tys
+      vrhs <- localV . inBind bndr $ vectPolyExpr rhs
+      (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
+      return $ vLet (vNonRec vbndr vrhs) vbody
+
+vectExpr (_, AnnLet (AnnRec bs) body)
+  = do
+      (vbndrs, (vrhss, vbody)) <- vectBndrsIn bndrs
+                                $ liftM2 (,)
+                                  (zipWithM vect_rhs bndrs rhss)
+                                  (vectPolyExpr body)
+      return $ vLet (vRec vbndrs vrhss) vbody
   where
-    (fn, tys) = collectAnnTypeArgs e
-vectExpr lc (_, AnnApp fn arg)
+    (bndrs, rhss) = unzip bs
+
+    vect_rhs bndr rhs = localV
+                      . inBind bndr
+                      $ vectExpr rhs
+
+vectExpr e@(fvs, AnnLam bndr _)
+  | not (isId bndr) = pprPanic "vectExpr" (ppr $ deAnnotate e)
+  | otherwise = vectLam fvs bs body
+  where
+    (bs,body) = collectAnnValBinders e
+
+vectExpr e = pprPanic "vectExpr" (ppr $ deAnnotate e)
+
+vectLam :: VarSet -> [Var] -> CoreExprWithFVs -> VM VExpr
+vectLam fvs bs body
   = do
-      fn'  <- vectExpr lc fn
-      arg' <- vectExpr lc arg
-      capply fn' arg'
-vectExpr lc (_, AnnCase expr bndr ty alts)
-  = panic "vectExpr: case"
-vectExpr lc (_, AnnLet (AnnNonRec bndr rhs) body)
+      tyvars <- localTyVars
+      (vs, vvs) <- readLEnv $ \env ->
+                   unzip [(var, vv) | var <- varSetElems fvs
+                                    , Just vv <- [lookupVarEnv (local_vars env) var]]
+
+      arg_tys <- mapM (vectType . idType) bs
+      res_ty  <- vectType (exprType $ deAnnotate body)
+
+      buildClosures tyvars vvs arg_tys res_ty
+        . hoistPolyVExpr tyvars
+        $ do
+            lc <- builtin liftingContext
+            (vbndrs, vbody) <- vectBndrsIn (vs ++ bs)
+                                           (vectExpr body)
+            return $ vLams lc vbndrs vbody
+
+vectTyAppExpr :: CoreExprWithFVs -> [Type] -> VM VExpr
+vectTyAppExpr (_, AnnVar v) tys = vectPolyVar v tys
+vectTyAppExpr e _ = pprPanic "vectTyAppExpr" (ppr $ deAnnotate e)
+
+-- We convert
+--
+--   case e :: t of v { ... }
+--
+-- to
+--
+--   V:    let v' = e in case v' of _ { ... }
+--   L:    let v' = e in case v' `cast` ... of _ { ... }
+--
+-- When lifting, we have to do it this way because v must have the type
+-- [:V(T):] but the scrutinee must be cast to the representation type. We also
+-- have to handle the case where v is a wild var correctly.
+--
+
+-- FIXME: this is too lazy
+vectAlgCase :: TyCon -> [Type] -> CoreExprWithFVs -> Var -> Type
+            -> [(AltCon, [Var], CoreExprWithFVs)]
+            -> VM VExpr
+vectAlgCase _tycon _ty_args scrut bndr ty [(DEFAULT, [], body)]
   = do
-      (vrhs, lrhs) <- vectPolyExpr lc rhs
-      (vbndr, lbndr, (vbody, lbody)) <- vectBndrIn bndr (vectExpr lc body)
-      return (Let (NonRec vbndr vrhs) vbody,
-              Let (NonRec lbndr lrhs) lbody)
-vectExpr lc (_, AnnLet (AnnRec prs) body)
+      vscrut         <- vectExpr scrut
+      (vty, lty)     <- vectAndLiftType ty
+      (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
+      return $ vCaseDEFAULT vscrut vbndr vty lty vbody
+
+vectAlgCase _tycon _ty_args scrut bndr ty [(DataAlt _, [], body)]
   = do
-      (vbndrs, lbndrs, (vrhss, vbody, lrhss, lbody)) <- vectBndrsIn bndrs vect
-      return (Let (Rec (zip vbndrs vrhss)) vbody,
-              Let (Rec (zip lbndrs lrhss)) lbody)
+      vscrut         <- vectExpr scrut
+      (vty, lty)     <- vectAndLiftType ty
+      (vbndr, vbody) <- vectBndrIn bndr (vectExpr body)
+      return $ vCaseDEFAULT vscrut vbndr vty lty vbody
+
+vectAlgCase tycon _ty_args scrut bndr ty [(DataAlt dc, bndrs, body)]
+  = do
+      vect_tc    <- maybeV (lookupTyCon tycon)
+      (vty, lty) <- vectAndLiftType ty
+      vexpr      <- vectExpr scrut
+      (vbndr, (vbndrs, vbody)) <- vect_scrut_bndr
+                                . vectBndrsIn bndrs
+                                $ vectExpr body
+
+      (vscrut, arr_tc, _arg_tys) <- mkVScrut (vVar vbndr)
+      vect_dc <- maybeV (lookupDataCon dc)
+      let [arr_dc] = tyConDataCons arr_tc
+      repr <- mkRepr vect_tc
+      shape_bndrs <- arrShapeVars repr
+      return . vLet (vNonRec vbndr vexpr)
+             $ vCaseProd vscrut vty lty vect_dc arr_dc shape_bndrs vbndrs vbody
   where
-    (bndrs, rhss) = unzip prs
-    
-    vect = do
-             (vrhss, lrhss) <- mapAndUnzipM (vectExpr lc) rhss
-             (vbody, lbody) <- vectPolyExpr lc body
-             return (vrhss, vbody, lrhss, lbody)
-vectExpr lc e@(_, AnnLam bndr body)
-  | isTyVar bndr = pprPanic "vectExpr" (ppr $ deAnnotate e)
-
-vectTyAppExpr :: CoreExpr -> CoreExprWithFVs -> [Type] -> VM (CoreExpr, CoreExpr)
-vectTyAppExpr lc (_, AnnVar v) tys = vectPolyVar lc v tys
-vectTyAppExpr lc e tys = pprPanic "vectTyAppExpr" (ppr $ deAnnotate e)
+    vect_scrut_bndr | isDeadBinder bndr = vectBndrNewIn bndr (fsLit "scrut")
+                    | otherwise         = vectBndrIn bndr
 
--- ----------------------------------------------------------------------------
--- Types
-
-vectTyCon :: TyCon -> VM TyCon
-vectTyCon tc
-  | isFunTyCon tc        = builtin closureTyCon
-  | isBoxedTupleTyCon tc = return tc
-  | isUnLiftedTyCon tc   = return tc
-  | otherwise = do
-                  r <- lookupTyCon tc
-                  case r of
-                    Just tc' -> return tc'
-
-                    -- FIXME: just for now
-                    Nothing  -> pprTrace "ccTyCon:" (ppr tc) $ return tc
-
-vectType :: Type -> VM Type
-vectType ty | Just ty' <- coreView ty = vectType ty
-vectType (TyVarTy tv) = return $ TyVarTy tv
-vectType (AppTy ty1 ty2) = liftM2 AppTy (vectType ty1) (vectType ty2)
-vectType (TyConApp tc tys) = liftM2 TyConApp (vectTyCon tc) (mapM vectType tys)
-vectType (FunTy ty1 ty2)   = liftM2 TyConApp (builtin closureTyCon)
-                                             (mapM vectType [ty1,ty2])
-vectType (ForAllTy tv ty)
-  = do
-      r   <- paDictArgType tv
-      ty' <- vectType ty
-      return $ ForAllTy tv (wrap r ty')
+vectAlgCase tycon _ty_args scrut bndr ty alts
+  = do
+      vect_tc     <- maybeV (lookupTyCon tycon)
+      (vty, lty)  <- vectAndLiftType ty
+      repr        <- mkRepr vect_tc
+      shape_bndrs <- arrShapeVars repr
+      (len, sel, indices) <- arrSelector repr (map Var shape_bndrs)
+
+      (vbndr, valts) <- vect_scrut_bndr $ mapM (proc_alt sel vty lty) alts'
+      let (vect_dcs, vect_bndrss, lift_bndrss, vbodies) = unzip4 valts
+
+      vexpr <- vectExpr scrut
+      (vscrut, arr_tc, _arg_tys) <- mkVScrut (vVar vbndr)
+      let [arr_dc] = tyConDataCons arr_tc
+
+      let (vect_scrut,  lift_scrut)  = vscrut
+          (vect_bodies, lift_bodies) = unzip vbodies
+
+      let vect_case = Case vect_scrut (mkWildId (exprType vect_scrut)) vty
+                           (zipWith3 mk_vect_alt vect_dcs vect_bndrss vect_bodies)
+
+      lbody <- combinePA vty len sel indices lift_bodies
+      let lift_case = Case lift_scrut (mkWildId (exprType lift_scrut)) lty
+                           [(DataAlt arr_dc, shape_bndrs ++ concat lift_bndrss,
+                             lbody)]
+
+      return . vLet (vNonRec vbndr vexpr)
+             $ (vect_case, lift_case)
   where
-    wrap Nothing      = id
-    wrap (Just pa_ty) = FunTy pa_ty
+    vect_scrut_bndr | isDeadBinder bndr = vectBndrNewIn bndr (fsLit "scrut")
+                    | otherwise         = vectBndrIn bndr
+
+    alts' = sortBy (\(alt1, _, _) (alt2, _, _) -> cmp alt1 alt2) alts
+
+    cmp (DataAlt dc1) (DataAlt dc2) = dataConTag dc1 `compare` dataConTag dc2
+    cmp DEFAULT       DEFAULT       = EQ
+    cmp DEFAULT       _             = LT
+    cmp _             DEFAULT       = GT
+    cmp _             _             = panic "vectAlgCase/cmp"
+
+    proc_alt sel vty lty (DataAlt dc, bndrs, body)
+      = do
+          vect_dc <- maybeV (lookupDataCon dc)
+          let tag = mkDataConTag vect_dc
+              fvs = freeVarsOf body `delVarSetList` bndrs
+          (vect_bndrs, lift_bndrs, vbody)
+            <- vect_alt_bndrs bndrs
+             $ \len -> packLiftingContext len sel tag fvs vty lty
+             $ vectExpr body
 
-vectType ty = pprPanic "vectType:" (ppr ty)
+          return (vect_dc, vect_bndrs, lift_bndrs, vbody)
+    proc_alt _ _ _ _ = panic "vectAlgCase/proc_alt"
+
+    vect_alt_bndrs [] p
+      = do
+          void_tc <- builtin voidTyCon
+          let void_ty = mkTyConApp void_tc []
+          arr_ty <- mkPArrayType void_ty
+          bndr   <- newLocalVar (fsLit "voids") arr_ty
+          len    <- lengthPA void_ty (Var bndr)
+          e      <- p len
+          return ([], [bndr], e)
+
+    vect_alt_bndrs bndrs p
+       = localV
+       $ do
+           vbndrs <- mapM vectBndr bndrs
+           let (vect_bndrs, lift_bndrs) = unzip vbndrs
+               vv : _ = vect_bndrs
+               lv : _ = lift_bndrs
+           len <- lengthPA (idType vv) (Var lv)
+           e   <- p len
+           return (vect_bndrs, lift_bndrs, e)
+
+    mk_vect_alt vect_dc bndrs body = (DataAlt vect_dc, bndrs, body)
+
+packLiftingContext :: CoreExpr -> CoreExpr -> CoreExpr -> VarSet
+                   -> Type -> Type -> VM VExpr -> VM VExpr
+packLiftingContext len shape tag fvs vty lty p
+  = do
+      select <- builtin selectPAIntPrimVar
+      let sel_expr = mkApps (Var select) [shape, tag]
+      sel_var <- newLocalVar (fsLit "sel#") (exprType sel_expr)
+      lc_var <- builtin liftingContext
+      localV $
+        do
+          bnds <- mapM (packFreeVar (Var lc_var) (Var sel_var))
+                . filter isLocalId
+                $ varSetElems fvs
+          (vexpr, lexpr) <- p
+          empty <- emptyPA vty
+          return (vexpr, Let (NonRec sel_var sel_expr)
+                         $ Case len lc_var lty
+                             [(DEFAULT, [], mkLets (concat bnds) lexpr),
+                              (LitAlt (mkMachInt 0), [], empty)])
+
+packFreeVar :: CoreExpr -> CoreExpr -> Var -> VM [CoreBind]
+packFreeVar len sel v
+  = do
+      r <- lookupVar v
+      case r of
+        Local (vv,lv) ->
+          do
+            lv' <- cloneVar lv
+            expr <- packPA (idType vv) (Var lv) len sel
+            updLEnv (upd vv lv')
+            return [(NonRec lv' expr)]
+
+        _  -> return []
+  where
+    upd vv lv' env = env { local_vars = extendVarEnv (local_vars env) v (vv, lv') }