GHC/IO/Encoding.hs

   1 {-# OPTIONS_GHC -fno-implicit-prelude -funbox-strict-fields #-}
   2 -----------------------------------------------------------------------------
   3 -- |
   4 -- Module      :  GHC.IO.Encoding
   5 -- Copyright   :  (c) The University of Glasgow, 2008-2009
   6 -- License     :  see libraries/base/LICENSE
   7 --
   8 -- Maintainer  :  libraries@haskell.org
   9 -- Stability   :  internal
  10 -- Portability :  non-portable
  11 --
  12 -- Text codecs for I/O
  13 --
  14 -----------------------------------------------------------------------------
  15
  16 module GHC.IO.Encoding (
  17   BufferCodec(..), TextEncoding(..), TextEncoder, TextDecoder,
  18   latin1, latin1_encode, latin1_decode,
  19   utf8, utf8_bom,
  20   utf16, utf16le, utf16be,
  21   utf32, utf32le, utf32be,
  22   localeEncoding,
  23   mkTextEncoding,
  24   ) where
  25
  26 import GHC.Base
  27 --import GHC.IO
  28 import GHC.IO.Buffer
  29 import GHC.IO.Encoding.Types
  30 import GHC.Word
  31 #if !defined(mingw32_HOST_OS)
  32 import qualified GHC.IO.Encoding.Iconv  as Iconv
  33 #endif
  34 import qualified GHC.IO.Encoding.Latin1 as Latin1
  35 import qualified GHC.IO.Encoding.UTF8   as UTF8
  36 import qualified GHC.IO.Encoding.UTF16  as UTF16
  37 import qualified GHC.IO.Encoding.UTF32  as UTF32
  38
  39 #if defined(mingw32_HOST_OS)
  40 import Data.Maybe
  41 import GHC.IO.Exception
  42 #endif
  43
  44 -- -----------------------------------------------------------------------------
  45
  46 -- | The Latin1 (ISO8859-1) encoding.  This encoding maps bytes
  47 -- directly to the first 256 Unicode code points, and is thus not a
  48 -- complete Unicode encoding.  An attempt to write a character greater than
  49 -- '\255' to a 'Handle' using the 'latin1' encoding will result in an error.
  50 latin1  :: TextEncoding
  51 latin1 = Latin1.latin1_checked
  52
  53 -- | The UTF-8 Unicode encoding
  54 utf8  :: TextEncoding
  55 utf8 = UTF8.utf8
  56
  57 -- | The UTF-8 Unicode encoding, with a byte-order-mark (BOM; the byte
  58 -- sequence 0xEF 0xBB 0xBF).  This encoding behaves like 'utf8',
  59 -- except that on input, the BOM sequence is ignored at the beginning
  60 -- of the stream, and on output, the BOM sequence is prepended.
  61 --
  62 -- The byte-order-mark is strictly unnecessary in UTF-8, but is
  63 -- sometimes used to identify the encoding of a file.
  64 --
  65 utf8_bom  :: TextEncoding
  66 utf8_bom = UTF8.utf8_bom
  67
  68 -- | The UTF-16 Unicode encoding (a byte-order-mark should be used to
  69 -- indicate endianness).
  70 utf16  :: TextEncoding
  71 utf16 = UTF16.utf16
  72
  73 -- | The UTF-16 Unicode encoding (litte-endian)
  74 utf16le  :: TextEncoding
  75 utf16le = UTF16.utf16le
  76
  77 -- | The UTF-16 Unicode encoding (big-endian)
  78 utf16be  :: TextEncoding
  79 utf16be = UTF16.utf16be
  80
  81 -- | The UTF-32 Unicode encoding (a byte-order-mark should be used to
  82 -- indicate endianness).
  83 utf32  :: TextEncoding
  84 utf32 = UTF32.utf32
  85
  86 -- | The UTF-32 Unicode encoding (litte-endian)
  87 utf32le  :: TextEncoding
  88 utf32le = UTF32.utf32le
  89
  90 -- | The UTF-32 Unicode encoding (big-endian)
  91 utf32be  :: TextEncoding
  92 utf32be = UTF32.utf32be
  93
  94 -- | The Unicode encoding of the current locale
  95 localeEncoding  :: TextEncoding
  96 #if !defined(mingw32_HOST_OS)
  97 localeEncoding = Iconv.localeEncoding
  98 #else
  99 localeEncoding = Latin1.latin1
 100 #endif
 101
 102 -- | Look up the named Unicode encoding.  May fail with
 103 --
 104 --  * 'isDoesNotExistError' if the encoding is unknown
 105 --
 106 -- The set of known encodings is system-dependent.
 107 --
 108 mkTextEncoding :: String -> IO TextEncoding
 109 #if !defined(mingw32_HOST_OS)
 110 mkTextEncoding = Iconv.mkTextEncoding
 111 #else
 112 mkTextEncoding "UTF-8"    = return utf8
 113 mkTextEncoding "UTF-16"   = return utf16
 114 mkTextEncoding "UTF-16LE" = return utf16le
 115 mkTextEncoding "UTF-16BE" = return utf16be
 116 mkTextEncoding "UTF-32"   = return utf32
 117 mkTextEncoding "UTF-32LE" = return utf32le
 118 mkTextEncoding "UTF-32BE" = return utf32be
 119 mkTextEncoding e = ioException
 120      (IOError Nothing NoSuchThing "mkTextEncoding"
 121           ("unknown encoding:" ++ e)  Nothing Nothing)
 122 #endif
 123
 124 latin1_encode :: CharBuffer -> Buffer Word8 -> IO (CharBuffer, Buffer Word8)
 125 latin1_encode = Latin1.latin1_encode -- unchecked, used for binary
 126 --latin1_encode = unsafePerformIO $ do mkTextEncoder Iconv.latin1 >>= return.encode
 127
 128 latin1_decode :: Buffer Word8 -> CharBuffer -> IO (Buffer Word8, CharBuffer)
 129 latin1_decode = Latin1.latin1_decode
 130 --latin1_decode = unsafePerformIO $ do mkTextDecoder Iconv.latin1 >>= return.encode