Я исследовал дампы данных Переполнения стека и к настоящему времени использовал в своих интересах дружественный XML и “анализировал” с регулярными выражениями. Мои попытки с различными библиотеками Haskell XML для нахождения первого сообщения в порядке документа конкретным пользователем все столкнулись с противной перегрузкой.
import Control.Monad
import Text.HTML.TagSoup
userid = "83805"
main = do
posts <- liftM parseTags (readFile "posts.xml")
print $ head $ map (fromAttrib "Id") $
filter (~== (""))
posts
import Text.XML.HXT.Arrow
import Text.XML.HXT.XPath
userid = "83805"
main = do
runX $ readDoc "posts.xml" >>> posts >>> arr head
where
readDoc = readDocument [ (a_tagsoup, v_1)
, (a_parse_xml, v_1)
, (a_remove_whitespace, v_1)
, (a_issue_warnings, v_0)
, (a_trace, v_1)
]
posts :: ArrowXml a => a XmlTree String
posts = getXPathTrees byUserId >>>
getAttrValue "Id"
where byUserId = "/posts/row/@OwnerUserId='" ++ userid ++ "'"
import Control.Monad
import Control.Monad.Error
import Control.Monad.Trans.Maybe
import Data.Either
import Data.Maybe
import Text.XML.Light
userid = "83805"
main = do
[posts,votes] <- forM ["posts", "votes"] $
liftM parseXML . readFile . (++ ".xml")
let ps = elemNamed "posts" posts
putStrLn $ maybe "" show
$ filterElement (byUser userid) ps
elemNamed :: String -> [Content] -> Element
elemNamed name = head . filter ((==name).qName.elName) . onlyElems
byUser :: String -> Element -> Bool
byUser id e = maybe False (==id) (findAttr creator e)
where creator = QName "OwnerUserId" Nothing Nothing
Где я шел не так, как надо? Что надлежащий путь состоит в том, чтобы обработать значительные XML-документы с Haskell?
Я заметил, что вы используете String IO во всех этих случаях. Вы абсолютно точно должны использовать Data.Text или Data.Bytestring(.Lazy), если надеетесь эффективно обрабатывать большие объемы текста, так как String == [Char], что является неподходящим представлением для очень больших плоских файлов.
Это означает, что вам придется использовать библиотеку Haskell XML, которая поддерживает байтовые строки. Несколько десятков библиотек xml находятся здесь: http://hackage.haskell.org/packages/archive/pkg-list.html#cat:xml
Я не уверен, какие из них поддерживают байтовые строки, но это условие, которое вы ищете.
Возможно, вам нужен ленивый парсер XML: ваше использование выглядит как довольно простое сканирование входных данных. HaXml имеет ленивый парсер, хотя вы должны запросить его явно, импортировав соответствующий модуль.
Ниже приведен пример, в котором используется hexpat:
{-# LANGUAGE PatternGuards #-}
module Main where
import Text.XML.Expat.SAX
import qualified Data.ByteString.Lazy as B
userid = "83805"
main :: IO ()
main = B.readFile "posts.xml" >>= print . earliest
where earliest :: B.ByteString -> SAXEvent String String
earliest = head . filter (ownedBy userid) . parse opts
opts = ParserOptions Nothing Nothing
ownedBy :: String -> SAXEvent String String -> Bool
ownedBy uid (StartElement "row" as)
| Just ouid <- lookup "OwnerUserId" as = ouid == uid
| otherwise = False
ownedBy _ _ = False
Определение ownedBy
немного неуклюжее. Возможно, вместо этого можно использовать шаблон представления:
{-# LANGUAGE ViewPatterns #-}
module Main where
import Text.XML.Expat.SAX
import qualified Data.ByteString.Lazy as B
userid = "83805"
main :: IO ()
main = B.readFile "posts.xml" >>= print . earliest
where earliest :: B.ByteString -> SAXEvent String String
earliest = head . filter (ownedBy userid) . parse opts
opts = ParserOptions Nothing Nothing
ownedBy :: String -> SAXEvent String String -> Bool
ownedBy uid (ownerUserId -> Just ouid) = uid == ouid
ownedBy _ _ = False
ownerUserId :: SAXEvent String String -> Maybe String
ownerUserId (StartElement "row" as) = lookup "OwnerUserId" as
ownerUserId _ = Nothing
TagSoup поддерживает ByteString через свой класс Text.StringLike. Единственные изменения, которые потребовались в вашем примере, - это вызвать ByteString.Lazy readFile
и добавить fromString
в fromAttrib
:
import Text.StringLike
import qualified Data.ByteString.Lazy as BSL
import qualified Data.ByteString.Char8 as BSC
userid = "83805"
file = "blah//posts.xml"
main = do
posts <- liftM parseTags (BSL.readFile file)
print $ head $ map (fromAttrib (fromString "Id")) $
filter (~== ("<row OwnerUserId=" ++ userid ++ ">"))
posts
Ваш пример был выполнен для меня ( 4 гига RAM), что занимает 6 минут; версия ByteString заняла 10 минут.