/venus

Recommended: CJKCodecs and iconv_codec <http://cjkpython.i18n.org/>

"""

 

__license__ = """Copyright (c) 2002-2008, Mark Pilgrim, All rights reserved.

 

Redistribution and use in source and binary forms, with or without modification,

    codepoint2name[ord(codepoint)]=name

 

# BeautifulSoup parser used for parsing microformats from embedded HTML content

 

# ---------- don't touch these ----------

class ThingsNobodyCaresAboutButMe(Exception): pass

                  'http://freshmeat.net/rss/fm/':                         'fm',

                  'http://xmlns.com/foaf/0.1/':                           'foaf',

                  'http://www.w3.org/2003/01/geo/wgs84_pos#':             'geo',

                  'http://postneo.com/icbm/':                             'icbm',

                  'http://purl.org/rss/1.0/modules/image/':               'image',

                  'http://www.itunes.com/DTDs/PodCast-1.0.dtd':           'itunes',

                  'http://hacks.benhammersley.com/rss/streaming/':        'str',

                  'http://purl.org/rss/1.0/modules/subscription/':        'sub',

                  'http://purl.org/rss/1.0/modules/syndication/':         'sy',

                  'http://purl.org/rss/1.0/modules/taxonomy/':            'taxo',

                  'http://purl.org/rss/1.0/modules/threading/':           'thr',

                  'http://purl.org/rss/1.0/modules/textinput/':           'ti',

                  'http://wellformedweb.org/commentAPI/':                 'wfw',

                  'http://purl.org/rss/1.0/modules/wiki/':                'wiki',

                  'http://www.w3.org/1999/xhtml':                         'xhtml',

                  'http://www.w3.org/1999/xlink':                         'xlink',

}

    _matchnamespaces = {}

 

        self.incontributor = 0

        self.inpublisher = 0

        self.insource = 0

        self.sourcedata = FeedParserDict()

        self.contentparams = FeedParserDict()

        self._summaryKey = None

            # element declared itself as escaped markup, but it isn't really

            self.contentparams['type'] = 'application/xhtml+xml'

        if self.incontent and self.contentparams.get('type') == 'application/xhtml+xml':

            if tag.find(':') <> -1:

                prefix, tag = tag.split(':', 1)

                namespace = self.namespacesInUse.get(prefix, '')

                    attrs.append(('xmlns',namespace))

                if tag=='svg' and namespace=='http://www.w3.org/2000/svg':

                    attrs.append(('xmlns',namespace))

            return self.handle_data('<%s%s>' % (tag, self.strattrs(attrs)), escape=0)

 

        # match namespaces

        prefix = self.namespacemap.get(prefix, prefix)

        if prefix:

            prefix = prefix + '_'

 

        # call special handler (if defined) or default handler

        methodname = '_end_' + prefix + suffix

    def _end_expirationdate(self):

        self._save('expired_parsed', _parse_date(self.pop('expired')))

 

    def _start_cc_license(self, attrsD):

        context = self._getContext()

        value = self._getAttribute(attrsD, 'rdf:resource')

        sProperty = sProperty.lower()

        bFound = 0

        bNormalize = 1

        if bAllowMultiple and (iPropertyType != self.NODE):

            snapResults = []

            containers = elmRoot(['ul', 'ol'], propertyMatch)

        if not bFound:

            if bAllowMultiple: return []

            elif iPropertyType == self.STRING: return ''

            elif iPropertyType == self.URI: return ''

        arValues = []

        for elmResult in arResults:

            if iPropertyType == self.NODE:

                if bAllowMultiple:

                    arValues.append(elmResult)

                    if sAgentValue:

                        arLines.append(self.vcardFold('AGENT:' + sAgentValue))

                    elmAgent['class'] = ''

                else:

                    sAgentValue = self.getPropertyValue(elmAgent, 'value', self.URI, bAutoEscape=1);

                    if sAgentValue:

 

            # not otherwise acceptable, perhaps it is MathML or SVG?

            if tag=='math' and ('xmlns','http://www.w3.org/1998/Math/MathML') in attrs:

            if tag=='svg' and ('xmlns','http://www.w3.org/2000/svg') in attrs:

 

            # chose acceptable attributes based on tag class, else bail

            if  self.mathmlOK and tag in self.mathml_elements:

            if tag in self.unacceptable_elements_with_end_tag:

                self.unacceptablestack -= 1

            if self.mathmlOK and tag in self.mathml_elements:

            elif self.svgOK and tag in self.svg_elements:

                tag = self.svg_elem_map.get(tag,tag)

            else:

                return

        _BaseHTMLProcessor.unknown_endtag(self, tag)

        true_encoding = xml_encoding or 'iso-8859-1'

    else:

        true_encoding = xml_encoding or 'utf-8'

    return true_encoding, http_encoding, xml_encoding, sniffed_xml_encoding, acceptable_content_type

    

def _toUTF8(data, encoding):

    data = doctype_pattern.sub(replacement, head) + data

 

    return version, data, dict(replacement and safe_pattern.findall(replacement))

def parse(url_file_stream_or_string, etag=None, modified=None, agent=None, referrer=None, handlers=[]):

    '''Parse a feed from a URL, file, stream, or string'''

    result = FeedParserDict()

    # save HTTP headers

    if hasattr(f, 'info'):

        info = f.info()

        last_modified = info.getheader('Last-Modified')

        if last_modified:

            result['modified'] = _parse_date(last_modified)

    for url in urls:

        results = parse(url, etag=options.etag, modified=options.modified, agent=options.agent, referrer=options.referrer)

        serializer(results).write(sys.stdout)