unicode, chatdet

python 

웹페이지의 chatset값 구하기. http response header에 포함된 경우

import urllib2

request = "http://daum.net"

fp = urllib2.urlopen(request)

charset = fp.headers.getparam('charset')

print "***", charset

print "===\n", fp.headers

http://www.voidspace.org.uk/python/articles/urllib2.shtml#introduction

CharDet 패키지

어떤 파일이 어떠한 문자셋으로 구성되어 있는지 판단하는 기능

http://www.minvolai.com/blog/2009/11/chardet-detecting-unknown-string-encodings/

$ sudo pip install chardet

Unicode and Character Sets

http://www.joelonsoftware.com/articles/Unicode.html