python 및 머신러닝 교육, 슬로우캠퍼스


부하 테스트 툴


Python 기반 web browsing, web crawl


  • Spynner is a stateful programmatic web browser module for Python with Javascript/AJAX support based upon the QtWebKit framework



What is Scrapy?

  • scrapy : python 에서 크롤링 할때 사용하는 대표적인 오픈소스로서, 크롤링을 우아하고 쉽게 할 수 있게 도와준다.

Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing.




'Cloud Computing' 카테고리의 다른 글

대용량 처리 서버 솔루션 (G-WAN, NXWEB)  (0) 2013.03.15
C10K Problem (kegel.com 원본 보관용)  (0) 2013.03.15
Resilience & Trace engineering  (0) 2013.03.14
초간단 Redis 설치, 사용  (0) 2013.03.13
fabric  (0) 2013.03.13

WRITTEN BY
manager@
Data Analysis, Text/Knowledge Mining, Python, Cloud Computing, Platform

,