Парсеры | Forum | Django на русском

18 March 2014, 16:37

Georgiy

Posts: 383
Location: Волгоград

18 March 2014, 16:37

Georgiy

Posts: 383
Location: Волгоград

Друзья, товарищи, подскажите пожалуйста грамотные технологии для реализации БОЛЬШОГО парсера, обрабатывающего очень много информации. В том числе технологии должны предусматривать возможность работы через proxy.

Сейчас у меня реализован парсер, который использует urllib2, lxml, pycurl, rabbitMq. Но все написано на нативе, может быть есть какие то мощные фреймворки?

Answer | 0

12 Dec. 2014, 2:16 maxclax Posts: 3	12 Dec. 2014, 2:16 maxclax Posts: 3 scrapy.org
	Answer \| 0

12 Dec. 2014, 9:20 pyCode Posts: 195	12 Dec. 2014, 9:20 pyCode Posts: 195 А grab ?
	Answer \| 0

12 Dec. 2014, 11:10 iNerV Posts: 124	12 Dec. 2014, 11:10 iNerV Posts: 124 А grab ? хорошая конечно штука, но отсутствие актуальной документации удручает ;(
	Answer \| 0

12 Dec. 2014, 11:22 pyCode Posts: 195	12 Dec. 2014, 11:22 pyCode Posts: 195 На мой взгляд норм, не хуже чем у reqests
	Answer \| 0

12 Dec. 2014, 16:18 iNerV Posts: 124	12 Dec. 2014, 16:18 iNerV Posts: 124 На мой взгляд норм, не хуже чем у reqests у reqests она актуальная же, нет? А у граба нужно переписывать добрую половину, а некоторые пункты и вовсе выкидывать.
	Answer \| 0

12 Dec. 2014, 16:24 pyCode Posts: 195	12 Dec. 2014, 16:24 pyCode Posts: 195 Да, тут не поспоришь
	Answer \| 0

12 Dec. 2014, 16:28 alerion Posts: 5750 Location: Львов	12 Dec. 2014, 16:28 alerion Posts: 5750 Location: Львов requests крут. но это просто альтернатива curl. Фиксю баги по трейсбеку.
	Answer \| 0

Please, write feedback if something does not work back to top