.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。框架设计...
.net爬虫是一门必修课
背景网上关于爬虫的介绍很多，小编当初刚入门编程领域时老是听别人说爬虫怎么怎么好玩，对爬虫也没有概念，只知道这个名字特别牛叉，后来在采集数据时才真心明白"爬虫"其含义，不得不说取这个名字的人相当有水准，定登大雅之堂。关于这些概念小编就顺带一过，需要更详细的说明，请谷歌或百度知。小编今天要介绍的是.ne...
.NetCore实践爬虫系统（二）自定义规则
回顾 上篇文章NetCore实践爬虫系统（一）解析网页内容 我们讲了利用HtmlAgilityPack，输入XPath路径，识别网页节点，获取我们需要的内容。评论中也得到了大家的一些支持与建议。下面继续我们的爬虫系统实践之路。本篇文章不包含依赖注入/数据访问/UI界面等，只包含核心的爬虫相...
.NetCore实践爬虫系统（一）解析网页内容
爬虫系统的意义 爬虫的意义在于采集大批量数据，然后基于此进行加工/分析，做更有意义的事情。谷歌，百度，今日头条，天眼查都离不开爬虫。 今日目标 今天我们来实践一个最简单的爬虫系统。根据Url来识别网页内容。 网页内容识别利器：HtmlAgilityPack GitHub地址 HtmlAgilityP...
.NET多线程编程（14）——用C#实现蜘蛛/爬虫程序的多线程控制
在爬虫/蜘蛛制作(C#语言)文中已经介绍了爬虫实现基本思路方法可以说已经实现了爬虫功能只是它存在个效率问题下载速度可能很慢这是两方面原因造成: 1.分析和下载不能同步进行在爬虫/蜘蛛制作 (C#语...
关于.NET玩爬虫这些事
在微信群里又聊到.NET可以救中国但是案例太少不深的问题，我说.NET玩爬虫简直就是宇宙第一，于是大神朱永光说，你为何不来写一篇总结一下? 那么今天就全面的来总结一下，在.NET生态下，如何玩爬虫。 关于爬虫 从搜索引擎开始，爬虫应该就出现了，爬的对象当然也就是网页URL，在很长一段时间内，爬虫所做...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
社区圈子
