Source: https://www.cnblogs.com/VAllen/p/PuppeteerSharp-AngleSharp-CrawlerSamples.html

參考了DotNetSpider範例，感覺DotNetSpider太重了，它是一個比較完整的爬蟲框架。

比較了以下各種無頭瀏覽器，最終採用PuppeteerSharp+AngleSharp寫一個爬蟲範例。

和上面的部落格文章一樣，都是用汽車之家的https://store.mall.autohome.com.cn/83106681.html這個頁面做資料收集範例。

本文中使用PuppeteerSharp取得最終頁面(即載入JavaScript之後的頁面)，使用AngleSharp進行Html documents解析處理。

現存（幾乎）所有無頭網頁瀏覽器的列表

沒有圖形使用者介面、由程式控制的網頁瀏覽器。用於自動化、測試和其他目的。

這些瀏覽器引擎可以完全呈現網頁或在虛擬 DOM 中執行 JavaScript

這些庫可以控制多個瀏覽器引擎（通常使用 Selenium）

這些庫控制 PhantomJS

這些庫控制 Chromium

這些驅動程式控制 Webkit 的進程內實例

這些庫控制鮮為人知的瀏覽器或作業系統提供的 Web 庫

這些庫通常是簡單瀏覽器或僅支援 HTML 的瀏覽器

其實如果沒有JavaScripts載入資料需求，單獨用AngleSharp就可以搞定了。

但涉及到JavaScripts載入資料需求的，就需要上真正的無頭瀏覽器元件才能搞定了。

AngleSharp現在只支援簡單的JavaScripts程式碼執行，稍微複雜點的，都不行，聽說以後要完整支持JavaScripts，敬請期待吧！

/*
 * This is a Puppeteer+AngleSharp crawler console app samples
 */
using System;
using System.Collections.Generic;
using System.Threading.Tasks;
using AngleSharp;
using AngleSharp.Dom;
using AngleSharp.Html.Parser;
using Newtonsoft.Json;
using PuppeteerSharp;

namespace CrawlerSamples
{
    internal class Program
    {
        private const string Url = "https://store.mall.autohome.com.cn/83106681.html";
        private const int ChromiumRevision = BrowserFetcher.DefaultRevision;

        private static async Task Main(string[] args)
        {
            //Download chromium browser revision package
            await new BrowserFetcher().DownloadAsync(ChromiumRevision);

            //Test AngleSharp
            await TestAngleSharp();

            Console.ReadKey();
        }

        private static async Task TestAngleSharp()
        {
            /*
             * Used AngleSharp loading of HTML document
             * TODO: Used WithJavaScript function need install AngleSharp.Scripting.Javascript nuget package
             * Note: that JavaScripts support is an experimental and does not support complex JavaScripts code.
             */
            //IConfiguration config = Configuration.Default.WithDefaultLoader().WithCss().WithCookies().WithJavaScript();
            //IBrowsingContext context = BrowsingContext.New(config);
            //IDocument document = await context.OpenAsync(url);

            //Used PuppeteerSharp loading of HTML document
            var htmlString = await TestPuppeteerSharp();

            /*
             * Parsing of HTML document string
             */
            var context = BrowsingContext.New(Configuration.Default);
            var parser = context.GetService<IHtmlParser>();
            var document = parser.ParseDocument(htmlString);

            //Selector carbox element list
            var carboxList = document.QuerySelectorAll("div.shop-content div.content div.list li.carbox");

            var carModelList = new List<CarModel>();
            foreach (var carbox in carboxList)
            {
                //Parsing and converting to the car model object.
                var model = CreateModelWithAngleSharp(carbox);
                carModelList.Add(model);

                //Printing to console windows
                var jsonString = JsonConvert.SerializeObject(model);
                Console.WriteLine(jsonString);
                Console.WriteLine();
            }

            Console.WriteLine("Total count:" + carModelList.Count);
        }

        private static async Task<string> TestPuppeteerSharp()
        {
            //Enabled headless option
            var launchOptions = new LaunchOptions { Headless = true };
            //Starting headless browser
            var browser = await Puppeteer.LaunchAsync(launchOptions);

            //New tab page
            var page = await browser.NewPageAsync();
            //Request URL to get the page
            await page.GoToAsync(Url);

            //Get and return the HTML content of the page
            var htmlString = await page.GetContentAsync();

            #region Dispose resources
            //Close tab page
            await page.CloseAsync();

            //Close headless browser, all pages will be closed here.
            await browser.CloseAsync();
            #endregion

            return htmlString;
        }

        private static CarModel CreateModelWithAngleSharp(IParentNode node)
        {
            var model = new CarModel
            {
                Title = node.QuerySelector("a div.carbox-title").TextContent,
                ImageUrl = node.QuerySelector("a div.carbox-carimg img").GetAttribute("src"),
                ProductUrl = node.QuerySelector("a").GetAttribute("href"),
                Tip = node.QuerySelector("a div.carbox-tip").TextContent,
                OrdersNumber = node.QuerySelector("a div.carbox-number span").TextContent
            };

            return model;
        }
    }
}

注意，第一次運行，這一句程式碼：

await new BrowserFetcher().DownloadAsync(ChromiumRevision);

會從網路上下載瀏覽器便利式安裝包download-Win64-536395.zip到你本地，裡面解壓縮後是一個Chromium瀏覽器。這裡需要等待一些時間。

https://github.com/VAllens/CrawlerSamples

Back AngleSharp Related Topics

12 person(s) visited this page until now.

Back Study Topics