爬虫实战：传统编程与 AIGC 提示词工程对比

了解并学习 AIGC 是第一步

AIGC（Artificial Intelligence Generated Content）是人工智能生成内容的技术，它是人工智能从 1.0 时代进入 2.0 时代的重要标志。AIGC 技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容，通过训练模型和大量数据的学习，AIGC 可以根据输入的条件或指导，生成与之相关的内容，如文章、图像、音频等。

AIGC 的主要用处：

1. 内容创作：AIGC 在广告、游戏、自媒体等领域已经实现了广泛应用，帮助创作者更快地生成高质量的内容。
2. 个性化服务：AIGC 技术可以提供个性化的服务，如推荐系统可以根据用户的兴趣和行为为其推荐相关内容，提升用户体验。
3. 辅助工具：在教育领域，AIGC 可以辅助教师制定教学计划、评估学生作业；在医疗领域，可辅助医生诊断疾病、制定治疗方案。
4. 机器翻译：实现多种语言之间的翻译，提高翻译质量和速度。
5. 智能问答：构建问答系统，帮助用户快速获取所需信息。
6. 自动摘要：从大量文本中提取关键信息，生成简洁、准确的摘要。
7. 情感分析：分析文本中的情感倾向，帮助企业了解客户反馈和市场趋势。

在我看来，AIGC 技术已经在多个领域实现了广泛的应用，其应用前景广阔，将为人类社会的数字化转型和智能化发展提供重要支持。

这次想分享的是 AIGC 的智能问答方面给 AI 工程师带来的便利

举个实例，在工作时需要从豆瓣电影网站拿到排行榜前十电影的信息（电影标题、封面、主演…）。

传统编程方式

开始写代码爬取网页的数据吧。

发出一个 HTTP 请求获取 HTML 字符串，对字符串做正则或查找。伪代码如下：

• 聚焦 .article movies 列表
• table 列表即电影列表
• 提取 title, pic 等字段

得到电影列表 JSON 数组：[{ name: '破墓', pic: '', desc: '', score: '', }, ...]

写个大概的代码如下：

// 编程实现爬虫爬取豆瓣电影
import { createCrawl } from 'x-crawl'

// 创建爬虫应用
const crawlApp = createCrawl()

// crawlPage 用于爬取页面
crawlApp.crawlPage('https://movie.douban.com/chart').( (res) => {
   { page, browser } = res.

  
   page.()
   filmHandleList =  page.$$()

   pendingTask = []
   ( filmHandle  filmHandleList) {
    
     picturePending = filmHandle.$eval(,  img.)
    
     namePending = filmHandle.$eval(
      ,
       el..()[]
    )
    
     infoPending = filmHandle.$eval(
      ,
       el.
    )
    
     scorePending = filmHandle.$eval(
      ,
       el.
    )
    
     commentsNumberPending = filmHandle.$eval(
      ,
       el.?.(, )
    )

    pendingTask.([
      namePending,
      picturePending,
      infoPending,
      scorePending,
      commentsNumberPending
    ])
  }

   filmInfoResult = []
   i = 
   ( item  pendingTask) {
    .(item).( {
      
       filmInfo = [
        ,
        ,
        ,
        ,
        
      ].( {
        pre[key] = res[idx]
         pre
      }, {})

      
      filmInfoResult.(filmInfo)

      
       (pendingTask. === ++i) {
        browser.()

        
         filmResult = {
          : filmInfoResult,
          : filmInfoResult. >  ?  : 
        }

        .(filmResult)
      }
    })
  }
})