AI 不只是概念，更是工具。本篇文章将带你从 0 到 1，用 Dify Agent + Python 打造一个真正可用的自动化竞品分析助手。不讲空话，不玩炫技，完整代码+实战流程，适合产品人、数据人、运营人快速上手复用。
今天，我们要挑战一个几乎让每个产品经理、市场分析师甚至创业者都“闻风丧胆”的任务——竞品分析。传统的方式不仅耗时耗力，而且信息零散，效率极低。我就在想，能不能让AI来帮我们干这件苦差事？
于是，这个实验诞生了：我们要打造一个AI助手，你只需要丢给它一个竞品名称，它就能自动上网搜集信息，并生成一份结构化的分析报告初稿。听起来很酷？让我们开始吧！
【核心1：踩坑与弯路】—— 我天真了一开始，我以为这会很简单。Dify 提供了强大的工作流（Workflow）和内置的 Google Search 工具，我的初步构想是：
“一步到位法” (已失败)
用户输入 -> Google Search 找官网 -> Dify的HTTP节点直接访问官网 -> LLM分析 -> 输出报告。
结果呢？现实给了我一记响亮的耳光。几乎所有稍微正规一点的网站都部署了反爬虫机制（比如Cloudflare），我用HTTP节点发出的请求，就像一个没带通行证的游客，被无情地挡在了门外，返回的都是些无意义的错误代码或加载页面。
这个坑告诉我们：Dify 的代码执行节点有安全沙箱，无法执行网络请求等I/O操作；而直接用HTTP节点去“裸奔”访问，成功率极低。这是从“玩具”到“工具”必须迈过的第一道坎。
【核心2：顿悟与新方案】—— 专业的事交给专业的“特工”在碰壁之后，我意识到，必须将“信息获取”这个专业任务外包出去。Dify 应该扮演“总指挥”的角色，负责编排整个流程；而网页抓取，需要一个能模拟真实浏览器、应对反爬虫的“前线特工”。
这个“特工”，就是我们即将用 Python 和 Docker 构建的一个独立的网页抓取微服务。它接收 Dify 指挥部发来的 URL，然后将“情报”（网页纯文本）传回。
【核心3：实战步骤】—— 保姆级“抄作业”指南光说不练假把式，我们来动手实现！
Step 1: 搭建“前线特工”（网页抓取API）这个服务的目标很纯粹：给它一个URL，它还你一个干净的网页文本。
1. 编写代码 (main.py)
from flask import Flask, request, jsonify
import requests
from bs4 import BeautifulSoup
import logging
logging.basicConfig(level=logging.INFO)
app = Flask(__name__)
@app.route(‘/scrape’, methods=[‘POST’])
def scrape_website:
data = request.json
if not data or ‘url’ not in data:
return jsonify({“error”: “Missing ‘url’ in request body”}), 400
url = data[‘url’]
logging.info(f”Received request to scrape URL: {url}”)
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36’
}
try:
response = requests.get(url, headers=headers, timeout=15)
response.raise_for_status
soup = BeautifulSoup(response.text, ‘html.parser’)
for script_or_style in soup([‘script’, ‘style’]):
script_or_style.decompose
text = soup.get_text
lines = (line.strip for line in text.splitlines)
chunks = (phrase.strip for line in lines for phrase in line.split(” “))
clean_text = ‘’.join(chunk for chunk in chunks if chunk)
logging.info(f”Successfully scraped content from {url}. Content length: {len(clean_text)}”)
return jsonify({“content”: clean_text})
except requests.exceptions.RequestException as e:
logging.error(f”Failed to scrape {url}. Error: {e}”)
return jsonify({“error”: f”Failed to fetch URL: {str(e)}”}), 500
except Exception as e:
logging.error(f”An unexpected error occurred. Error: {e}”)
return jsonify({“error”: f”An unexpected error occurred: {str(e)}”}), 500
if __name__ == ‘__main__’:
app.run(host=’0.0.0.0′, port=5000)
2. 定义依赖 (requirements.txt)
Flask==2.2.2
requests==2.28.1
beautifulsoup4==4.11.1
3. 容器化部署 (Dockerfile)
FROM python:3.9-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install –no-cache-dir -r requirements.txt
COPY main.py .
EXPOSE 5000
CMD [“python”, “main.py”]
4. 启动服务
在包含以上三个文件的目录下，打开终端执行：
# 1. 构建Docker镜像
docker build -t competitor-scraper .
# 2. 运行容器 (我们将外部端口映射为5001)
docker run -d -p 5001:5000 –name scraper-container competitor-scraper
现在，你的“前线特工”已经在 http://localhost:5001/scrape 待命了！
Step 2: 配置 Dify“总指挥部”进入 Dify，创建一个新的对话型应用，开始编排工作流。
1）「开始」节点：
添加输入字段，变量名设为 competitor_name。
2）「Google Search」节点：
Query输入：引用变量 {{start.competitor_name}} official website。
3）「代码执行」节点 (提取URL)：
输入变量：添加一个 search_results，引用自上一步Google搜索节点的 result。
代码：
def main(search_results: list) -> dict:
first_url = “”
if isinstance(search_results, list) and len(search_results) > 0:
first_item = search_results[0]
if isinstance(first_item, dict) and ‘link’ in first_item:
first_url = first_item[‘link’]
return {‘first_url’: first_url}
4）「HTTP请求」节点：
请求方法：POST
URL：http://<你的电脑局域网IP>:5001/scrape (注意：这里不能用localhost，必须是Dify能访问到的IP)。
Headers：Content-Type: application/json
Body (JSON)：
{
“url”: “{{code_1.first_url}}”
}
「LLM」节点 (核心分析大脑)：
模型：选择一个能力强的，如 GPT-4, Claude 3 Sonnet。
上下文：分别添加上游Google Search的结果和HTTP请求节点的 body.content。
提示词 (Prompt)：
你是一位顶级的市场分析专家。请根据我提供的【搜索引擎摘要】和【竞品官网内容】，为 “{{start.competitor_name}}” 生成一份简明扼要的竞品分析报告。
**严格遵守以下规则:**
1. 所有分析必须严格基于我提供的内容，严禁使用你的任何背景知识或进行凭空想象。
2. 如果提供的内容不足以分析某个项目，请明确指出“信息不足，无法分析”。
3. 使用清晰的Markdown格式输出报告。
**分析框架:**
– **公司/产品简介:** 总结其核心业务和价值主张。
– **核心功能:** 列出3-5个主要的产品功能或服务。
– **目标用户:** 推断其主要服务的客户群体。
– **SWOT初步分析:**
– **优势(Strengths):** 基于内容，总结其最突出的优点。
– **劣势(Weaknesses):** 基于内容，推断可能存在的不足。
– **机会(Opportunities):** 市场中可能存在的机会。
– **威胁(Threats):** 面临的潜在威胁。
「直接回复」节点：
引用上一步LLM节点的输出 {{llm_1.text}} 即可。
将所有节点连接起来，点击发布，大功告成！
【升华：生产级思考】—— 从Demo到实用工具这个Demo本质上是一个小型的 RAG (检索增强生成)应用。它让LLM在回答前，先去检索（Google）和增强（抓取网页）上下文，从而生成更准确、更具时效性的答案，极大地避免了模型幻觉。
如果想让它在真实世界更好用，我们还可以思考：
动态内容抓取：当前的抓取服务对付不了JavaScript动态加载的网站，未来可以升级为使用Selenium或Playwright等更强大的工具。信息源容错：如果搜索到的第一个链接不是官网怎么办？可以设计一个循环或判断逻辑，尝试多个链接。深度分析：除了官网，我们还可以让它去抓取新闻稿、社交媒体评价等，为LLM提供更全面的分析材料。【附赠：我的工具箱】核心编排：Dify– 毫无疑问，可视化编排AI工作流的神器。
外部服务：Python (Flask + Requests + BeautifulSoup)– 构建API和网页抓取的经典组合，轻量且强大。
部署利器：Docker– 一次打包，到处运行，现代软件工程必备技能。
分析大脑：GPT-4 / Claude 3 Sonnet– 强大的LLM是保证分析质量的核心。
【结尾：总结与回归】通过这个实验，我们不仅构建了一个非常实用的AI助手，更重要的是，我们完整地经历了一次从需求分析、架构设计、技术攻坚到最终实现的AI应用工程落地过程。这比单纯调用一个API要酷得多！
当然，从这个Demo到真正成熟的生产级应用还有很长的路要走，但这无疑是一个完美的起点。
我是阿亚，我们下次再聊！
本文由 @超人阿亚 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash，基于CC0协议
万生优配提示：文章来自网络，不代表本站观点。
