Python 入门与应用：从基础语法到数据分析实战

2.3 函数定义

使用 def 关键字定义函数，支持默认参数和可变参数。

def greet(name, greeting="Hello"):
    return f"{greeting}, {name}!"

result = greet("Bob", "Hi")
print(result)

三、网络爬虫技术

爬虫技术用于自动抓取网页数据，是数据采集的重要手段。Python 提供了 requests 库发送 HTTP 请求，配合 BeautifulSoup 或 lxml 解析 HTML。

3.1 基础爬虫示例

import requests
from bs4 import BeautifulSoup

url = "https://example.com"
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')

# 提取标题
title = soup.find('h1').text
print(title)

3.2 注意事项

• 遵守 robots.txt 协议。
• 设置 User-Agent 模拟浏览器。
• 控制请求频率，避免对目标服务器造成压力。
• 处理反爬机制（如验证码、IP 限制）需合法合规。

四、数据分析与处理

数据分析是 Python 的核心应用场景之一。借助 NumPy 进行数值计算，Pandas 进行数据处理，Matplotlib 和 Seaborn 进行可视化。

4.1 数据读取与清洗

import pandas as pd

df = pd.read_csv('data.csv')
# 删除空值
df.dropna(inplace=True)
# 填充缺失值
df.fillna(0, inplace=True)

4.2 统计分析

# 描述性统计
print(df.describe())
# 分组聚合
print(df.groupby('category')['value'].mean())

4.3 可视化

import matplotlib.pyplot as plt

df['value'].plot(kind='bar')
plt.title('Value Distribution')
plt.show()

五、数据库与 ETL 流程

企业常需将业务数据迁移至数据仓库进行分析。ETL（Extract, Transform, Load）是核心流程。

5.1 抽取（Extract）

从源数据库（如 MySQL、PostgreSQL）读取数据。

import pymysql
conn = pymysql.connect(host='localhost', user='root', password='pwd', db='source_db')
cursor = conn.cursor()
cursor.execute("SELECT * FROM users")
data = cursor.fetchall()

5.2 转换（Transform）

清洗数据格式、去重、计算衍生字段。

# 例如将日期字符串转换为 datetime 对象
from datetime import datetime
data['date'] = [datetime.strptime(d, '%Y-%m-%d') for d in data['date_str']]

5.3 加载（Load）

将处理后的数据写入目标数仓（如 Hive、ClickHouse）。

# 批量插入示例
cursor.executemany("INSERT INTO target_table VALUES (%s, %s)", data)
conn.commit()

六、机器学习入门

机器学习利用算法从数据中学习规律并预测新数据。Python 拥有 Scikit-learn、TensorFlow、PyTorch 等强大框架。

6.1 监督学习

以分类和回归为例，训练模型预测标签。

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = LogisticRegression()
model.fit(X_train, y_train)
predictions = model.predict(X_test)

6.2 无监督学习

如聚类分析，用于发现数据内在结构。

from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=3)
kmeans.fit(X)
labels = kmeans.labels_

七、高级进阶技巧

7.1 装饰器

用于在不修改原函数代码的情况下增强功能。

def my_decorator(func):
    def wrapper():
        print("Before function")
        func()
        print("After function")
    return wrapper

@my_decorator
def say_hello():
    print("Hello")

7.2 生成器

使用 yield 关键字创建惰性迭代对象，节省内存。

def count_up_to(n):
    i = 1
    while i <= n:
        yield i
        i += 1

7.3 异步编程

使用 asyncio 处理高并发 I/O 操作。

import asyncio

async def fetch_data():
    await asyncio.sleep(1)
    return "Data"

async def main():
    result = await fetch_data()
    print(result)

asyncio.run(main())

八、总结

Python 凭借其简洁的语法和丰富的生态系统，成为当今最流行的编程语言之一。从基础语法到高级应用，从 Web 开发到人工智能，Python 都能胜任。学习 Python 需要长期的坚持与实践，建议通过实际项目巩固知识，关注官方文档和社区动态，不断提升技术水平。无论初学者还是有经验的开发者，都能在 Python 的世界中找到价值与乐趣。