---
title: "大数据分析工具"
subtitle: 《区域水环境污染数据分析实践》<br>Data analysis practice of regional water environment pollution
author: 苏命、王为东<br>中国科学院大学资源与环境学院<br>中国科学院生态环境研究中心
date: today
lang: zh
format:
  revealjs:
    theme: dark
    slide-number: true
    chalkboard:
      buttons: true
    preview-links: auto
    lang: zh
    toc: true
    toc-depth: 1
    toc-title: 大纲
    logo: ./_extensions/inst/img/ucaslogo.png
    css: ./_extensions/inst/css/revealjs.css
    pointer:
      key: "p"
      color: "#32cd32"
      pointerSize: 18
revealjs-plugins:
  - pointer
filters:
  - d2
---

```{r}
#| echo: false
knitr::opts_chunk$set(echo = TRUE)
source("../../coding/_common.R")
library(nycflights13)
library(tidyverse)
```

# 正则表达式

## 匹配数字

### 匹配数字：

- \d：匹配任意数字字符。
- \d+：匹配一个或多个数字字符。
- [0-9]: 匹配数字

### 匹配字母：

- \w：匹配任意字母、数字或下划线字符。
- \w+：匹配一个或多个字母、数字或下划线字符。

## 匹配数字

### 匹配空白字符：

- \s：匹配任意空白字符，包括空格、制表符、换行符等。
- \s+：匹配一个或多个空白字符。

### 匹配特定字符：

- [abc]：匹配字符 a、b 或 c 中的任意一个。
- [a-z]：匹配任意小写字母。
- [A-Z]：匹配任意大写字母。
- [0-9]：匹配任意数字。

## 匹配数字

### 匹配重复次数：

- {n}：匹配前一个字符恰好 n 次。
- {n,}：匹配前一个字符至少 n 次。
- {n,m}：匹配前一个字符至少 n 次，但不超过 m 次。

### 匹配边界：

- ^：匹配字符串的开头。
- $：匹配字符串的结尾。

## 匹配数字

### 匹配特殊字符：

- \：转义特殊字符，使其按字面意义匹配。
- .：匹配任意单个字符。
- |：表示“或”关系，匹配两个或多个表达式之一。

#### 匹配次数：

- *：匹配前一个字符零次或多次。
- +：匹配前一个字符一次或多次。
- ?：匹配前一个字符零次或一次。

## 匹配数字

### 分组和捕获：

- ()：将一系列模式组合成一个单元，可与特殊字符一起使用。

### 预定义字符集：

- \d：任意数字，相当于 [0-9]。
- \w：任意字母、数字或下划线字符，相当于 [a-zA-Z0-9_]。
- \s：任意空白字符，相当于 [ \t\n\r\f\v]。



## 实例

```{r}
library(babynames)
(x <- c("apple", "apppple", "abc123def"))
x[str_detect(x, "[0-9]")]
x[str_detect(x, "abc[0-9]+")]
x[str_detect(x, "pp")]
x[str_detect(x, "p{4}")]
x[str_detect(x, "p{4}")]
x[str_detect("apple", "ap*")]
x[str_detect("apple", "app*")]
x[str_detect("apple", "a..le")]
```

## 练习


找出`babyname`中名字含有ar的行

```{r}
#| echo: false
babynames |>
  filter(str_detect(name, "ar"))
```

## 练习


找出`babyname`中名字含有ar或者以ry结尾的行。

```{r}
#| echo: false
babynames |>
  filter(str_detect(name, "ar"))
```



# Linux基础知识与开发工具


## SSH - 安全远程连接

```bash
# 连接到远程服务器
ssh username@remote.server.com

# 使用特定端口连接
ssh -p 2222 username@remote.server.com

# 执行远程命令
ssh username@server "ls -l /tmp"
```

**案例**：  
- 远程管理云服务器  
- 自动化脚本执行


## Windows下的SSH工具 - PuTTY

![PuTTY界面](https://www.putty.org/Putty.png)

```bash
# 主要功能：
1. 保存会话配置（IP/端口/认证信息）
2. 支持SSH/Telnet/Serial连接
3. 公钥认证（配合Pageant使用）
4. 端口转发（SSH隧道）
```

**案例**：  
- 连接Linux服务器进行管理  
- 建立SSH隧道访问内网资源



## SCP - 安全文件传输

```bash
# 复制本地文件到远程
scp file.txt username@remote:/path/to/dest

# 从远程复制到本地
scp username@remote:/path/file.txt .

# 递归复制目录
scp -r dir/ username@remote:/path/
```

**案例**：  
- 部署网站文件到生产环境  
- 备份远程日志文件


## Windows下的SCP工具 - WinSCP

![WinSCP界面 w:400](https://winscp-static-746341.c.cdn77.org/data/media/screenshots/commander.png?v=101)

```bash
# 主要特性：
- 图形化SFTP/SCP客户端
- 与PuTTY集成
- 支持拖拽操作
- 可保存常用连接
- 批处理脚本功能
```

**案例**：  
- 可视化管理服务器文件  
- 本地与服务器间同步代码


## Windows替代bash的工具

**1. Git Bash**  
```bash
# 包含常用Linux命令
ls, grep, ssh, scp, awk等
```

**2. WSL (Windows Subsystem for Linux)**  
```bash
# 完整Linux环境
sudo apt install python3
```

**3. Cygwin**  
```bash
# POSIX兼容环境
cygwin.com/setup-x86_64.exe
```


## Windows终端工具推荐

| 工具 | 特点 | 适用场景 |
|------|------|----------|
| **Windows Terminal** | 多标签/色彩支持 | 日常开发 |
| **MobaXterm** | 内置X11/插件 | 远程开发 |
| **Tabby** | 跨平台/主题丰富 | 多平台用户 |
| **ConEmu** | 高度可定制 | 高级用户 |



## 开发工具跨平台方案

**最佳实践**：  
1. 代码编辑器统一使用VS Code（全平台支持）  
   - 配合Remote-SSH插件  
2. 数据库工具使用DBeaver/DataGrip  
3. 版本控制使用Git GUI（GitKraken/Fork）  

```bash
# 保持环境一致的建议：
- 使用WSL2开发环境
- 配置相同的.ssh/config文件
- 共享相同的IDE配置
```


## grep - 文本搜索

```bash
# 基本搜索
grep "error" logfile.txt

# 递归搜索目录
grep -r "function" src/

# 显示行号
grep -n "TODO" *.py

# 反向匹配
grep -v "success" results.log
```

**案例**：  
- 在日志中查找错误信息  
- 分析代码库中的特定模式


## sed - 流编辑器

```bash
# 替换文本
sed 's/old/new/g' file.txt

# 删除空行
sed '/^$/d' file.txt

# 原地编辑文件
sed -i 's/python/python3/g' script.sh
```

**案例**：  
- 批量重命名文件中的字符串  
- 清理数据文件中的不规范格式


## awk - 文本处理

```bash
# 打印特定列
awk '{print $1,$3}' data.csv

# 条件过滤
awk '$3 > 100 {print $0}' sales.txt

# 使用分隔符
awk -F',' '{print $2}' users.csv
```

**案例**：  
- 分析服务器日志统计状态码  
- 处理CSV格式数据


## find & xargs - 文件查找处理

```bash
# 查找并删除
find . -name "*.tmp" -delete

# 查找并处理
find /var/log -name "*.log" | xargs ls -lh

# 复杂组合
find src/ -type f -name "*.js" | xargs grep -l "deprecated"
```

**案例**：  
- 清理旧临时文件  
- 批量处理项目文件


## 代码编辑器

- **VS Code**：现代轻量级编辑器
  - 丰富的插件生态
  - 内置Git支持
- **Vim**：终端高效编辑器
  ```bash
  vim file.txt
  ```
- **RStudio**：R语言集成环境
- **JupyterLab**：交互式笔记本环境



## Git版本控制

```bash
# 基本工作流
git clone https://repo.url
git add .
git commit -m "message"
git push

# 分支管理
git checkout -b new-feature
git merge main
```

**案例**：  
- 团队协作开发  
- 版本回滚与问题追踪


## MySQL数据库

```sql
-- 基本查询
SELECT * FROM users WHERE age > 18;

-- 创建表
CREATE TABLE products (
  id INT PRIMARY KEY,
  name VARCHAR(100)
);

-- 数据操作
INSERT INTO products VALUES (1, 'Laptop');
UPDATE products SET price=999 WHERE id=1;
```

**案例**：  
- Web应用数据存储  
- 数据分析与报表生成



# 公开数据获取

## 案例：全国气象数据

```{bash}
#| eval: false
#!/bin/bash
logfn="${HOME}/service/log/nationalairquality/nationalairquality.log"
workdirfn="${HOME}/service/nationalairquality/"
mkdir -p "$(dirname "${logfn}")"
touch "${logfn}"

echo "$(date '+%Y-%m-%d %H:%M:%S'): 下载大气质量数据" >>"${logfn}"

declare -a citynames

citynames=(北京市 石家庄市 秦皇岛市)

jsonfn="${workdirfn}/nationalairquality_$(date '+%Y%d%m%H').json"
jsonfn="nationalairquality_$(date '+%Y%d%m%H').json"
# [[ -f "${jsonfn}" ]] && rm "${jsonfn}"
echo "[" >"${jsonfn}"

for cityname in "${citynames[@]}"; do
  echo "下载${cityname}空气质量数据..." >>"${logfn}"
  curl "https://air.cnemc.cn:18007/CityData/GetAQIDataPublishLive?cityName=${cityname}" \
    -H 'Accept: */*' \
    -H 'Accept-Language: en-US,en;q=0.9' \
    -H 'Connection: keep-alive' \
    -H 'Referer: https://air.cnemc.cn:18007/' \
    -H 'Sec-Fetch-Dest: empty' \
    -H 'Sec-Fetch-Mode: cors' \
    -H 'Sec-Fetch-Site: same-origin' \
    -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36' \
    -H 'X-Requested-With: XMLHttpRequest' \
    -H 'sec-ch-ua: "Google Chrome";v="119", "Chromium";v="119", "Not?A_Brand";v="24"' \
    -H 'sec-ch-ua-mobile: ?0' \
    -H 'sec-ch-ua-platform: "macOS"' \
    --compressed --silent | jq | sed -e '1d' -e '$d' -e 's/^\( *}\)$/\1,/' >>"${jsonfn}"
done
sed -i '' '$s/},/}/' "${jsonfn}"
echo "]" >>"${jsonfn}"

echo "大气质量数据下载完成！" >>"${logfn}"
echo "开始上传数据库..." >>"${logfn}"
/home/ming/bin/getnationalairquality.R "${jsonfn}"
echo "上传数据库完毕！" >>"${logfn}"
```

## R代码

```{r}
#| eval: false
#| echo: true

#!/usr/bin/Rscript

jsonfn <- commandArgs(TRUE)[1]
# jsonfn <- "~/nationalairquality_2023191219.json"
jsondf <- jsonlite::fromJSON(jsonfn, flatten = TRUE)
# metadf <- tibble::as_tibble(jsondf) |>
#   dplyr::select(site = StationCode, name = PositionName, Area, lon = Longitude, lat = Latitude) |>
#   dplyr::mutate(lon = as.numeric(lon), lat = as.numeric(lat))
# DBI::dbWriteTable(conn, "metadf", metadf, overwrite = TRUE, row.names = FALSE)
airqualitydf <- tibble::as_tibble(jsondf) |>
  dplyr::select(
    datetime = TimePoint,
    site = StationCode,
    `CO_mg/m3` = CO,
    `CO_24h_mg/m3` = CO_24h,
    `NO2_μg/m3` = NO2,
    `NO2_24h_μg/m3` = NO2_24h,
    `O3_μg/m3` = O3,
    `O3_24h_μg/m3` = O3_24h,
    `O3_8h_μg/m3` = O3_8h,
    `O3_8h_24h_μg/m3` = O3_8h_24h,
    `PM10_μg/m3` = PM10,
    `PM10_24h_μg/m3` = PM10_24h,
    `PM2.5_μg/m3` = PM2_5,
    `PM2.5_24h_μg/m3` = PM2_5_24h,
    `SO2_μg/m3` = SO2,
    `SO2_24h_μg/m3` = SO2_24h,
    `NO_μg/m3` = NO,
    `NO_24h_μg/m3` = NO_24h,
    `NOx_μg/m3` = NOx,
    `NOx_24h_μg/m3` = NOx_24h,
    AQI,
    COLevel,
    NO2Level,
    O3Level,
    O3_8hLevel,
    PM10Level,
    PM2_5Level,
    SO2Level,
    PrimaryPollutant,
    Quality,
    Unheathful
  ) |>
  dplyr::mutate(dplyr::across(
    `CO_mg/m3`:AQI,
    ~ round(readr::parse_number(.x), 4)
  )) |>
  dplyr::mutate(datetime = lubridate::as_datetime(datetime))
conn <- cctdb::get_dbconn("nationalairquality", writepermission = TRUE)
DBI::dbWriteTable(
  conn,
  "airqualitydf",
  airqualitydf,
  append = TRUE,
  row.names = FALSE
)
DBI::dbDisconnect(conn)
```



## 欢迎讨论！{.center}


`r rmdify::slideend(wechat = FALSE, type = "public", tel = FALSE, thislink = "https://drc.drwater.net/course/public/RWEP/PUB/SD/")`