Update Jenkinsfile

添加网易前端过滤敏感词库

.dockerignore

@@ -0,0 +1,27 @@
+.git
+.github
+.idea
+.vscode
+Dockerfile
+.dockerignore
+
+# Build outputs
+bin/
+build/
+dist/
+out/
+
+# Archives & temp
+*.zip
+*.tar
+*.tar.gz
+*.rar
+*.7z
+*.log
+*.tmp
+*.swp
+~*
+
+# Optional: exclude non-runtime assets
+Organized/
+ThirdPartyCompatibleFormats/

.github/FUNDING.yml

@@ -0,0 +1,15 @@
+# These are supported funding model platforms
+
+github: # Replace with up to 4 GitHub Sponsors-enabled usernames e.g., [user1, user2]
+patreon: # Replace with a single Patreon username
+open_collective: # Replace with a single Open Collective username
+ko_fi: # Replace with a single Ko-fi username
+tidelift: # Replace with a single Tidelift platform-name/package-name e.g., npm/babel
+community_bridge: # Replace with a single Community Bridge project-name e.g., cloud-foundry
+liberapay: # Replace with a single Liberapay username
+issuehunt: # Replace with a single IssueHunt username
+lfx_crowdfunding: # Replace with a single LFX Crowdfunding project-name e.g., cloud-foundry
+polar: # Replace with a single Polar username
+buy_me_a_coffee: # Replace with a single Buy Me a Coffee username
+thanks_dev: # Replace with a single thanks.dev username
+custom: # Replace with up to 4 custom sponsorship URLs e.g., ['link1', 'link2']

.github/workflows/main.yml

@@ -1,15 +1,9 @@
-name: 手动或自动上传 Release 包
+name: 自动测试压缩
 
 on:
   push:
     tags:
-      - '*'  # 自动触发：打 tag 时运行
-  workflow_dispatch:     # 手动触发支持
-    inputs:
-      tag_name:
-        description: '请输入 tag 名（如 1.0）'
-        required: true
-        default: '1.0'
+      - '*'
 
 jobs:
   release:
@@ -19,7 +13,6 @@ jobs:
       - name: 拉取代码
         uses: actions/checkout@v3
 
-      # 设置 tag 名 和 zip 文件名
       - name: 设置 Tag 和文件名
         id: release_info
         run: |
@@ -35,15 +28,3 @@ jobs:
       - name: 压缩项目
         run: |
           zip -r ${{ steps.release_info.outputs.file_name }} . -x '*.git*'
-
-      # 🎯 关键就在这！明确告诉 action 使用哪个 tag 来上传 release！
-      - name: 上传到 GitHub Release
-        uses: softprops/action-gh-release@v2
-        with:
-          tag_name: ${{ steps.release_info.outputs.tag_name }}
-          name: "Sensitive-lexicon ${{ steps.release_info.outputs.tag_name }}"
-          files: ${{ steps.release_info.outputs.file_name }}
-          draft: false
-          prerelease: false
-        env:
-          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}

.github/workflows/server.yml

@@ -0,0 +1,132 @@
+name: Server CI/CD
+
+on:
+  push:
+    branches: [ "dev", "master" ]
+    tags:
+      - '*'
+  pull_request:
+    branches: [ "dev", "master" ]
+
+permissions:
+  contents: read
+  packages: write
+
+jobs:
+  build:
+    name: Build server binaries
+    runs-on: ubuntu-latest
+    strategy:
+      matrix:
+        goos: [ linux, windows ]
+        goarch: [ amd64 ]
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v3
+
+      - name: Setup Go
+        uses: actions/setup-go@v4
+        with:
+          go-version: '1.22.x'
+          cache: true
+
+      - name: Download modules
+        run: go mod download
+
+      - name: Vet & Test
+        run: |
+          go vet ./...
+          go test ./... -v
+
+      - name: Build cmd/server
+        shell: bash
+        run: |
+          mkdir -p build
+          EXT=""
+          if [ "${{ matrix.goos }}" = "windows" ]; then EXT=".exe"; fi
+          OUT="server-${{ matrix.goos }}-${{ matrix.goarch }}${EXT}"
+          echo "Building $OUT"
+          GOOS=${{ matrix.goos }} GOARCH=${{ matrix.goarch }} \
+            go build -trimpath -ldflags="-s -w" -o "build/${OUT}" ./cmd/server
+
+      - name: Upload artifact
+        uses: actions/upload-artifact@v4
+        with:
+          name: server-${{ matrix.goos }}-${{ matrix.goarch }}
+          path: build/server-${{ matrix.goos }}-${{ matrix.goarch }}*
+
+  release:
+    name: Release binaries
+    needs: build
+    runs-on: ubuntu-latest
+    if: startsWith(github.ref, 'refs/tags/')
+    steps:
+      - name: Download artifacts
+        uses: actions/download-artifact@v4
+        with:
+          path: dist
+
+      - name: List artifacts
+        run: ls -R dist
+
+      - name: Create GitHub Release
+        uses: softprops/action-gh-release@v1
+        with:
+          files: dist/**/*
+          draft: false
+          prerelease: false
+        env:
+          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
+
+  docker:
+    name: Build and push Docker image
+    needs: build
+    runs-on: ubuntu-latest
+    steps:
+      - name: Checkout
+        uses: actions/checkout@v4
+
+      - name: Setup QEMU
+        uses: docker/setup-qemu-action@v3
+
+      - name: Setup Docker Buildx
+        uses: docker/setup-buildx-action@v3
+
+      - name: Log in to GHCR
+        uses: docker/login-action@v3
+        with:
+          registry: ghcr.io
+          username: ${{ github.actor }}
+          password: ${{ secrets.GITHUB_TOKEN }}
+
+      - name: Determine image name and tags
+        id: imagetags
+        shell: bash
+        run: |
+          IMAGE="ghcr.io/${{ github.repository_owner }}/sensitive-lexicon-server"
+          echo "IMAGE=$IMAGE" >> $GITHUB_ENV
+          if [ "${{ github.event_name }}" = "pull_request" ]; then
+            echo "PUSH=false" >> $GITHUB_ENV
+            echo "TAGS=${IMAGE}:pr-${{ github.event.pull_request.number }}" >> $GITHUB_ENV
+          elif [ "${{ github.ref_type }}" = "tag" ]; then
+            echo "PUSH=true" >> $GITHUB_ENV
+            echo "TAGS=${IMAGE}:${{ github.ref_name }},${IMAGE}:latest" >> $GITHUB_ENV
+          else
+            BRANCH="${{ github.ref_name }}"
+            echo "PUSH=true" >> $GITHUB_ENV
+            if [ "$BRANCH" = "dev" ] || [ "$BRANCH" = "master" ]; then
+              echo "TAGS=${IMAGE}:latest,${IMAGE}:sha-${{ github.sha }}" >> $GITHUB_ENV
+            else
+              echo "TAGS=${IMAGE}:branch-${BRANCH},${IMAGE}:sha-${{ github.sha }}" >> $GITHUB_ENV
+            fi
+          fi
+          echo "Using tags: $TAGS"
+
+      - name: Build and push
+        uses: docker/build-push-action@v6
+        with:
+          context: .
+          file: ./Dockerfile
+          platforms: linux/amd64,linux/arm64
+          push: ${{ env.PUSH }}
+          tags: ${{ env.TAGS }}

.gitignore

@@ -0,0 +1,45 @@
+# Go build artifacts
+bin/
+build/
+dist/
+out/
+
+# Executables and shared libs
+*.exe
+*.exe~
+*.dll
+*.so
+*.dylib
+
+# Test and coverage outputs
+*.test
+coverage.out
+*.coverprofile
+
+# Logs
+*.log
+logs/
+
+# Env files
+.env
+.env.*
+
+# IDE settings
+.vscode/
+.idea/
+*.iml
+
+# OS files
+.DS_Store
+Thumbs.db
+
+# Archives and temporary files
+*.zip
+*.tar
+*.tar.gz
+*.rar
+*.7z
+*.tmp
+*.temp
+*.swp
+~*

Dockerfile

@@ -0,0 +1,37 @@
+# syntax=docker/dockerfile:1.4
+FROM golang:1.22-alpine AS builder
+WORKDIR /src
+
+# Pre-fetch deps
+COPY go.mod go.sum ./
+RUN go mod download
+
+# Copy source
+COPY . .
+
+# Normalize and tidy modules inside build context
+RUN go mod tidy
+
+# Build static binary for target platform
+ARG TARGETOS
+ARG TARGETARCH
+ENV CGO_ENABLED=0
+RUN GOOS=$TARGETOS GOARCH=$TARGETARCH \
+    go build -trimpath -ldflags="-s -w" -o /out/server ./cmd/server
+
+FROM gcr.io/distroless/static:nonroot
+WORKDIR /app
+
+# App binary
+COPY --from=builder /out/server /app/server
+
+# Default lexicon files
+COPY Vocabulary /app/Vocabulary
+
+# Default envs
+ENV PORT=8080
+ENV LEXICON_DIR=Vocabulary
+
+EXPOSE 8080
+USER nonroot
+ENTRYPOINT ["/app/server"]

Jenkinsfile

@@ -0,0 +1,98 @@
+pipeline {
+  agent {label 'dockeragent'}
+  // 构建逻辑已迁移到 Dockerfile，Jenkins 不再进行本地 go build
+
+  environment {
+    GO111MODULE = 'on'        // 开启 Modules 模式
+    CGO_ENABLED = '0'
+    APP_NAME = 'sensitive-lexicon'
+    REGISTRY = 'crpi-vqe38j3xeblrq0n4.cn-hangzhou.personal.cr.aliyuncs.com/go-mctown'
+  }
+
+  stages {
+    stage('Checkout') {
+      steps {
+        checkout scm
+      }
+    }
+
+    // 使用 Dockerfile 完成编译与打包，仅保留镜像构建与推送
+    stage('Docker Build & Push') {
+      steps {
+        withCredentials([usernamePassword(
+          credentialsId: 'aliyun-docker-login',
+          usernameVariable: 'DOCKER_USERNAME',
+          passwordVariable: 'DOCKER_PASSWORD'
+        )]) {
+          sh """
+            echo "\$DOCKER_PASSWORD" | docker login --username \$DOCKER_USERNAME --password-stdin ${env.REGISTRY.split('/')[0]}
+          """
+        }
+
+        script {
+          def imageTag = "${env.REGISTRY}/${env.APP_NAME}:${env.BUILD_NUMBER}"
+          def latestTag = "${env.REGISTRY}/${env.APP_NAME}:latest"
+
+          sh """
+            ls -l
+            docker build -t ${imageTag} --network=host .
+            docker tag ${imageTag} ${latestTag}
+            docker push ${imageTag}
+            docker push ${latestTag}
+          """
+        }
+      }
+    }
+
+stage('Deploy All Compose Projects') {
+      parallel {
+        stage('Deploy compose1') {
+  agent {label 'dockeragent'}
+          steps {
+
+              checkout scm
+                              sh """
+                pwd
+                ls -l
+                """
+            dir('deploy/compose') {
+              script {
+                withCredentials([usernamePassword(
+                  credentialsId: 'aliyun-docker-login',
+                  usernameVariable: 'DOCKER_USERNAME',
+                  passwordVariable: 'DOCKER_PASSWORD'
+                )]) {
+                  sh """
+                    echo "$DOCKER_PASSWORD" | docker login --username "$DOCKER_USERNAME" --password-stdin ${env.REGISTRY.split('/')[0]}
+                  """
+                }
+                sh """
+                pwd
+                ls -l
+                docker compose -f docker-compose.yml down || true
+                docker compose -f docker-compose.yml pull
+                docker compose -f docker-compose.yml up -d --remove-orphans
+                """
+              }
+            }
+          }
+        }
+
+      }
+    }
+
+
+  }
+
+  post {
+    always {
+      cleanWs()
+    }
+    success {
+      echo "✅ 构建成功！"
+    }
+    failure {
+      echo "🔥 构建失败，请检查日志。"
+    }
+  }
+}

Organized/政治类型.txt

@@ -0,0 +1 @@
+

README.md

@@ -10,8 +10,8 @@
 
 * [简介](#简介)
 * [功能特点](#功能特点)
+* [目录结构](#目录结构)
 * [快速开始](#快速开始)
-
   * [集成到项目](#集成到项目)
   * [贡献词汇](#贡献词汇)
 * [注意事项](#注意事项)
@@ -29,12 +29,22 @@ Sensitive‑lexicon 提供了一份广泛覆盖政治、色情、暴力等敏感
 * **易于集成**：纯文本格式，可在任意语言/框架中直接引用。
 * **社区驱动**：欢迎 Issue / PR，携手打造更完整的词库。
 
+## 目录结构
+```
+Sensitive-lexicon/
+├── ThirdPartyCompatibleFormats/        # 用于第三方格式
+├── Organized/                          # 已经进行整理的词库
+├── Vocabulary/                         # 词汇库
+├── LICENSE                             # 许可证
+└── README.md                           # 项目说明
+```
+
 ## 快速开始
 
 ### 集成到项目
 
 1. 克隆或下载本仓库。
-2. 在您的代码中读取 `sensitive-lexicon.txt`（或您需要的分支文件）。
+2. 在您的代码中读取 `词库中的 .txt 文件`（或您需要的分支文件）。
 3. 根据业务场景，选择合适的匹配算法（如 DFA、Trie、正则表达式等）进行过滤。
 
 ```bash
@@ -44,7 +54,7 @@ git clone https://github.com/Konsheng/Sensitive-lexicon.git
 
 ### 贡献词汇
 
-* **Pull Request**：在 `Vocabulary/` 目录新增或修改词条，并提交 PR。
+* **Pull Request**：在 `Vocabulary/` 词汇库目录新增或修改词条，并提交 PR。
 * **Issue**：如果不确定具体实现，欢迎通过 Issue 提出建议或讨论。
 
 > **提示**：PR 请附上来源或用例，便于维护者审核。
@@ -73,3 +83,21 @@ git clone https://github.com/Konsheng/Sensitive-lexicon.git
     <img alt="Star History Chart" src="https://api.star-history.com/svg?repos=konsheng/Sensitive-lexicon&type=Date" />
   </picture>
 </a>
+
+## 运行敏感词检测服务（Fiber + fuzzy-patricia）
+
+```bash
+# Windows PowerShell 示例
+$env:PORT="8080"; $env:LEXICON_DIR="Vocabulary"; $env:FUZZY_MAX_DISTANCE="1"
+
+# 构建并运行
+go mod tidy
+go build -o bin\server.exe ./cmd/server
+./bin/server.exe
+```
+
+- POST `/detect`
+  - 请求体: `{ "text": "待检测文本", "enable_fuzzy": true }`
+  - 响应: `{ "hits": [{"word":"...","type":"substring|fuzzy","distance":0}] }`
+- POST `/reload` 重新加载 `Vocabulary` 目录
+- GET `/health` 存活探针

Vocabulary/其他词库.txt

@@ -1,3 +1,4 @@
+力工
 穴海
 协警
 纳米比亚

Vocabulary/广告类型.txt

@@ -0,0 +1,123 @@
+兼职
+招聘
+网络
+QQ
+招聘
+有意者
+到货
+本店
+代购
+扣扣
+客服
+微店
+兼职
+兼值
+淘宝
+小姐
+妓女
+包夜
+3P
+LY
+JS
+狼友
+技师
+推油
+胸推
+BT
+毒龙
+口爆
+兼职
+楼凤
+足交
+口暴
+口交
+全套
+SM
+桑拿
+吞精
+咪咪
+婊子
+乳方
+操逼
+全职
+性伴侣
+网购
+网络工作
+代理
+专业代理
+帮忙点一下
+帮忙点下
+请点击进入
+详情请进入
+私人侦探
+私家侦探
+针孔摄象
+调查婚外情
+信用卡提现
+无抵押贷款
+广告代理
+原音铃声
+借腹生子
+找个妈妈
+找个爸爸
+代孕妈妈
+代生孩子
+代开发票
+腾讯客服电话
+销售热线
+免费订购热线
+低价出售
+款到发货
+回复可见
+连锁加盟
+加盟连锁
+免费二级域名
+免费使用
+免费索取
+蚁力神
+婴儿汤
+售肾
+刻章办
+买小车
+套牌车
+玛雅网
+电脑传讯
+视频来源
+下载速度
+高清在线
+全集在线
+在线播放
+txt下载
+六位qq
+6位qq
+位的qq
+个qb
+送qb
+用刀横向切腹
+完全自杀手册
+四海帮
+足球投注
+地下钱庄
+中国复兴党
+阿波罗网
+曾道人
+六合彩
+改卷内幕
+替考试
+隐形耳机
+出售答案
+考中答案
+答an
+da案
+资金周转
+救市
+股市圈钱
+崩盘
+资金短缺
+证监会
+质押贷款
+小额贷款
+周小川
+刘明康
+尚福林
+孔丹

Vocabulary/政治类型.txt

@@ -0,0 +1,326 @@
+习近平
+平近习
+xjp
+习太子
+习明泽
+老习
+温家宝
+温加宝
+温x
+温jia宝
+温宝宝
+温加饱
+温加保
+张培莉
+温云松
+温如春
+温jb
+胡温
+胡x
+胡jt
+胡boss
+胡总
+胡王八
+hujintao
+胡jintao
+胡j涛
+胡惊涛
+胡景涛
+胡紧掏
+湖紧掏
+胡紧套
+锦涛
+hjt
+胡派
+胡主席
+刘永清
+胡海峰
+胡海清
+江泽民
+民泽江
+江胡
+江哥
+江主席
+江书记
+江浙闽
+江沢民
+江浙民
+择民
+则民
+茳泽民
+zemin
+ze民
+老江
+老j
+江core
+江x
+江派
+江zm
+jzm
+江戏子
+江蛤蟆
+江某某
+江贼
+江猪
+江氏集团
+江绵恒
+江绵康
+王冶坪
+江泽慧
+邓小平
+平小邓
+xiao平
+邓xp
+邓晓平
+邓朴方
+邓榕
+邓质方
+毛泽东
+猫泽东
+猫则东
+猫贼洞
+毛zd
+毛zx
+z东
+ze东
+泽d
+zedong
+毛太祖
+毛相
+主席画像
+改革历程
+朱镕基
+朱容基
+朱镕鸡
+朱容鸡
+朱云来
+李鹏
+李peng
+里鹏
+李月月鸟
+李小鹏
+李小琳
+华主席
+华国
+国锋
+国峰
+锋同志
+白春礼
+薄熙来
+薄一波
+蔡赴朝
+蔡武
+曹刚川
+常万全
+陈炳德
+陈德铭
+陈建国
+陈良宇
+陈绍基
+陈同海
+陈至立
+戴秉国
+丁一平
+董建华
+杜德印
+杜世成
+傅锐
+郭伯雄
+郭金龙
+贺国强
+胡春华
+耀邦
+华建敏
+黄华华
+黄丽满
+黄兴国
+回良玉
+贾庆林
+贾廷安
+靖志远
+李长春
+李春城
+李建国
+李克强
+李岚清
+李沛瑶
+李荣融
+李瑞环
+李铁映
+李先念
+李学举
+李源潮
+栗智
+梁光烈
+廖锡龙
+林树森
+林炎志
+林左鸣
+令计划
+柳斌杰
+刘奇葆
+刘少奇
+刘延东
+刘云山
+刘志军
+龙新民
+路甬祥
+罗箭
+吕祖善
+马飚
+马恺
+孟建柱
+欧广源
+强卫
+沈跃跃
+宋平顺
+粟戎生
+苏树林
+孙家正
+铁凝
+屠光绍
+王东明
+汪东兴
+王鸿举
+王沪宁
+王乐泉
+王洛林
+王岐山
+王胜俊
+王太华
+王学军
+王兆国
+王振华
+吴邦国
+吴定富
+吴官正
+无官正
+吴胜利
+吴仪
+奚国华
+习仲勋
+徐才厚
+许其亮
+徐绍史
+杨洁篪
+叶剑英
+由喜贵
+于幼军
+俞正声
+袁纯清
+曾培炎
+曾庆红
+曾宪梓
+曾荫权
+张德江
+张定发
+张高丽
+张立昌
+张荣坤
+张志国
+赵洪祝
+紫阳
+周生贤
+周永康
+朱海仑
+中南海
+大陆当局
+中国当局
+北京当局
+共产党
+党产共
+共贪党
+阿共
+产党共
+公产党
+工产党
+共c党
+共x党
+共铲
+供产
+共惨
+供铲党
+供铲谠
+供铲裆
+共残党
+共残主义
+共产主义的幽灵
+拱铲
+老共
+中共
+中珙
+中gong
+gc党
+贡挡
+gong党
+g产
+狗产蛋
+共残裆
+恶党
+邪党
+共产专制
+共产王朝
+裆中央
+土共
+土g
+共狗
+g匪
+共匪
+仇共
+政府
+症腐
+政腐
+政付
+正府
+政俯
+政f
+zhengfu
+政zhi
+挡中央
+档中央
+中央领导
+中国zf
+中央zf
+国wu院
+中华帝国
+gong和
+大陆官方
+北京政权
+江泽民
+胡锦涛
+温家宝
+习近平
+习仲勋
+贺国强
+贺子珍
+周永康
+李长春
+李德生
+王岐山
+姚依林
+回良玉
+李源潮
+李干成
+戴秉国
+黄镇
+刘延东
+刘瑞龙
+俞正声
+黄敬
+薄熙
+薄一波
+周小川
+周建南
+温云松
+徐明
+江泽慧
+江绵恒
+江绵康
+李小鹏
+李鹏
+李小琳
+朱云来
+朱容基
+法轮功
+李洪志
+新疆骚乱

Vocabulary/涉枪涉爆.txt

@@ -0,0 +1,437 @@
+出售雷管
+炸药
+炸药
+出售炸药
+出售炸药 电话
+制作火药配方
+炸药出售 
+出售雷管炸药
+火药配方
+在家里做原子弹
+硝酸甘油炸弹制作
+TNT 炸弹的制作
+硝铵炸药配方
+硝酸甘油制作
+炸弹配方
+简易炸药
+火药制作简易炸弹
+炸弹制作
+硝酸甘油
+硝酸甘油炸弹制作方法
+手把手教你做炸弹
+恐怖分子傻瓜手册
+氢弹手工制作方法
+起爆器
+自制燃烧弹
+燃烧弹
+弹药制造方法
+液体炸药配方
+炸药配方与制作
+自制炸药配方
+tnt炸药成分
+炸药的制作
+tnt炸药配方
+各种炸药配方大全
+炸药的成分
+燃烧弹的制作方 
+黑火药的配方
+黑火药的制作
+黑火药比例
+燃烧弹 制作
+黑火药配方比例
+黑火药的成分
+原子弹配方
+原子弹DIY教程
+C4炸药
+雷管出售
+制作硝化甘油
+DIY核弹
+核弹制作方法
+原子弹制作手册
+简易原子弹教程
+黑火药配方
+自制炸药方法
+教你怎么用土办法做武器
+莫洛托夫鸡尾酒的配方
+zz炸弹的制作方法
+C4炸药的成分
+炸药制造生产工艺
+原子弹制造完全手册
+「红烧兔子」大餐
+汽车炸弹制作
+人体炸弹制作流程
+炸弹制作从入门
+鸡尾酒炸弹制作
+集束炸弹制作
+硝酸铵的简便制取方法
+莫洛托夫燃烧弹
+塑胶炸弹
+用火药混合塑料
+高性能爆炸物质混合
+原子弹 制作方法
+手教你制作原子弹
+轻型巡航导弹的制作
+黑索金的制造过程
+Zha药制造进程
+购买自爆材料
+可塑炸弹制作方法
+C4塑胶炸药
+水浴法制TNT
+简易核弹头的制造
+高爆炸药的基本配方
+如何制硝化甘油
+燃烧剂的简易制备
+简易大威力炸弹
+炸弹制作入门
+硝酸甘油炸药制作
+基本配方是硝酸甘
+燃烧剂的简易制作
+制作性能优良的燃烧弹
+酸甘油炸药
+简易导弹制作
+核弹头的制造
+可塑炸弹制作
+炸药硝酸甘油制法
+原子弹制作方法
+火药的配方
+手教你做原子弹
+怎么用土办法做武器
+手把手教你制作原子弹
+燃烧弹的制作方法
+怎么自制燃烧弹
+TNT炸弹制作
+高爆炸药基本配方
+爆破和杀伤燃烧弹
+炸弹制作从入门到精
+写的炸弹制作教程
+原子弹制作 方法
+教你制作原子弹
+下硝化甘油的制作方法
+DIY原子弹
+原子弹制作
+炸药及其制造方法
+ATOM弹制造
+三分钟教你原子弹
+火药原理
+简易炸弹
+简易燃烧弹
+土炸药成份
+你怎么用土办法做武器
+燃烧弹制作
+燃烧瓶的制作方法
+炸弹制作手册 硫酸
+原子弹制作方法DIY
+汽油三分之一白糖混合
+炸药的制作配方
+燃烧弹的制作方
+炸药的配方
+如何自制燃烧弹
+标准炸弹教程
+黑火药和硝酸钾农药混合
+恐怖分子自己制造炸弹
+手柄制作炸弹引爆器
+制作炸弹首先要
+燃烧瓶制作
+出售炸药QQ
+出售气枪
+出售气枪 QQ
+出售气枪 电话
+出售手枪
+出售手枪 QQ
+出售手枪 电话
+出售猎枪
+出售猎枪 QQ
+出售猎枪 电话
+出售汽枪
+出售步枪
+出售狙击枪
+出售手狗
+出售气狗
+出售猎狗
+【手枪出售】联系电话
+64式手枪出售
+92式手枪出售
+出售:高仿真枪
+出售54式手枪
+出售M1911
+出售各类猎狗
+出售国产军用54手枪
+出售火枪 –游戏
+出售进口金属枪模
+出售仿真枪
+出售麻醉枪免收任何定金
+出售手枪=货到付款
+出售外国枪模
+出售袖珍手枪
+娥眉气枪出售
+防身手枪QQ
+防身武器手枪
+仿真枪QQ
+钢珠枪小口径步枪
+高压狗QQ
+高压气枪,气枪子弹
+高压气枪|电狗专卖
+高压气枪|气枪货到付款
+高压气枪专卖店
+各类军用枪
+各类军用枪支
+各式气枪出售
+工字牌气枪出售专卖
+气枪
+工字汽狗麻醉枪
+供应军用手枪
+供应汽枪
+购买枪支QQ
+国产汽狗专卖|气枪货
+集团出售手枪
+集团出售手枪气枪
+进口气枪,气枪子弹
+军用54出售
+军用77出售
+军用手枪钢珠枪
+里有汽枪出售
+猎枪出售/枪
+猎枪仿真枪QQ
+猎枪麻醉枪钢珠枪
+猎枪哪里有卖
+猎枪手枪买卖
+猎枪销售手枪销售气枪
+猎枪专卖店
+猎枪子弹底火专卖
+麻醉枪出售可验货
+麻醉枪猎枪军用
+买卖54狗
+买卖64狗
+买卖警察枪支
+买卖军狗
+买卖军用枪支
+卖64手枪
+卖92手枪
+卖钢珠枪QQ
+哪里能买到自制手枪  
+哪里有钢珠枪
+哪里有连发猎枪买卖
+哪里有卖双管猎
+哪里有气枪卖
+哪里有枪出售
+哪里有真枪出售
+哪里有真枪卖买
+哪能买到真枪
+期出售手枪气枪猎
+气狗 高压气枪
+气狗出售 进口气狗
+气枪专卖网
+气枪/出售/专卖网
+气枪/猎枪/钢珠枪
+气枪仿真枪出售
+气枪购买|气枪组装
+气枪货到付款,汽狗出售
+气枪价格 仿真气枪
+气枪价格，气枪专卖店
+气枪看货加QQ
+气枪联系QQ
+气枪猎枪麻醉枪
+气枪迷魂药
+汽狗高压汽枪
+铅弹 上海工字气枪
+全金属仿真枪专卖
+热武器QQ
+三箭气枪出售
+手枪气* 枪猎
+手槍买卖自制手枪
+售枪购买手枪
+售手枪QQ
+司马仿真枪模型QQ
+淘宝气枪货到付款
+提供气狗专卖店
+提供专业及时的气狗
+秃鹰气枪货到付款
+锡峰气枪出售
+仙鹤气枪出售
+销售/专卖/买卖77式手枪
+销售电手狗
+销售气手狗
+销售小口径步枪
+销售运动步枪
+小口径秃鹰沙漠
+有军用枪支出售
+长期出 售手枪
+折叠狗QQ
+转让 猎枪
+子弹货到付款
+自制手枪哪里买  
+自制手枪哪里有卖
+阻击枪/汽枪/高压气枪
+组装手枪  
+最新销售汽狗
+出售警用手铐|仿真枪
+猎枪|真枪
+手枪|阻击枪
+弓弩专营
+弓弩专卖网货到付款
+弓弩专卖网
+弓弩专卖货到付款
+弓弩专卖店网
+弓弩专卖店
+弓弩专卖
+弓弩制作
+弓弩直销
+弓弩有限公司
+弓弩营销中心
+弓弩一百专卖店
+弓弩销售
+弓弩网 
+弓弩网
+弓弩图纸
+弓弩特许经销
+弓弩狩猎网
+自制手弩
+追风弓弩麻醉箭专卖
+专业弓弩网
+中国战神军用弓弩
+中国弩弓专卖
+中国弓弩专卖网
+中国弓弩直销
+中国弓弩网
+中国弓弩狩猎网
+中国弓驽网
+制作简易弓弩 
+郑州弓弩专卖
+赵氏弓弩专卖网
+赵氏弓弩专卖店
+赵氏弓弩专卖
+赵氏弓弩销售
+小型弓弩专卖店
+小猎人弓弩网
+狩猎器材弓弩专卖
+狩猎器材弓弩
+狩猎弓弩专卖网
+狩猎弓弩专卖
+狩猎弓弩麻醉箭
+手枪式折叠三用弩
+三利达弓弩专卖网
+三利达弓弩直营
+三利达弓弩配件
+三步倒药箭批发
+三步倒弩箭专卖
+三步倒麻醉弩箭销售
+三步倒麻醉箭专卖
+三步倒麻醉箭
+三步倒捕狗药
+军用弓弩专卖网
+军用弓弩专卖店
+军用弓弩批发
+军用弓弩公司
+供应三利达弓弩麻醉箭
+供应三步倒麻醉箭
+供应秦氏弓弩
+供应弩用麻醉箭
+供应弩捕狗箭
+供应麻醉箭三步倒
+供应麻醉箭批发
+供应麻醉箭
+供应军用弩折叠弩
+供应军用弓弩专卖
+供应精品弓弩
+供应弓弩麻醉箭
+供应弓弩
+供应钢珠弓弩
+弓弩商城专卖
+弓弩商城
+弓弩亲兄弟货到付款
+弓弩批发
+弓弩免定金货到付款
+弓弩麻醉箭
+弓弩麻醉镖
+弓弩论坛 
+钢珠弓弩专卖网
+钢珠弓弩专卖店
+打狗弓弩三步倒
+麻醉弓弩专卖店
+出售军刀
+出售军刺
+出售弹簧刀
+出售三棱刀
+出售跳刀
+军刀网
+南方军刀网
+户外军刀网
+三棱军刺专卖
+出售开山刀军刺
+西点军刀网
+军刀专 卖
+戈博军刀
+阿兰德龙户外
+出售军品军刀
+勃朗宁军刀
+军刀军品网
+阿兰得龙野营刀具网
+出售军刺军刀
+警用刀具出售
+折刀专卖网
+阳江军品军刀网
+野营刀专卖
+砍刀精品折刀专卖
+匕首蝴蝶甩刀专卖
+军刀专卖军刺
+军刀专卖刀具批发
+军刀图片砍刀
+军刀网军刀专卖
+军刀价格军用刀具
+军品军刺网
+军刀军刺甩棍
+阳江刀具批发网
+北方先锋军刀
+正品军刺出售
+野营军刀出售
+开山刀砍刀出售
+仿品军刺出售
+军刀直刀专卖
+手工猎刀专卖
+自动跳刀专卖
+军刀电棍销售
+军刀甩棍销售
+美国军刀出售
+极端武力折刀
+防卫棍刀户外刀具
+阿兰德龙野营刀
+仿品军刺网
+野营砍刀户外军刀
+手工猎刀户外刀具
+中国户外刀具网
+西点军品军刀网
+野营开山刀军刺
+三利达弓弩军刀
+尼泊尔军刀出售
+防卫野营砍刀出售
+防卫著名军刀出售
+防卫棍刀出售
+防卫甩棍出售
+防卫电棍出售
+军刺野营砍刀出售
+著名精品折刀出售
+战术军刀出售
+刺刀专卖网
+户外军刀出售
+阳江刀具直销网
+冷钢刀具直销网
+防卫刀具直销网
+极端武力直销网
+刀具直销网
+军刀直销网
+直刀匕首直销网
+军刀匕首直销网
+折刀砍刀军品网
+野营刀具军品网
+阳江刀具军品网
+冷钢刀具军品网
+防卫刀具军品网
+极端武力军品网
+军用刀具军品网
+军刀直刀军品网
+折刀砍刀专卖
+野营刀具专卖
+阳江刀具专卖
+冷钢刀具专卖
+防卫刀具专卖
+出售美军现役军刀

Vocabulary/色情类型.txt

@@ -0,0 +1,304 @@
+爱液
+按摩棒
+拔出来
+爆草
+包二奶
+暴干
+暴奸
+暴乳
+爆乳
+暴淫
+被操
+被插
+被干
+逼奸
+仓井空
+插暴
+操逼
+操黑
+操烂
+肏你
+肏死
+操死
+操我
+厕奴
+插比
+插b
+插逼
+插进
+插你
+插我
+插阴
+潮吹
+潮喷
+成人电影
+成人论坛
+成人色情
+成人网站
+成人文学
+成人小说
+艳情小说
+成人游戏
+吃精
+抽插
+春药
+大波
+大力抽送
+大乳
+荡妇
+荡女
+盗撮
+发浪
+放尿
+肥逼
+粉穴
+风月大陆
+干死你
+干穴
+肛交
+肛门
+龟头
+裹本
+国产av
+好嫩
+豪乳
+黑逼
+后庭
+后穴
+虎骑
+换妻俱乐部
+黄片
+几吧
+鸡吧
+鸡巴
+鸡奸
+妓女
+奸情
+叫床
+脚交
+精液
+就去日
+巨屌
+菊花洞
+菊门
+巨奶
+巨乳
+菊穴
+开苞
+口爆
+口活
+口交
+口射
+口淫
+裤袜
+狂操
+狂插
+浪逼
+浪妇
+浪叫
+浪女
+狼友
+聊性
+凌辱
+漏乳
+露b
+乱交
+乱伦
+轮暴
+轮操
+轮奸
+裸陪
+买春
+美逼
+美少妇
+美乳
+美腿
+美穴
+美幼
+秘唇
+迷奸
+密穴
+蜜穴
+蜜液
+摸奶
+摸胸
+母奸
+奈美
+奶子
+男奴
+内射
+嫩逼
+嫩女
+嫩穴
+捏弄
+女优
+炮友
+砲友
+喷精
+屁眼
+前凸后翘
+强jian
+强暴
+强奸处女
+情趣用品
+情色
+拳交
+全裸
+群交
+人妻
+人兽
+日逼
+日烂
+肉棒
+肉逼
+肉唇
+肉洞
+肉缝
+肉棍
+肉茎
+肉具
+揉乳
+肉穴
+肉欲
+乳爆
+乳房
+乳沟
+乳交
+乳头
+骚逼
+骚比
+骚女
+骚水
+骚穴
+色逼
+色界
+色猫
+色盟
+色情网站
+色区
+色色
+色诱
+色欲
+色b
+少年阿宾
+射爽
+射颜
+食精
+释欲
+兽奸
+兽交
+手淫
+兽欲
+熟妇
+熟母
+熟女
+爽片
+双臀
+死逼
+丝袜
+丝诱
+松岛枫
+酥痒
+汤加丽
+套弄
+体奸
+体位
+舔脚
+舔阴
+调教
+偷欢
+推油
+脱内裤
+文做
+舞女
+无修正
+吸精
+夏川纯
+相奸
+小逼
+校鸡
+小穴
+小xue
+性感妖娆
+性感诱惑
+性虎
+性饥渴
+性技巧
+性交
+性奴
+性虐
+性息
+性欲
+胸推
+穴口
+穴图
+亚情
+颜射
+阳具
+杨思敏
+要射了
+夜勤病栋
+一本道
+一夜欢
+一夜情
+一ye情
+阴部
+淫虫
+阴唇
+淫荡
+阴道
+淫电影
+阴阜
+淫妇
+淫河
+阴核
+阴户
+淫贱
+淫叫
+淫教师
+阴茎
+阴精
+淫浪
+淫媚
+淫糜
+淫魔
+淫母
+淫女
+淫虐
+淫妻
+淫情
+淫色
+淫声浪语
+淫兽学园
+淫书
+淫术炼金士
+淫水
+淫娃
+淫威
+淫亵
+淫样
+淫液
+淫照
+阴b
+应召
+幼交
+欲火
+欲女
+玉乳
+玉穴
+援交
+原味内衣
+援助交际
+招鸡
+招妓
+抓胸
+自慰
+作爱
+a片
+fuck
+gay片
+g点
+h动画
+h动漫
+失身粉
+淫荡自慰器

cmd/server/main.go

@@ -0,0 +1,96 @@
+package main
+
+import (
+	"github.com/go-playground/validator/v10"
+	"github.com/gofiber/fiber/v2"
+	"log"
+	"os"
+	"sensitive-lexicon/internal/detect"
+	"sensitive-lexicon/internal/lexicon"
+	"strconv"
+	"time"
+)
+
+type User struct {
+	Name       string    `json:"name" validate:"min=5,max=20"`
+	Age        int       `json:"age" validate:"gte=18"`
+	Enrollment time.Time `json:"enrollment" validate:"before_today"`
+	Graduation time.Time `json:"graduation" validate:"gtfield=Enrollment"`
+}
+
+// BeforeToday 验证日期是否在今天之前
+func BeforeToday(fl validator.FieldLevel) bool {
+	fieldTime, ok := fl.Field().Interface().(time.Time)
+	if !ok {
+		return false
+	}
+	return fieldTime.Before(time.Now())
+}
+func main() {
+	lexiconDir := getenv("LEXICON_DIR", "Vocabulary")
+	minNgram := getenvInt("FUZZY_MIN_NGRAM", 2)
+	maxNgram := getenvInt("FUZZY_MAX_NGRAM", 10)
+	maxDistance := getenvInt("FUZZY_MAX_DISTANCE", 1)
+
+	store := lexicon.NewStore()
+	if err := store.LoadFromDir(lexiconDir); err != nil {
+		log.Fatalf("failed to load lexicon: %v", err)
+	}
+
+	service := detect.NewService(store)
+	service.SetFuzzyConfig(detect.FuzzyConfig{MinNgramLen: minNgram, MaxNgramLen: maxNgram, MaxDistance: maxDistance})
+
+	app := fiber.New()
+	app.Get("/health", func(c *fiber.Ctx) error {
+		return c.JSON(fiber.Map{"status": "ok"})
+	})
+
+	app.Post("/detect", func(c *fiber.Ctx) error {
+		var req detect.DetectRequest
+		if err := c.BodyParser(&req); err != nil {
+			return fiber.NewError(fiber.StatusBadRequest, err.Error())
+		}
+		res := service.Detect(req)
+		return c.JSON(res)
+	})
+
+	app.Post("/contains", func(c *fiber.Ctx) error {
+		var req detect.ContainsRequest
+		if err := c.BodyParser(&req); err != nil {
+			return fiber.NewError(fiber.StatusBadRequest, err.Error())
+		}
+		res := service.Contains(req)
+		return c.JSON(res)
+	})
+
+	app.Post("/reload", func(c *fiber.Ctx) error {
+		if err := store.LoadFromDir(lexiconDir); err != nil {
+			return fiber.NewError(fiber.StatusInternalServerError, err.Error())
+		}
+		stats := store.Stats()
+		return c.JSON(stats)
+	})
+
+	port := getenv("PORT", "8080")
+	addr := ":" + port
+	log.Printf("listening on %s", addr)
+	if err := app.Listen(addr); err != nil {
+		log.Fatal(err)
+	}
+}
+
+func getenv(k, def string) string {
+	if v := os.Getenv(k); v != "" {
+		return v
+	}
+	return def
+}
+
+func getenvInt(k string, def int) int {
+	if v := os.Getenv(k); v != "" {
+		if i, err := strconv.Atoi(v); err == nil {
+			return i
+		}
+	}
+	return def
+}

go.mod

@@ -0,0 +1,30 @@
+module sensitive-lexicon
+
+go 1.22
+
+require (
+	github.com/go-playground/validator/v10 v10.27.0
+	github.com/gofiber/fiber/v2 v2.52.5
+	github.com/ozeidan/fuzzy-patricia v3.0.0+incompatible
+)
+
+require (
+	github.com/andybalholm/brotli v1.0.5 // indirect
+	github.com/gabriel-vasile/mimetype v1.4.8 // indirect
+	github.com/go-playground/locales v0.14.1 // indirect
+	github.com/go-playground/universal-translator v0.18.1 // indirect
+	github.com/google/uuid v1.5.0 // indirect
+	github.com/klauspost/compress v1.17.0 // indirect
+	github.com/leodido/go-urn v1.4.0 // indirect
+	github.com/mattn/go-colorable v0.1.13 // indirect
+	github.com/mattn/go-isatty v0.0.20 // indirect
+	github.com/mattn/go-runewidth v0.0.15 // indirect
+	github.com/rivo/uniseg v0.2.0 // indirect
+	github.com/valyala/bytebufferpool v1.0.0 // indirect
+	github.com/valyala/fasthttp v1.51.0 // indirect
+	github.com/valyala/tcplisten v1.0.0 // indirect
+	golang.org/x/crypto v0.33.0 // indirect
+	golang.org/x/net v0.34.0 // indirect
+	golang.org/x/sys v0.30.0 // indirect
+	golang.org/x/text v0.22.0 // indirect
+)

go.sum

@@ -0,0 +1,55 @@
+github.com/andybalholm/brotli v1.0.5 h1:8uQZIdzKmjc/iuPu7O2ioW48L81FgatrcpfFmiq/cCs=
+github.com/andybalholm/brotli v1.0.5/go.mod h1:fO7iG3H7G2nSZ7m0zPUDn85XEX2GTukHGRSepvi9Eig=
+github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
+github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
+github.com/gabriel-vasile/mimetype v1.4.8 h1:FfZ3gj38NjllZIeJAmMhr+qKL8Wu+nOoI3GqacKw1NM=
+github.com/gabriel-vasile/mimetype v1.4.8/go.mod h1:ByKUIKGjh1ODkGM1asKUbQZOLGrPjydw3hYPU2YU9t8=
+github.com/go-playground/assert/v2 v2.2.0 h1:JvknZsQTYeFEAhQwI4qEt9cyV5ONwRHC+lYKSsYSR8s=
+github.com/go-playground/assert/v2 v2.2.0/go.mod h1:VDjEfimB/XKnb+ZQfWdccd7VUvScMdVu0Titje2rxJ4=
+github.com/go-playground/locales v0.14.1 h1:EWaQ/wswjilfKLTECiXz7Rh+3BjFhfDFKv/oXslEjJA=
+github.com/go-playground/locales v0.14.1/go.mod h1:hxrqLVvrK65+Rwrd5Fc6F2O76J/NuW9t0sjnWqG1slY=
+github.com/go-playground/universal-translator v0.18.1 h1:Bcnm0ZwsGyWbCzImXv+pAJnYK9S473LQFuzCbDbfSFY=
+github.com/go-playground/universal-translator v0.18.1/go.mod h1:xekY+UJKNuX9WP91TpwSH2VMlDf28Uj24BCp08ZFTUY=
+github.com/go-playground/validator/v10 v10.27.0 h1:w8+XrWVMhGkxOaaowyKH35gFydVHOvC0/uWoy2Fzwn4=
+github.com/go-playground/validator/v10 v10.27.0/go.mod h1:I5QpIEbmr8On7W0TktmJAumgzX4CA1XNl4ZmDuVHKKo=
+github.com/gofiber/fiber/v2 v2.52.5 h1:tWoP1MJQjGEe4GB5TUGOi7P2E0ZMMRx5ZTG4rT+yGMo=
+github.com/gofiber/fiber/v2 v2.52.5/go.mod h1:KEOE+cXMhXG0zHc9d8+E38hoX+ZN7bhOtgeF2oT6jrQ=
+github.com/google/uuid v1.5.0 h1:1p67kYwdtXjb0gL0BPiP1Av9wiZPo5A8z2cWkTZ+eyU=
+github.com/google/uuid v1.5.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
+github.com/klauspost/compress v1.17.0 h1:Rnbp4K9EjcDuVuHtd0dgA4qNuv9yKDYKK1ulpJwgrqM=
+github.com/klauspost/compress v1.17.0/go.mod h1:ntbaceVETuRiXiv4DpjP66DpAtAGkEQskQzEyD//IeE=
+github.com/leodido/go-urn v1.4.0 h1:WT9HwE9SGECu3lg4d/dIA+jxlljEa1/ffXKmRjqdmIQ=
+github.com/leodido/go-urn v1.4.0/go.mod h1:bvxc+MVxLKB4z00jd1z+Dvzr47oO32F/QSNjSBOlFxI=
+github.com/mattn/go-colorable v0.1.13 h1:fFA4WZxdEF4tXPZVKMLwD8oUnCTTo08duU7wxecdEvA=
+github.com/mattn/go-colorable v0.1.13/go.mod h1:7S9/ev0klgBDR4GtXTXX8a3vIGJpMovkB8vQcUbaXHg=
+github.com/mattn/go-isatty v0.0.16/go.mod h1:kYGgaQfpe5nmfYZH+SKPsOc2e4SrIfOl2e/yFXSvRLM=
+github.com/mattn/go-isatty v0.0.20 h1:xfD0iDuEKnDkl03q4limB+vH+GxLEtL/jb4xVJSWWEY=
+github.com/mattn/go-isatty v0.0.20/go.mod h1:W+V8PltTTMOvKvAeJH7IuucS94S2C6jfK/D7dTCTo3Y=
+github.com/mattn/go-runewidth v0.0.15 h1:UNAjwbU9l54TA3KzvqLGxwWjHmMgBUVhBiTjelZgg3U=
+github.com/mattn/go-runewidth v0.0.15/go.mod h1:Jdepj2loyihRzMpdS35Xk/zdY8IAYHsh153qUoGf23w=
+github.com/ozeidan/fuzzy-patricia v3.0.0+incompatible h1:Pl61eMyfJqgY/wytiI4vamqPYribq6d8VxeP1CNyg9M=
+github.com/ozeidan/fuzzy-patricia v3.0.0+incompatible/go.mod h1:zgvuCcYS7wB7fVCGblsaFFmEe8+aAH13dTYm8FbrpsM=
+github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
+github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
+github.com/rivo/uniseg v0.2.0 h1:S1pD9weZBuJdFmowNwbpi7BJ8TNftyUImj/0WQi72jY=
+github.com/rivo/uniseg v0.2.0/go.mod h1:J6wj4VEh+S6ZtnVlnTBMWIodfgj8LQOQFoIToxlJtxc=
+github.com/stretchr/testify v1.8.4 h1:CcVxjf3Q8PM0mHUKJCdn+eZZtm5yQwehR5yeSVQQcUk=
+github.com/stretchr/testify v1.8.4/go.mod h1:sz/lmYIOXD/1dqDmKjjqLyZ2RngseejIcXlSw2iwfAo=
+github.com/valyala/bytebufferpool v1.0.0 h1:GqA5TC/0021Y/b9FG4Oi9Mr3q7XYx6KllzawFIhcdPw=
+github.com/valyala/bytebufferpool v1.0.0/go.mod h1:6bBcMArwyJ5K/AmCkWv1jt77kVWyCJ6HpOuEn7z0Csc=
+github.com/valyala/fasthttp v1.51.0 h1:8b30A5JlZ6C7AS81RsWjYMQmrZG6feChmgAolCl1SqA=
+github.com/valyala/fasthttp v1.51.0/go.mod h1:oI2XroL+lI7vdXyYoQk03bXBThfFl2cVdIA3Xl7cH8g=
+github.com/valyala/tcplisten v1.0.0 h1:rBHj/Xf+E1tRGZyWIWwJDiRY0zc1Js+CV5DqwacVSA8=
+github.com/valyala/tcplisten v1.0.0/go.mod h1:T0xQ8SeCZGxckz9qRXTfG43PvQ/mcWh7FwZEA7Ioqkc=
+golang.org/x/crypto v0.33.0 h1:IOBPskki6Lysi0lo9qQvbxiQ+FvsCC/YWOecCHAixus=
+golang.org/x/crypto v0.33.0/go.mod h1:bVdXmD7IV/4GdElGPozy6U7lWdRXA4qyRVGJV57uQ5M=
+golang.org/x/net v0.34.0 h1:Mb7Mrk043xzHgnRM88suvJFwzVrRfHEHJEl5/71CKw0=
+golang.org/x/net v0.34.0/go.mod h1:di0qlW3YNM5oh6GqDGQr92MyTozJPmybPK4Ev/Gm31k=
+golang.org/x/sys v0.0.0-20220811171246-fbc7d0a398ab/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
+golang.org/x/sys v0.6.0/go.mod h1:oPkhp1MJrh7nUepCBck5+mAzfO9JrbApNNgaTdGDITg=
+golang.org/x/sys v0.30.0 h1:QjkSwP/36a20jFYWkSue1YwXzLmsV5Gfq7Eiy72C1uc=
+golang.org/x/sys v0.30.0/go.mod h1:/VUhepiaJMQUp4+oa/7Zr1D23ma6VTLIYjOOTFZPUcA=
+golang.org/x/text v0.22.0 h1:bofq7m3/HAFvbF51jz3Q9wLg3jkvSPuiZu/pD1XwgtM=
+golang.org/x/text v0.22.0/go.mod h1:YRoo4H8PVmsu+E3Ou7cqLVH8oXWIHVoX0jqUWALQhfY=
+gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
+gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=

internal/detect/service.go

@@ -0,0 +1,144 @@
+package detect
+
+import (
+	"sort"
+	"strings"
+	"unicode/utf8"
+
+	"sensitive-lexicon/internal/lexicon"
+)
+
+type FuzzyConfig struct {
+	MinNgramLen int
+	MaxNgramLen int
+	MaxDistance int
+}
+
+type DetectRequest struct {
+	Text string `json:"text"`
+	// If true, enable fuzzy detection on n-grams within the text
+	EnableFuzzy bool `json:"enable_fuzzy"`
+}
+
+type Match struct {
+	Word     string `json:"word"`
+	Type     string `json:"type"` // substring | fuzzy
+	Distance int    `json:"distance,omitempty"`
+}
+
+type DetectResponse struct {
+	Hits []Match `json:"hits"`
+}
+
+type ContainsRequest struct {
+	Text string `json:"text"`
+}
+
+type ContainsResponse struct {
+	Contains bool   `json:"contains"`
+	Word     string `json:"word,omitempty"`
+}
+
+type Service struct {
+	store    *lexicon.Store
+	fuzzyCfg FuzzyConfig
+}
+
+func NewService(store *lexicon.Store) *Service {
+	return &Service{store: store, fuzzyCfg: FuzzyConfig{MinNgramLen: 2, MaxNgramLen: 10, MaxDistance: 1}}
+}
+
+func (s *Service) SetFuzzyConfig(cfg FuzzyConfig) {
+	s.fuzzyCfg = cfg
+}
+
+func (s *Service) Detect(req DetectRequest) DetectResponse {
+	text := strings.TrimSpace(req.Text)
+	if text == "" {
+		return DetectResponse{}
+	}
+
+	unique := make(map[string]Match)
+
+	// Substring hits: for each codepoint window from input, find lexicon entries containing it
+	s.store.ForEachSubstringMatch(text, func(word string) bool {
+		unique[word] = Match{Word: word, Type: "substring"}
+		return true
+	})
+
+	if req.EnableFuzzy {
+		for _, token := range generateNgrams(text, s.fuzzyCfg.MinNgramLen, s.fuzzyCfg.MaxNgramLen) {
+			s.store.ForEachFuzzyMatch(token, s.fuzzyCfg.MaxDistance, func(word string, d int) bool {
+				if old, ok := unique[word]; ok {
+					if old.Type == "substring" && d == 0 {
+						return true
+					}
+				}
+				unique[word] = Match{Word: word, Type: ternary(d == 0, "substring", "fuzzy"), Distance: d}
+				return true
+			})
+		}
+	}
+
+	res := DetectResponse{Hits: make([]Match, 0, len(unique))}
+	for _, v := range unique {
+		res.Hits = append(res.Hits, v)
+	}
+	sort.Slice(res.Hits, func(i, j int) bool {
+		if res.Hits[i].Type == res.Hits[j].Type {
+			if res.Hits[i].Distance == res.Hits[j].Distance {
+				return res.Hits[i].Word < res.Hits[j].Word
+			}
+			return res.Hits[i].Distance < res.Hits[j].Distance
+		}
+		return res.Hits[i].Type < res.Hits[j].Type
+	})
+	return res
+}
+
+func (s *Service) Contains(req ContainsRequest) ContainsResponse {
+	ok, w := s.store.HasAnyInText(strings.TrimSpace(req.Text))
+	return ContainsResponse{Contains: ok, Word: w}
+}
+
+func ternary[T any](cond bool, a, b T) T {
+	if cond {
+		return a
+	}
+	return b
+}
+
+func generateNgrams(text string, minLen, maxLen int) []string {
+	if minLen < 1 {
+		minLen = 1
+	}
+	if maxLen < minLen {
+		maxLen = minLen
+	}
+	// Work on rune boundaries for CJK safety
+	runes := []rune(text)
+	n := len(runes)
+	var out []string
+	for i := 0; i < n; i++ {
+		for l := minLen; l <= maxLen && i+l <= n; l++ {
+			out = append(out, string(runes[i:i+l]))
+		}
+	}
+	return dedupStrings(out)
+}
+
+func dedupStrings(in []string) []string {
+	seen := make(map[string]struct{}, len(in))
+	out := make([]string, 0, len(in))
+	for _, s := range in {
+		if _, ok := seen[s]; ok {
+			continue
+		}
+		seen[s] = struct{}{}
+		out = append(out, s)
+	}
+	return out
+}
+
+// Guard for unused import warning if utf8 not referenced elsewhere
+var _ = utf8.RuneCountInString

internal/lexicon/store.go

@@ -0,0 +1,141 @@
+package lexicon
+
+import (
+	"bufio"
+	"errors"
+	"os"
+	"path/filepath"
+	"strings"
+	"sync"
+
+	"github.com/ozeidan/fuzzy-patricia/patricia"
+)
+
+// Store holds the trie and statistics for the loaded lexicon.
+type Store struct {
+	mu   sync.RWMutex
+	trie *patricia.Trie
+	cnt  int
+}
+
+func NewStore() *Store {
+	return &Store{trie: patricia.NewTrie()}
+}
+
+// LoadFromDir loads all .txt files from dir into the trie.
+func (s *Store) LoadFromDir(dir string) error {
+	s.mu.Lock()
+	defer s.mu.Unlock()
+
+	newTrie := patricia.NewTrie()
+	count := 0
+
+	walkErr := filepath.Walk(dir, func(path string, info os.FileInfo, err error) error {
+		if err != nil {
+			return err
+		}
+		if info.IsDir() {
+			return nil
+		}
+		if strings.ToLower(filepath.Ext(info.Name())) != ".txt" {
+			return nil
+		}
+		f, err := os.Open(path)
+		if err != nil {
+			return err
+		}
+		defer f.Close()
+		scanner := bufio.NewScanner(f)
+		// Increase buffer for long lines
+		buf := make([]byte, 0, 1024*64)
+		scanner.Buffer(buf, 1024*1024)
+		for scanner.Scan() {
+			w := strings.TrimSpace(scanner.Text())
+			if w == "" || strings.HasPrefix(w, "#") {
+				continue
+			}
+			newTrie.Insert(patricia.Prefix(w), struct{}{})
+			count++
+		}
+		return scanner.Err()
+	})
+	if walkErr != nil {
+		return walkErr
+	}
+	if count == 0 {
+		return errors.New("no entries loaded")
+	}
+	// Swap in
+	s.trie = newTrie
+	s.cnt = count
+	return nil
+}
+
+func (s *Store) Stats() map[string]interface{} {
+	s.mu.RLock()
+	defer s.mu.RUnlock()
+	return map[string]interface{}{
+		"count": s.cnt,
+	}
+}
+
+// ForEachSubstringMatch visits any keys that contain the given substring.
+// It uses the library's substring search.
+func (s *Store) ForEachSubstringMatch(query string, visit func(word string) bool) {
+	s.mu.RLock()
+	tr := s.trie
+	s.mu.RUnlock()
+	if tr == nil || query == "" {
+		return
+	}
+	// second argument is caseSensitive; we use false by default
+	tr.VisitSubstring(patricia.Prefix(query), false, func(prefix patricia.Prefix, _ patricia.Item) error {
+		// The library does not expose a public stop error in all versions; ignore early stop
+		_ = visit(string(prefix))
+		return nil
+	})
+}
+
+// ForEachFuzzyMatch visits keys with fuzzy distance within maxDistance to query.
+func (s *Store) ForEachFuzzyMatch(query string, maxDistance int, visit func(word string, distance int) bool) {
+	s.mu.RLock()
+	tr := s.trie
+	s.mu.RUnlock()
+	if tr == nil || query == "" {
+		return
+	}
+	// signature in current lib: VisitFuzzy(prefix, caseSensitive bool, visitor)
+	tr.VisitFuzzy(patricia.Prefix(query), false, func(prefix patricia.Prefix, _ patricia.Item, dist int) error {
+		if dist <= maxDistance {
+			_ = visit(string(prefix), dist)
+		}
+		return nil
+	})
+}
+
+// HasAnyInText returns true if any lexicon word is a substring of the given text.
+// It scans each rune offset and visits prefixes against the trie.
+func (s *Store) HasAnyInText(text string) (bool, string) {
+	s.mu.RLock()
+	tr := s.trie
+	s.mu.RUnlock()
+	if tr == nil || text == "" {
+		return false, ""
+	}
+	runes := []rune(text)
+	n := len(runes)
+	for i := 0; i < n; i++ {
+		suffix := string(runes[i:])
+		foundWord := ""
+		tr.VisitPrefixes(patricia.Prefix(suffix), false, func(prefix patricia.Prefix, _ patricia.Item) error {
+			if foundWord == "" {
+				foundWord = string(prefix)
+			}
+			return nil
+		})
+		if foundWord != "" {
+			return true, foundWord
+		}
+	}
+	return false, ""
+}