添加了0507模型，自动解析参数部署服务器上传至数据库功能

auto_analyz/LXWL_2019-12-12_0101.txt

+174426^Thinkpad联想笔记本电脑X250-20CLA4D3CD/i5-5200U/4G/500G-7200/12.5/Win10;
+1222366^Thinkpad L580 02CD I5-8250U 4GB 500GB 2GB独显 WIN10HB 笔记本（计价单位：台）;
\ No newline at end of file

auto_analyz/LXWL_2019-12-12_0101.txt.ann

+174426^Thinkpad联想笔记本电脑X250-20CLA4D3CD/[@i5-5200U#CPU型号*]/[@4G#内存容量*]/[@500G#硬盘容量*]-7200/12.5/[@Win10#操作系统*];
+1222366^Thinkpad L580 02CD [@I5-8250U#CPU型号*] [$4G#内存容量*]B [$500G#硬盘容量*]B [@2GB独显#显存容量*] [@WIN10HB#操作系统*] 笔记本（计价单位：台）
\ No newline at end of file

auto_analyz/fileMonitor.sh

+#!/bin/bash
+#date:20191216
+#explain:监控目录是否发生变化
+#by:Satan
+
+CHECKDIR="/root/program/tagdata/data"    #监控目录路径
+LOG="/root/program/tagdata/tagdata.log"        #日志存放路径
+PYTHON="/root/program/tagdata/test.py"    #调用的
+
+
+function CheckDir {
+    inotifywait -mrq --timefmt '%y-%m-%d %H:%M'  --format '%T %f %e' -e 'create,delete,modify,moved_to' $CHECKDIR|while read event
+    do 
+        INO_TIME=$(echo $event | awk '{print $1,$2}')        # 把inotify输出切割 把时间部分赋值给INO_TIME
+        INO_FILE=$(echo $event | awk '{print $3}')          # 把inotify输出切割 把文件路径部分赋值给INO_FILE
+        INO_EVENT=$(echo $event | awk '{print $4}')         # 把inotify输出切割 把事件类型部分赋值给INO_EVENT        
+        
+        if [[ $INO_EVENT = 'CREATE' ]] && [[ $INO_FILE != .* ]];then        # 判断事件类型(create)
+            echo "`date '+%Y-%m-%d %H:%M'` create file: $INO_FILE" >> $LOG
+            /root/anaconda3/bin/python $PYTHON create "上传了一个标注文件：${INO_FILE}" $INO_TIME
+        fi
+
+        #elif [[ $INO_EVENT = 'CREATE,ISDIR' ]];then
+        #    echo "`date '+%Y-%m-%d %H:%M'` create dir: $INO_FILE" >> $LOG
+        #    /root/anaconda3/envs/py36/bin/python3 $PYTHON create "创建了一个目录：${INO_FILE}，详情见附件" $LOG
+        #fi
+        
+        if [[ $INO_EVENT = 'DELETE' ]] && [[ $INO_FILE != .* ]];then        # 判断事件类型(delete)
+            echo "`date '+%Y-%m-%d %H:%M'` delete file: $INO_FILE" >> $LOG
+        #    /root/anaconda3/envs/py36/bin/python3 $PYTHON delete "删除了一个文件：${INO_FILE}，详情见附件" $LOG
+        #elif [[ $INO_EVENT = 'DELETE,ISDIR' ]];then
+        #    echo "`date '+%Y-%m-%d %H:%M'` delete dir: $INO_FILE" >> $LOG
+        #    /root/anaconda3/envs/py36/bin/python3 $PYTHON delete "删除了一个目录：${INO_FILE}，详情见附件" $LOG
+        fi
+        
+        #if [[ $INO_EVENT = 'MODIFY' ]] && [[ $INO_FILE != .* ]];then        # 判断事件类型(modify)
+        #    echo "`date '+%Y-%m-%d %H:%M'` modify file: $INO_FILE" >> $LOG
+        #    /root/anaconda3/envs/py36/bin/python3 $PYTHON delete "修改了一个文件：${INO_FILE}，详情见附件" $LOG
+        #fi
+
+
+    done
+}
+
+CheckDir
\ No newline at end of file

auto_analyz/param_load_func.py

+# -*- coding:utf-8 -*-
+# Date:2019-12-16
+
+import sys
+import pandas as pd
+import pymssql
+import re
+from sqlalchemy import create_engine
+import time
+
+class sql_find():
+    
+    def __init__ (self, database='ZI_DataBase', localhost=True):
+        if localhost:
+            self.conn = pymssql.connect(host='localhost', user='zgc',password='1234',database=database,autocommit=True)
+            self.engine = create_engine(f'mssql+pymssql://zgc:1234@localhost/{database}')
+        else:
+            self.conn = pymssql.connect(host='123.56.115.207', user='zgcprice3311',password='admin@2018@)!*',database=database,autocommit=True)
+            self.engine = create_engine(f'mssql+pymssql://zgcprice3311:admin@2018@)!*@123.56.115.207/{database}')
+        self.cursor = self.conn.cursor()
+
+def jiexi(filename):
+    f = open(filename,'r',encoding='utf-8')
+    entityRe = r'\[\@.*?\#.*?\*\](?!\#)'
+    recommendRe = r'\[\$.*?\#.*?\*\](?!\#)'
+    product_data_dict = {}
+    for data in f: 
+        str = data.split('^')
+        sku = str[0]
+        product_data_dict[sku] = {}
+        for word in re.findall(entityRe,str[1]):
+            product_data_dict[sku][word.strip('[@*]').rsplit('#')[1]] = word.strip('[@*]').rsplit('#')[0]
+        for word in re.findall(recommendRe,str[1]):
+            product_data_dict[sku][word.strip('[$*]').rsplit('#')[1]] = word.strip('[$*]').rsplit('#')[0]
+    return product_data_dict
+
+def param_upload(filename):
+    now_time = time.strftime("%Y-%m-%d", time.localtime())
+    #filename = 'LXWL_2019-12-12_0101.txt.ann'
+    sql_ZIdatabase = sql_find('ZI_DataBase', False)
+    source = filename.split('/')[-1].split('.txt')[0].split('_')[0]
+    batch = filename.split('/')[-1].split('.txt')[0].split('_')[1]
+    subcategorycode = filename.split('/')[-1].split('.')[0].split('_')[2]
+    param_data_dict = jiexi(filename)
+    update_table = {
+                    'batch':[],
+                    'source':[],
+                    'productId':[],
+                    'productName':[],
+                    'param':[],
+                    'paramAttributeImportant':[],
+                    'paramAttributeMatch':[],
+                    'paramAttributeStandard':[],
+                    'value':[],
+                    'paramSource':[],
+                    'state':[],
+                    'subcategorycode':[]
+                    }
+    for productid in param_data_dict.keys():
+        sql_ZIdatabase.cursor.execute(f"select productName,paramAttributeImportant,paramAttributeMatch,paramAttributeStandard from Product_Parameter_Process where batch='{batch}' and source='{source}' and productId='{productid}'")
+        product_name_data = sql_ZIdatabase.cursor.fetchone()
+        for productparam in param_data_dict[productid].keys():
+            update_table['batch'].append(batch)
+            update_table['source'].append(source)
+            update_table['productId'].append(productid)
+            update_table['productName'].append(product_name_data[0])
+            update_table['param'].append(productparam)
+            update_table['paramAttributeImportant'].append(product_name_data[1])
+            update_table['paramAttributeMatch'].append(product_name_data[2])
+            update_table['paramAttributeStandard'].append(product_name_data[3])
+            update_table['value'].append(param_data_dict[productid][productparam])
+            update_table['paramSource'].append('名称提取参数项')
+            update_table['state'].append('1')
+            update_table['subcategorycode'].append(subcategorycode)
+    update_table_df = pd.DataFrame.from_dict(update_table)
+    #update_table_df.to_excel(f'update_data_{now_time}.xlsx')
+    update_table_df.to_sql('Product_Parameter_Process', sql_ZIdatabase.engine, if_exists='append', index=False)
\ No newline at end of file

auto_analyz/test.py

+# -*- coding:utf-8 -*-
+# Date:2019-12-16
+
+import sys
+from param_load_func import *
+
+subject = sys.argv[1]  # 文件动作
+msg = sys.argv[2]  # 文件信息
+date = str(sys.argv[3])  # 日期
+time = str(sys.argv[4])  # 时间
+
+param_upload('data/'+msg.split('：')[-1])
+

lstm_predict.py

@@ -154,7 +154,7 @@ class LSTMNER:
         return param_dict
 
 if __name__ == '__main__':
-    ner = LSTMNER('0810')
+    ner = LSTMNER('0507')
     while 1:
         a = input('请输入产品名称:')
         #print(ner.class_dict)

lstm_train.py

@@ -209,5 +209,5 @@ class LSTMNER:
         f.close()
 
 if __name__ == '__main__':
-    ner = LSTMNER('0810')
+    ner = LSTMNER('0507')
     ner.train_model()
\ No newline at end of file

model/0507/0507_vocab.txt

+选
+票
+激
+惊
+用
+晶
+夏
+橙
+T
+品
+巧
+两
+免
+代
+旗
+更
+听
+尼
+及
+幕
+旦
+效
+京
+办
+)
+、
+N
+离
+准
+材
+进
+部
+双
+影
+牌
+众
+航
+组
+主
+美
+公
+连
+松
+布
+功
+上
+K
+牙
+优
+桌
+2
+致
+(
+E
+快
+云
+无
+n
+震
+碳
+年
+便
+本
+业
+8
+接
+字
+b
+明
+耗
+式
+工
+证
+袋
+人
+白
+墨
+奢
+同
+购
+”
+卡
+活
+1
+爱
+硒
+幅
+D
+质
+照
+数
+瓷
+盟
+时
+专
+创
+酒
+瓶
+色
+套
+d
+V
+舰
+头
+托
+率
+高
+使
+F
+辨
+雅
+价
+四
+灰
+尚
+-
+：
+，
+t
+u
+适
+6
+速
+o
+描
+UNK
+帮
+为
+Z
+步
+片
+出
+施
+h
+；
+控
+餐
+注
+力
+加
+含
+层
+版
+阵
+端
+后
+锐
+越
+好
+;
+国
+记
+术
+号
+页
+经
+入
+Q
+家
+测
+J
+物
+复
+约
+易
+设
+容
+学
+板
+乐
+摸
+三
+闪
+华
+按
+济
+装
+　
+盒
+想
+忧
+半
+超
+维
+印
+W
+粉
+网
+生
+j
+商
+轻
+寸
+面
+认
+钟
+售
+下
+默
+青
+有
+精
+酷
+I
+达
+成
+新
+k
+发
+技
+续
+普
+扫
+体
+蓝
+w
+c
+积
+馈
+4
+纸
+天
+小
+迷
+【
+试
+投
+升
+利
+9
+合
+录
+7
+配
+仓
+理
+示
+黄
+豪
+可
+计
+地
+弟
+之
+提
+持
+屏
+款
+能
+彩
+充
+*
+框
+门
+s
+动
+息
+e
+器
+输
+清
+列
+5
+i
+钱
+盘
+位
+×
+反
+光
+带
+环
+系
+手
+大
+O
+张
+士
+子
+腾
+X
+打
+“
+翼
+U
+兄
+携
+机
+喷
+台
+原
+个
+级
+口
+送
+五
+x
+障
+0
+直
+触
+营
+B
+舱
+棕
+方
+内
+M
+液
+宽
+秒
+P
+联
+信
+英
+金
+稳
+话
+S
+3
+省
+C
+支
+Y
+芝
+v
+g
+东
+架
+显
+络
+实
+睿
+H
+量
+z
+务
+型
+智
+A
+佳
+件
+l
+魅
+馆
+仅
+操
+流
++
+吉
+一
+微
+正
+p
+需
+电
+水
+祥
+习
+厂
+全
+r
+f
+限
+修
+低
+红
+m
+R
+自
+稿
+平
+密
+附
+卓
+（
+度
+.
+供
+值
+艳
+黑
+管
+柯
+落
+惠
+多
+边
+传
+享
+庭
+服
+y
+企
+文
+线
+移
+尊
+置
+富
+真
+a
+简
+滴
+:
+的
+官
+至
+鼓
+柄
+作
+费
+随
+L
+中
+择
+只
+星
+你
+）
+定
+安
+奔
+替
+】
+G
+缤
+码
+立
+筒
+纷
+盖
+分
+/
+单
+猴
+标
+点
+保
+图
+仪
\ No newline at end of file