update

常规客户数据处理/main.py

@@ -111,6 +111,8 @@ def InitializeData(path,channel_alias):
                 state = '9'
                 print(url_source,code)
         except:
+            code = None
+            state = None
             pass
         
         #处理参数
@@ -126,6 +128,7 @@ def InitializeData(path,channel_alias):
             
             params = "{}"
         
+        
         insert_data.append((sku,productname,brand,category,params,url,price,channel,channel_alias,channel_alias,batch,params_ori,code,state))
     
     cursor_zi_service.executemany(f"insert into product_all (sku,name,brand,category,params,url,price,channel,channel_id,channel_alias,batch,params_ori,productcode,state) \
@@ -2290,89 +2293,78 @@ def save_sku_relationship(filter,channel_alias):
     mssql.Close()
     
   
-
-path = '/Users/rico/project/中信银行/中信数据.xlsx'
-channel_alias = 'AH'
-
-#初始化数据
+##########################################################################################################################################
+#1、初始化链接、初始化渠道简称
+path = '/Users/rico/project/客户数据处理（调接口）/原始客户数据/河南HN/20210105/河南12月入库模板.xlsx'
+channel_alias = 'HN'
+##########################################################################################################################################
+#2、初始化数据，存入数据库
 InitializeData(path,channel_alias)
-
-#加载数据
-batch = '2020-12-01'
+##########################################################################################################################################
+#3、加载数据
+batch = '2021-01-05'
 df = LoadData(batch,channel_alias,'deal')
-
+##########################################################################################################################################
 #测试
 res = SkuMatchTest(df,channel_alias,'ES')
 res_es = SkuMatchTest_es(df,channel_alias)
-
-#SKU排重
+##########################################################################################################################################
+#4、SKU排重
 SkuMatch(df,channel_alias,'SQL')
-
-#SKU排重结果导出
+#人工交互：确认SKU排重结果
 SkuMatchResult(batch,channel_alias)
-
 #SKU排重确认结果导入
 path = ''
 UpdateSkuMatchResult(path)
-
-#加载数据
+##########################################################################################################################################
+#5、加载数据
 df = LoadData(batch,channel_alias,'deal')
-
-
-#分析获取数据基本信息（品牌，类别，型号）
+##########################################################################################################################################
+#6、分析获取数据基本信息（品牌，类别，型号）
 AnalyseBasicInfo(df)
-
 #导出数据(导出文件至当前文件执行路径)
+#人工交互：基础信息确认
 ExportToExcelBasicConfirm(batch,channel_alias)
-
 #返回数据并更新
 path = "/Users/rico/project/中信银行/反馈-ZXYH基础信息确认2020-12-03 2.xlsx"
 UpdateBasicData(path)
-
-
-#获取重点类确认数据(导出文件至当前文件执行路径)
+##########################################################################################################################################
+#7、获取重点类确认数据(导出文件至当前文件执行路径)
 df = GetPointCategoryData(batch,channel_alias)
-
+#人工交互：重点类数据补参
 GetPointCategoryDataDetail(df,channel_alias)
-
-
-#获取非重点类确认数据(导出文件至当前文件执行路径)
+##########################################################################################################################################
+#8、获取非重点类确认数据(导出文件至当前文件执行路径)
 df = GetNonpointCategoryData(batch,channel_alias)
-
-
+#非重点类数据匹配
 match_result = GetNonpointCategoryDataDetail(df)
-
 writer = pd.ExcelWriter(f"{channel_alias}非重点类匹配结果确认及命名.xlsx")
 export_excel_1 = match_result[match_result['fuzzy_match_result'] == 1]
 export_excel_1.to_excel(writer,'匹配到的数据')
-
 export_excel_2 = match_result[match_result['fuzzy_match_result'] == 0]
 export_excel_2.to_excel(writer,'未匹配数据处理')
+#人工交互：非重点类匹配结果确认
 writer.save()
-
-
-#处理重点类数据
+##########################################################################################################################################
+#9、处理重点类数据
 path = "/Users/rico/project/客户数据处理（调接口）/原始客户数据/安徽AH/20201201/2ah重点类参数确认-1130（1）-齐明.xlsx"
-##校验参数数据
+#人工交互：校验参数数据
 std_value_dict = CheckPointParamsData(path)
-
-##导入补充的数据字典
+#导入补充的数据字典
 data_dict_path = "/Users/rico/project/客户数据处理（调接口）/原始客户数据/安徽AH/20201201/2ah重点类参数确认-1130（1）-谭超(数据字典补充)(3).xlsx"
 ComplicatedDataDict(data_dict_path)
-
-##入库(std_value_dict为空时不可往下执行)
+##########################################################################################################################################
+#10、入库(std_value_dict为空时不可往下执行)
 new_df_all = create_to_db(path,std_value_dict)
-
-##记录标准参数项参数值
+#记录标准参数项参数值
 save_standard_params_info(std_value_dict)
-##检查配件价格
+#检查配件价格
 check_configure(new_df_all)
-##计算还原价格
+#计算还原价格
 calculate_spu_price(new_df_all)
-
-
-#处理非重点类数据
-##更新非重点类数据
+##########################################################################################################################################
+#11、处理非重点类数据
+#更新非重点类数据
 path = "/Users/rico/project/中信银行/反馈-ZXYH非重点类匹配结果确认及命名-汇总.xlsx"
 mode = 'all_data'
 update_non_point_to_db(path,mode)
@@ -2395,20 +2387,16 @@ path = "/Users/rico/project/客户数据处理（调接口）/原始客户数据
 mode = 'all_data'
 update_non_point_to_db(path,mode)
 '''
-
-#存储对应关系(重点类和非重点类都处理完毕后再执行)
+##########################################################################################################################################
+#12、存储对应关系(重点类和非重点类都处理完毕后再执行)
 save_sku_relationship(batch,channel_alias)
-
-
-#填充数据
+##########################################################################################################################################
+#13、填充数据
 df = get_data_all()
-
 get_price(df)
-
 get_name(df)
-
-
-#导出处理结果
+##########################################################################################################################################
+#13、导出处理结果
 df = LoadData(batch,channel_alias,'result')
 df.to_excel(f"{channel_alias}-{batch}结果数据.xlsx")