# check **Repository Path**: alifred/check ## Basic Information - **Project Name**: check - **Description**: 大智慧数据清洗 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 3 - **Created**: 2025-07-18 - **Last Updated**: 2025-07-18 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README ## 本项目为基金ETL业务 ## #### (一)ETL业务(基金业务数据从大智慧库(dzh)抽取数据到中心库) #### > 项目及其分支： **EDBSpider/fund_service** 1. 证券基本信息表(TQ_OA_STCODE) --> 证券内码表(sec_basic_info)(债券) 2. 证券基本信息表(TQ_OA_STCODE) --> 证券内码表(sec_basic_info)(债券回购) 3. 公募基金公司：机构资料表(TQ_COMP_INFO) --> 机构信息表(org_basic_info) 4. 募基金产品：证券内码表(TQ_OA_STCODE) --> 机构信息表(org_basic_info) 5. 券内码表(TQ_OA_STCODE) --> 证券基本信息表(sec_basic_info) 6. 金发行与上市(TQ_FD_ISSUE)/基金基本信息(TQ_FD_BASICINFO) --> 基金基本信息表(fund_basic_info) 7. 金业绩比较基准(TQ_FD_BENCHMARK) --> 基金业绩比较基准(fund_benchmark) 8. 基金费率变动(TQ_FD_RATECHG) --> 基金费率(fund_rate_info) 9. 基金发行与上市(TQ_FD_ISSUE) --> 封闭基金基本信息表(fund_closed_basic_info) 10. 基金当事人(TQ_FD_PARTY)/基金费率变动(TQ_FD_RATECHG) --> 保本基金基本信息表(fund_guaranteed_basic_info) 11. 基金特殊日期主表(TQ_FD_FUNDSDATE) --> 基金保本周期表(fund_guaranteed_cycle) 12. 基金基本信息(TQ_FD_BASICINFO)(ETF) --> ETF基本资料(fund_etf_basic_info) 13. 基金基本信息(TQ_FD_BASICINFO)(LOF) --> LOF基本资料(fund_lof_basic_info) 14. 基金基本信息(TQ_FD_BASICINFO) --> 货币基金基本资料(fund_money_market_basic_info) 15. 个人档案(TQ_COMP_PERSONRECORD)(基金经理) --> 人物信息表(peo_basic_info) 16. 基金经理经营业绩表(TQ_FD_MGPERFORMANCE) --> 基金经理基本信息(fund_manager_basic_info) 17. 公司概况变动表(TQ_COMP_INFOCHG) --> 机构信息变动表(org_basic_info_chg) 18. 基金基本资料变动(TQ_FD_BASICINFOCHG) --> 证券基本信息变动表(sec_basic_info_chg) 19. 基金公司股东(TQ_FD_COMPOWNER) --> 基金公司股东(fund_com_holder) 20. 证券代码对应表(TQ_OA_SECURITYMAP) --> 基金编码表(fund_code) 21. (中心库data_center)证券代码对应表(sec_basic_info) --> 基金编码表(fund_code) 22. ETF申赎概况汇总表(TQ_FD_ETFSRSUMM) --> ETF申购赎回清单信息(fund_etf_sub_redem_list) 23. ETF申赎成份券汇总表(TQ_FD_ETFSRCOMPSUMM) --> ETF申购赎回成份信息(fund_etf_sub_redem_components) 24. 分级基金概况(TQ_FD_CLASSINFO) --> 分级基金基本资料(structured_fund_basic_info) 25. 分级基金约定收益率(TQ_FD_CLASSARRETURN) --> 分级基金约定收益(structured_fund_predicted_return) 26. 分级基金配比(TQ_FD_CLASSRATIO) --> 分级基金份额配比(structured_fund_share_matching) 27. 分级基金阀值表(TQ_FD_CLASSTHRESHOLD) --> 分级基金阈值(structured_fund_threshold) 28. 基金申赎状态从表(TQ_FD_SUBREDSTATUSSUB) --> 基金申赎状态(fund_sub_redem_status) 29. 基金获奖情况表(TQ_FD_PRIZESTATE) --> 基金获奖情况(fund_prize) 30. 基金封转开信息表(TQ_FD_CLOSETOOPEN) --> 基金封转开信息(fund_close_to_open) 31. 基金固有资产投资(TQ_FD_INHINVESTMENT) --> 基金固有资金投资(fund_inherent_investment) 32. 基金从业人员资格统计(TQ_FD_FUNDPQUAL)--> 基金从业人员资格(fund_practice_person_qualification) 33. 基金除权因子表(TQ_FD_XDRFACTOR) --> 基金除权因子表(fund_xr_factor) 34. 基金标准券折算率(TQ_FD_STANDDISRATE) --> 基金标准券折算率(fund_std_dis_rate) 35. 基金净值(TQ_QT_FDNAV) --> 基金净值(fund_nav) 36. 货币式基金净值(TQ_QT_FDNAVCUR) --> 货币式基金净值(fund_nav_cur) 37. 净值增长率与基准比较(TQ_FD_NAVBENMARK) --> 净值增长率与基准比较(fund_nav_benchmark) 38. 基金分类(TQ_FD_TYPE) --> 基金所属板块(sec_plate_info) 39. 基金分红(TQ_FD_BONUS) --> 基金分红(fund_dividend) 40. 货币式基金收益支付(TQ_FD_MDHISTORY) --> 货币式基金分红(fund_money_market_dividend) 41. 基金拆分(TQ_FD_SPLIT) --> 基金拆分折算(fund_split_conversion) 42. 创新型基金折算表(TQ_FD_FUNDICONVERT) --> 创新型基金拆分折算(fund_innovate_split_conversion) 43. 基金历史日交易(TQ_QT_FDQUOTE) --> 基金日行情(fund_price_day) 44. 基金历史周交易(TQ_QT_FDWQUOTE) --> 基金周行情(fund_price_week) 45. 基金历史月交易(TQ_QT_FDMQUOTE) --> 基金月行情(fund_price_month) 46. 基金历史年交易(TQ_QT_FDYQUOTE) --> 基金年行情(fund_price_year) 47. 基金资产组合(TQ_FD_ASSETPORTFOLIO)/基金资产组合附表(TQ_FD_ASSETPORTFOLIOSUB) --> 基金资产配置表(fund_asset_allocation) 48. 基金投资组合(按行业)(TQ_FD_INVPORTFOLIO) --> 基金投资行业配置(fund_invest_industry) 49. 沪深港通行业投资组合(TQ_FD_HSHKIPORT) --> 沪深港通基金行业配置(fund_hshk_industry) 50. 基金投资股票明细(TQ_FD_SKDETAIL) --> 基金投资明细(fund_invest_detail) 51. 基金投资债券明细(TQ_FD_BDDETAIL) --> 基金投资明细(fund_invest_detail) 52. 基金投资基金明细(TQ_FD_FDDETAIL) --> 基金投资明细(fund_invest_detail)' 53. QDII股票投资组合重大变化(TQ_FD_QDIISKPCHG) --> 基金投资组合重大变动(fund_portfolio_change) 54. 股票组合重大变化(TQ_FD_STCHG) --> 基金投资组合重大变动(fund_portfolio_change) 55. 股票投资组合(按国家&地区)(TQ_FD_QDIISKP) --> QDII投资区域配置(fund_qdii_nation_allocation) 56. QDII行业投资明细表(TQ_FD_QDIIPORT) --> QDII投资行业配置(fund_qdii_invest_industry) 57. QDII期末按债券信用等级分类的债券投资组合(TQ_FD_QDIIBDCRATING) --> QDII信用等级分类债券投资组合(fund_qdii_rated_bond) 58. QDII基金投资证券表(TQ_FD_QDIIINVEST) --> QDII基金投资明细(fund_qdii_invest_detail) 59. 基金债券回购融资情况(TQ_FD_FUNDBREPOFIN) --> 货币基金专项指标(fund_money_market_index) 60. 基金资产净值偏离(TQ_FD_FUNDASSDEV) --> 货币基金专项指标(fund_money_market_index) 61. 货币式基金平均剩余期限(TQ_FD_CURAVGRMMONF) --> 货币基金专项指标(fund_money_market_index) **仅同步2015年(含2015年)以后的数据** 62. 货币式基金平均剩余期限(TQ_FD_CURAVGRMMONF) --> 货币基金平均剩余期限分布(fund_money_market_remain_maturity) 63. 基金股票交易金额表(TQ_FD_SKTRADING) --> 基金股票交易金额(fund_stock_trading) 64. 分资产交易统计(TQ_FD_ASSETTRADESTAT) --> 基金租用交易席位及交易状况(fund_trading_commission) 65. 基金主要财务指标(TQ_FD_MAININDEX) --> 基金主要财务指标(fund_main_financial_index) 66. 基金资产负债表(旧准则)(TQ_FD_BSHEET) --> 基金资产负债表(旧准则)(fund_balance_sheet) 67. 基金资产负债表(新准则)(TQ_FD_BSHEETNEW) --> 基金资产负债表(新准则)(fund_balance_sheet_new) 68. 基金利润表(旧准则)(TQ_FD_PROFIT) --> 基金利润表(旧准则)(fund_income_statement) 69. 基金利润表(新准则)(TQ_FD_PROFITNEW) --> 基金利润表(新准则)(fund_income_statement_new) 70. 基金净值变动表(旧准则)(TQ_FD_NAVCHG) --> 基金净值变动表(旧准则)(fund_nav_chg) 71. 基金净值变动表(新准则)(TQ_FD_NAVCHGNEW) --> 基金净值变动表(新准则)(fund_nav_chg_new) 72. 基金利润分配情况表(TQ_FD_FUNDDPROFIT) --> 基金利润分配情况表(fund_profit_dist) 73. 基金未分配利润表(新准则)(TQ_FD_UNPROFITNEW) --> 基金未分配利润表(新准则)(fund_undist_profit_new) 74. 基金财务附注表(TQ_FD_FUNDFINN) --> 基金财务附注(fund_financial_note) 75. 基金市场规模表(TQ_FD_FPMTSCALE) --> 基金市场规模(fund_market_scale) 76. 基金管理人管理基金情况(TQ_FD_KEEPERTRFD) --> 基金管理人管理基金情况(fund_keeper_fund) 77. 基金杠杆表(TQ_FD_LEVERAGE) --> 基金杠杆(fund_leverage) 78. 基金托管人管理基金情况(TQ_FD_TRUSTEETRFD) --> 基金托管人托管基金情况(fund_trustee_fund) 79. 基金升贴水(TQ_FD_DISCOUNT) --> 基金升贴水(fund_discount) 80. QDII基金基本资料(fund_qdii_basic_info) 从Excel导入 81. 基金所属板块(sec_plate_info) 从Excel导入 82. 基金份额(TQ_FD_SHARE) --> 基金份额变动(fund_share_change) 83. 基金份额持有信息统计(TQ_FD_SHARESTAT) --> 基金份额持有人信息(fund_holder_info) 84. 基金十大持有人(TQ_FD_HOLDERTOP10) --> 基金前十名持有人(fund_top_ten_holder) 85. 上市型基金每日份额表(TQ_FD_EXCHSHARE) --> 上市基金每日份额(fund_listed_trading_share) 86. 基金公司高管资料表(TQ_FD_COMPMGINFO) --> 基金公司管理层(fund_com_management_info) 87. 基金持有人大会应用表(TQ_FD_HMEETINGAPP) --> 基金持有人大会(fund_holder_meeting) 88. 投资者持有超过20%份额基金(TQ_FD_FUNDSISM) --> 单一投资者持有基金份额(fund_single_investor_hold_share) 89. 基金经理统计(TQ_FD_MANAGERSTA) --> 基金经理统计(fund_manager_stat) 90. 基金经理经营业绩表(TQ_FD_MGPERFORMANCE) --> 基金经理经营业绩表(fund_manager_perf) 91. 基金衍生表(TQ_FD_DERIVEDN) --> 基金净值回报(fund_nav_return) 92. 个人档案(TQ_COMP_PERSONRECORD)(基金公司高管) --> 人物信息表(peo_basic_info) 93. 基金业绩比较基准日收益率表(TQ_FD_BENCHYIELD) --> 基金业绩基准收益(fund_benchmark_yield) 94. 证券板块表新增场内场外基金分类(sec_basic_info) --> 基金所属板块(sec_plate_info) 95. 个人档案(TQ_COMP_PERSONRECORD)(基金公司股东) --> 人物信息表(peo_basic_info) **以下为非导表程序，修改状态为定时任务，删除脚本需谨慎使用** 1. 修改中心库(data_center)基金业务表的记录状态值,推送至产品库 2. 基金净值表数据删除(TQ_QT_FDNAV-->fund_nav),唯一约束(SECURITYID, NAVDATE) --> (sec_uni_code, end_date) 3. 货币式基金净值表数据删除(TQ_QT_FDNAVCUR --> fund_nav_cur),唯一约束(SECURITYID, NAVDATE) --> (sec_uni_code, end_date) 4. 本地处理临时方案(com_logo),上传阿里云图片,并生成SQL(or 处理沪深业务，更新peo_leader并上传图片) #### (二)基金衍生计算业务 #### > 项目及其分支： **EDBSpider/fund_service** 1. 基金管理人持股(fund_keeper_hold_stk)衍生计算 #### (三)EDB清洗（临时方案）#### > 项目及其分支： **EDBSpider/fund_service** 1. EDB国家，地区，来源链接等字段清洗 #### (四)沪深业务 #### > 项目及其分支： **EDBSpider/fund_service** 1. (中心库data_center--沪深业务)证券基本信息(sec_basic_info),更新AB股(含三板)及其港股的证券英文名及证券全称数据从大智慧库(dzh)抽取 2. (中心库data_center--沪深业务)根据变动表触发sec_basic_info相关字段更新 3. (中心库data_center--沪深业务/基金) 定时变动表触发sec_basic_info.sec_id字段更新