目录
1. 介绍2. 导入数据到db23. 导出db2数据4. 导入数据到mysql5. 导出mysql数据6. Java程序调用shell脚本7. 遇到的问题1. 介绍
在工作中 , 很多场景都会涉及到db数据的导入导出, 为了不影响正常业务, 一般会选择在夜间交易访问量小的时候定时任务跑批进行数据的导入导出. 我们公司, 由于分为了不同区域的开发中心, 应用系统也比较多, 所以业务相互关联的各系统间的数据依赖, 我们是通过数据中台
做数据中转的, 比如: A系统要做客户信息的操作但自己没有这部分信息, 客户信息主要是B系统在维护, 这时候A系统就需要用到B系统的数据.
方案就是B系统将客户信息数据资源发布到数据中台
, 因为A系统向数据中台
订阅了B系统的客户信息资源 , 数据中台
会将客户信息资源转发到A系统服务器的指定目录, 最后A系统只需要开发shell脚本将资源文件中的数据导入本地数据库即可.
B系统需要A系统的业务数据也是一样的道理, A系统只需要将业务数据资源发布到数据中台
,(A系统开发脚本将db数据导出为数据文件发送给数据中台), B系统订阅A系统的资源, 由数据中台
做资源的转发.
下面主要是总结工作中用到的shell脚本如何实现db数据的导入和导出, 数据中台
是一个企业级数据交换服务平台, 这里就不详细赘述了.
2. 导入数据到db2
将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.
3. 导出db2数据
将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.
导出数据也可以使用java程序先查询数据,然后通过IO流写文件.
4. 导入数据到mysql
将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.
导入数据部分, 如果null数据想使用空字符串替换, 可以使用NULLIF函数判断后替换.
5. 导出mysql数据
将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.
6. Java程序调用shell脚本
使用java.lang.Runtime
类实现shell脚本的调用并执行.
7. 遇到的问题
(1) 上面Java程序调用并执行shell脚本, 需要注意服务器系统类型是Linux还是AIX系统, 不然传入的参数无法接收到.
(2) windows环境(\r\n)和linux环境(\r)的换行符不一样, 导致在windows系统编辑的shell脚本在Linux服务器上执行报错, 需要使用vim编辑器将\r\n
替换为\r
.
脚本格式设置, \r\n
替换为\r
.
:set ff=unix
脚本格式设置, \r
替换为\r\n
.
:set ff=dos
到此这篇关于Shell脚本导入导出数据的项目示例的文章就介绍到这了,更多相关Shell导入导出数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
X 关闭
X 关闭
- 15G资费不大降!三大运营商谁提供的5G网速最快?中国信通院给出答案
- 2联想拯救者Y70发布最新预告:售价2970元起 迄今最便宜的骁龙8+旗舰
- 3亚马逊开始大规模推广掌纹支付技术 顾客可使用“挥手付”结账
- 4现代和起亚上半年出口20万辆新能源汽车同比增长30.6%
- 5如何让居民5分钟使用到各种设施?沙特“线性城市”来了
- 6AMD实现连续8个季度的增长 季度营收首次突破60亿美元利润更是翻倍
- 7转转集团发布2022年二季度手机行情报告:二手市场“飘香”
- 8充电宝100Wh等于多少毫安?铁路旅客禁止、限制携带和托运物品目录
- 9好消息!京东与腾讯续签三年战略合作协议 加强技术创新与供应链服务
- 10名创优品拟通过香港IPO全球发售4100万股 全球发售所得款项有什么用处?