当前位置:  软件>java软件

Data Pipeline

    来源:    发布时间:2015-01-22

    本文导语:  Data Pipeline 是一个Java的数据转换工具包,主要的功能包括: * 读: CSV, fixed-width, Excel, database, weblogs, custom * 写: CSV, fixed-width, Excel, database, PDF, Word, XML, custom * 操作: validate, filter, sort, lookup, 去除重复数据, convert, throttle, calculate, cus...

Data Pipeline 是一个Java的数据转换工具包,主要的功能包括:

* 读: CSV, fixed-width, Excel, database, weblogs, custom
* 写: CSV, fixed-width, Excel, database, PDF, Word, XML, custom
* 操作: validate, filter, sort, lookup, 去除重复数据, convert, throttle, calculate, custom, and more
* 运行时表达式过滤器、数据验证以及公式计算

Data Pipeline[图片]

典型的应用场景包括:
1. 读取 CSV 文件
2. 删除重复的记录
3. 添加计算列
4. 删除无用的列
5. 数据保存到数据库

代码示例:

DataReader reader = new CSVReader(new File("credit-balance.csv"))
.setFieldNamesInFirstRow(true);

// Use only the "Rating" and "CreditLimit" fields in duplicate test
reader = new RemoveDuplicatesReader(reader, new FieldList("Rating", "CreditLimit"));

// Add AvailableCredit field, remove "CreditLimit", "Balance" fields
reader = new TransformingReader(reader)
.add(new SetCalculatedField("AvailableCredit", "parseDouble(CreditLimit) - parseDouble(Balance)"))
.add(new ExcludeFields("CreditLimit", "Balance"));

DataWriter writer = new JdbcWriter(getJdbcConnection(), "dp_credit_balance")
.setAutoCloseConnection(true);

JobTemplate.DEFAULT.transfer(reader, writer);

    
 
 

您可能感兴趣的文章:

 
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术,将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外,均为转载、整理或搜集自网络。欢迎任何形式的转载,转载请注明出处。












  • 相关文章推荐
  • C++ Strings(字符串) 成员 data():返回内容的字符数组形式
  • pool data in multi servers,need data consistent
  • java命名空间javax.swing.text.html类html.attribute的类成员方法: data定义及介绍
  • jQuery中使用data()方法读取HTML5自定义属性data-*实例
  • java命名空间javax.sound.midi类midimessage的类成员方法: data定义及介绍
  • bootstrap data与jquery .data
  • java命名空间java.io接口objectstreamconstants的类成员方法: sc_block_data定义及介绍
  • Common Data Format
  • java命名空间javax.swing.text.html.parser类element的类成员方法: data定义及介绍
  • 怎样取得sk_buff中的data
  • java命名空间javax.print.attribute.standard类jobstatereason的类成员方法: job_data_insufficient定义及介绍
  • 数据库设计工具 Navicat Data Modeler
  • java命名空间javax.xml.crypto.dsig.keyinfo接口x509data的类成员方法: type定义及介绍
  • mysql中的Load data的使用方法
  • java命名空间javax.swing.text.html.parser类entity的类成员方法: data定义及介绍
  • 关于skb->data是只读的??
  • java命名空间javax.accessibility类accessiblecontext的类成员方法: accessible_visible_data_property定义及介绍
  • 关于text段,data段的疑惑
  • java命名空间javax.xml.crypto.dsig.keyinfo类keyinfofactory的类成员方法: newx509data定义及介绍
  • PostgreSQL Data Sync
  • java命名空间javax.print.event类printjobevent的类成员方法: data_transfer_complete定义及介绍
  • 数据库开发工具 Aqua Data Studio


  • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除!

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3