Apache Sqoop

Apache Sqoop
開發者Apache Software Foundation
首次发布2009年6月1日，​14年前​（2009-06-01）
最终版本
  • 1.4.6 (2015年5月11日)
編輯維基數據鏈接
源代码库Sqoop Repository
编程语言Java
操作系统跨平台
类型数据管理
许可协议Apache License 2.0
网站sqoop.apache.org

Apache Sqoop是用于在关系型数据库和Hadoop之间传输数据的开源工具。[1] 该项目始于2009年，在2021年6月结束，并被移至Apache Attic。[2]

概要

Sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上，或者指定上次修改的时间戳。导入也可以填充Hive或HBase中的表。[3] 导出则支持将Hadoop的数据放入关系数据库中。Sqoop得名于“SQL-to-Hadoop”。Sqoop于2012年3月成为顶级Apache项目。[4]

Informatica从10.1版开始提供基于Sqoop的连接器。Pentaho自4.5版开始在其ETL套件Pentaho Data Integration中提供基于开源Sqoop的连接器，Sqoop导入[5]和导出[6]。[7]微软使用基于Sqoop的连接器将数据从Microsoft SQL Server传输到Hadoop。[8]Couchbase还通过Sqoop提供Couchbase Server-Hadoop连接器。[9]

参考书目

  • White, Tom. Chapter 15: Sqoop. Hadoop: The Definitive Guide 2nd. O'Reilly Media. : 477–495. ISBN 978-1-449-38973-4. 

参考资料

  1. ^ Sqoop -. sqoop.apache.org. [2022-06-24]. （原始内容存档于2022-07-07）. 
  2. ^ moving Sqoop to the Attic. mail-archives.apache.org. [2021-06-27]. （原始内容存档于2021-06-27）. 
  3. ^ Apache Sqoop - Overview : Apache Sqoop. blogs.apache.org. [2022-06-24]. （原始内容存档于2022-06-24）. 
  4. ^ Apache Sqoop Graduates from Incubator : Apache Sqoop. blogs.apache.org. [2022-06-24]. （原始内容存档于2022-06-24）. 
  5. ^ Sqoop Import. Pentaho. 2015-12-10 [2015-12-10]. （原始内容存档于2015-12-10）. The Sqoop Import job allows you to import data from a relational database into the Hadoop Distributed File System (HDFS) using Apache Sqoop. 
  6. ^ Sqoop Export. Pentaho. 2015-12-10 [2015-12-10]. （原始内容存档于2015-12-10）. The Sqoop Export job allows you to export data from Hadoop into an RDBMS using Apache Sqoop. 
  7. ^ Big Data Analytics Vendor Pentaho Announces Tighter Integration with Cloudera; Extends Visual Interface to Include Hadoop Sqoop and Oozie. Database Trends and Applications (dbta.com). 2012-07-27 [2015-12-08]. （原始内容存档于2015-12-08）. Pentaho’s Business Analytics 4.5 is now certified on Cloudera’s latest releases, Cloudera Enterprise 4.0 and CDH4. Pentaho also announced that its visual design studio capabilities have been extended to the Sqoop and Oozie components of Hadoop. 
  8. ^ Microsoft SQL Server Connector for Apache Hadoop. [Sep 8, 2012]. （原始内容存档于2016-04-13）. 
  9. ^ Couchbase Hadoop Connector. [Sep 8, 2012]. （原始内容存档于2012-08-25）. 


  • 查
  • 论
  • 编
顶级项目
  • Abdera（英语：Apache Abdera）
  • Accumulo（英语：Apache Accumulo）
  • ActiveMQ
  • Ambari（英语：Apache Ambari）
  • Ant
  • Aries（英语：Apache Aries）
  • Apache Arrow
  • Apache HTTP Server
  • APR
  • Avro
  • Axis
  • Axis2
  • Beam
  • Bloodhound（英语：Apache Bloodhound）
  • Apache Brooklyn（英语：Apache Brooklyn）
  • Buildr（英语：Apache Buildr）
  • Calcite（英语：Apache Calcite）
  • Camel
  • Cassandra
  • Cayenne（英语：Apache Cayenne）
  • Chemistry（英语：Apache Chemistry）
  • CloudStack（英语：Apache CloudStack）
  • Cocoon（英语：Apache Cocoon）
  • Continuum（英语：Apache Continuum）
  • Cordova
  • CouchDB
  • cTAKES（英语：cTAKES）
  • CXF
  • Deltacloud（英语：Deltacloud）
  • Derby
  • Directory（英语：Apache Directory Server）
  • Drill（英语：Apache Drill）
  • Empire-db（英语：Apache Empire-db）
  • ECharts
  • Felix（英语：Apache Felix）
  • Flex
  • Flink
  • Flume（英语：Apache Flume）
  • Forrest（英语：Apache Forrest）
  • Geronimo（英语：Apache Geronimo）
  • Gora（英语：Apache Gora）
  • Gump（英语：Apache Gump）
  • Hadoop
  • Hama（英语：Apache Hama）
  • HBase
  • Hive
  • Jackrabbit（英语：Apache Jackrabbit）
  • James（英语：Apache James）
  • JMeter（英语：Apache JMeter）
  • Kafka
  • Karaf（英语：Apache Karaf）
  • Kylin（英语：Apache Kylin）
  • Lucene
  • Lenya（英语：Apache Lenya）
  • Mahout（英语：Apache Mahout）
  • Marmotta（英语：Apache Marmotta）
  • Maven
  • MINA（英语：Apache MINA）
  • mod_perl（英语：mod_perl）
  • MyFaces（英语：Apache MyFaces）
  • Nutch（英语：Apache Nutch）
  • ODE（英语：Apache ODE）
  • OFBiz（英语：Apache OFBiz）
  • Oozie（英语：Oozie）
  • OpenEJB（英语：Apache OpenEJB）
  • OpenJPA（英语：Apache OpenJPA）
  • OpenNLP
  • OpenOffice
  • PDFBox（英语：Apache PDFBox）
  • Phoenix（英语：Apache Phoenix）
  • POI
  • Pig（英语：Pig (programming tool)）
  • Pivot（英语：Apache Pivot）
  • Qpid（英语：Apache Qpid）
  • River（英语：Apache River）
  • Roller（英语：Apache Roller）
  • RocketMQ
  • Samza（英语：Apache Samza）
  • ServiceMix（英语：Apache ServiceMix）
  • Shindig（英语：Apache Shindig）
  • Shiro
  • Sling（英语：Apache Sling）
  • Spark
  • Stanbol（英语：Apache Stanbol）
  • Storm
  • SpamAssassin
  • Sqoop
  • Apache C++标准库（英语：stdcxx）
  • Struts
  • Struts 2
  • Subversion
  • Tapestry
  • Thrift
  • Tiles（英语：Apache Tiles）
  • Tika（英语：Apache Tika）
  • Tomcat
  • Trafficserver
  • Turbine
  • Tuscany
  • UIMA
  • Velocity
  • Wave
  • Wicket
  • Wink（英语：Apache Wink）
  • Xalan（英语：Xalan）
  • Xerces（英语：Xerces）
  • XMLBeans（英语：XMLBeans）
  • ZooKeeper
ASF logo
Commons项目
  • Apache Commons Logging（英语：Apache Commons Logging）
  • BCEL（英语：Byte Code Engineering Library）
  • BSF（英语：Bean Scripting Framework）
  • Commons Daemon（英语：Commons Daemon）
  • Jelly（英语：Apache Jelly）
Lucene项目
  • Lucene Java
  • Lucene.Net（英语：Lucene.Net）
  • Nutch（英语：Nutch）
  • Solr
Hadoop项目
其他项目
  • Batik
  • Chainsaw（英语：Chainsaw (log file viewer)）
  • FOP
  • Log4j
  • XAP（英语：Apache XAP）
  • Log4Net
  • Ivy（英语：Apache Ivy）
孵化器项目
  • XAP（英语：Apache XAP）
  • Samza（英语：Apache Samza）
  • Storm
Apache Attic
  • AxKit（英语：AxKit）
  • Beehive（英语：Apache Beehive）
  • Click（英语：Apache Click）
  • Apache BlueSky（英语：BlueSky Open Platform）
  • Cactus（英语：Jakarta Cactus）
  • Jakarta
  • Excalibur（英语：Apache Excalibur）
  • Harmony
  • HiveMind（英语：Apache HiveMind）
  • Lenya（英语：Apache Lenya）
  • Slide（英语：Jakarta Slide）
  • Shale（英语：Apache Shale）
  • Shindig（英语：Apache Shindig）
  • stdcxx（英语：Apache C++ Standard Library）
  • iBATIS
  • XMLBeans（英语：XMLBeans）
许可证标准
  • 分类 分类
  • 共享资源页面 维基共享