ITPUB论坛-中国最专业的IT技术社区

   
 注册
热搜:
查看: 176839|回复: 263

[精华] ETL的本质

[复制链接]
论坛徽章:
5
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44生肖徽章2007版:鸡
日期:2008-01-02 17:35:53生肖徽章2007版:猴
日期:2008-01-02 17:35:53生肖徽章2007版:牛
日期:2008-01-02 17:35:53生肖徽章2007版:鼠
日期:2008-01-02 17:35:53
跳转到指定楼层
1#
发表于 2005-4-28 17:27 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
如果我们不透过表面这些工具的简单使用去看它背后蕴涵的思想,最终我们作出来的东西也就是一个个独立的job,将他们整合起来仍然有巨大的工作量。大家都知道“理论与实践相结合”,如果在一个领域有所超越,必须要在理论水平上达到一定的高度

etl的考虑.doc

43.5 KB, 下载次数: 19136

论坛徽章:
0
2#
发表于 2005-4-28 17:44 | 只看该作者
谢了!!

使用道具 举报

回复
论坛徽章:
0
3#
发表于 2005-4-28 18:05 | 只看该作者
精典

使用道具 举报

回复
论坛徽章:
1
数据库板块每日发贴之星
日期:2006-06-25 01:02:19
4#
发表于 2005-4-28 18:38 | 只看该作者

支持

文章非常不错,可惜这类文章太少了。

使用道具 举报

回复
论坛徽章:
1
授权会员
日期:2006-01-10 21:57:43
5#
发表于 2005-4-28 23:01 | 只看该作者
的确需要在艰苦、冥思、快乐的煎熬之余,思考、总结一下关于ETL的东东。
ETL看似朴实无华,默默无闻(往往后台运行),但却是实实在在、来不得半点马虎、虚伪。
它起点可以很低,但同时也可高得让人无法控制、难以逾越!
从简单复制到增量抽取,从转换规则到元数据维护,在每一点上究其根源及细节,都可以上升到极深得理论。
为什么看似如此简单的东西,却可以演化得如此复杂?
原因其实很简单:因为我们都想达到更多的自动、智能,而更少人的手工。

使用道具 举报

回复
论坛徽章:
0
6#
发表于 2005-4-29 08:50 | 只看该作者
就像得要技术原理上的资料,不知道是不是。谢谢拉

使用道具 举报

回复
论坛徽章:
51
2015年新春福章
日期:2015-03-06 11:57:31灰彻蛋
日期:2012-04-06 10:48:362012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:09ITPUB十周年纪念徽章
日期:2011-11-01 16:20:28茶鸡蛋
日期:2012-03-18 19:28:082012新春纪念徽章
日期:2012-01-04 11:50:44
7#
发表于 2005-4-29 13:52 | 只看该作者
数据仓库是很繁复的项目,现在大公司做这种项目都是使用ETL工具的,目的就是为了减少细节过程,让更多时间放在业务研究和数据挖掘上。
个人意见,仅供参考,呵呵。

使用道具 举报

回复
论坛徽章:
1
授权会员
日期:2006-01-10 21:57:43
8#
发表于 2005-4-30 13:14 | 只看该作者
的确,这就是社会分工的作用了。

使用道具 举报

回复
论坛徽章:
0
9#
发表于 2005-4-30 15:54 | 只看该作者
经典!
我也来谈一下对于ETL工具的使用:
曾经短暂的用过ETL工具,速度慢的难于接受,也许是我还没有掌握方法,但始终不敢相信拖拉出来的东西,在性能上可以跟自己多方优化过的代码,以及SQL LOADER等数据库提供的专门工具相提并论。
我们在ETL这一块的做法是:把ETL任务细分成很多小任务,对每个小任务可以选择SQL LOADER,或是C程序,或是存储过程来实现,然后自己编写了带监控界面的工作流程序进行控制;每个月150多G的数据,完成比较复杂的ETL流程,花费2天时间。
也请大家来交流一下,谢谢!

使用道具 举报

回复
论坛徽章:
3
10#
发表于 2005-5-1 13:51 | 只看该作者

谢谢了啊

总算找到了一点资料

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 |
  | | |
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表