MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。 概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語言里借來的...
IP屬地：天津
-
冰解的破-MapReduce -
《術(shù)語字典》
術(shù)語又稱技術(shù)名詞、科學(xué)術(shù)語、科技術(shù)語或技術(shù)術(shù)語，是在特定專業(yè)領(lǐng)域中一般概念的詞語指稱，一個(gè)術(shù)語表示一個(gè)概念。研究術(shù)語的學(xué)科有術(shù)語學(xué)。由于文化差異，不同語種間的翻譯也常造成語義...
-
HotSpot虛擬機(jī)在java 1.8中的新實(shí)現(xiàn)Java HotSpot 虛擬機(jī)是 Java SE 平臺(tái)的一個(gè)核心組件。它實(shí)現(xiàn) Java 虛擬機(jī)規(guī)范，并作為 Java 運(yùn)行時(shí)環(huán)境中的一個(gè)共享庫來提供。作為 Java 字節(jié)碼...
-
JVM 內(nèi)存結(jié)構(gòu)JVM（Java Virtual Machine Java 虛擬機(jī)）是一種用于計(jì)算設(shè)備的規(guī)范，基于這套規(guī)范，許多團(tuán)隊(duì)開發(fā)了多種不同的虛擬機(jī)實(shí)現(xiàn)，目前使用范圍最廣的是從 Sun...
-
談?wù)剶?shù)據(jù)脫敏大數(shù)據(jù)平臺(tái)通過將所有數(shù)據(jù)整合起來，充分分析與挖掘數(shù)據(jù)的內(nèi)在價(jià)值，為業(yè)務(wù)部門提供數(shù)據(jù)平臺(tái)，數(shù)據(jù)產(chǎn)品與數(shù)據(jù)服務(wù)。大數(shù)據(jù)平臺(tái)接入的數(shù)據(jù)中可能包括很多用戶的隱私和敏感信息，如用戶在酒...
-
冰解的破-ScrapyScrapy吸引人的地方在于它是一個(gè)框架，任何人都可以根據(jù)需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2...
-
冰解的破-sparkApache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的類H...
-
-
冰解的破-kerberos學(xué)習(xí)整理： 理解kerberos在spark/hadoop體系下的應(yīng)用： 說道安全，可能是整個(gè)大數(shù)據(jù)體系中最晦澀難懂的一部分了（確實(shí)看了很多也不能很快上手），會(huì)涉及到系統(tǒng)中組...
-
冰解的破-Linux
Linux是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)，是一個(gè)基于POSIX和UNIX的多用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。它能運(yùn)行主要的UNIX工具軟件、應(yīng)用程...
-
冰解的破-ZooKeeper學(xué)習(xí)整理： zookeeper有哪些應(yīng)用，HA熱備、分布式鎖、集中配置用到了zookeeper的什么？ ZooKeeper是一個(gè)高可用的分布式數(shù)據(jù)管理與系統(tǒng)協(xié)調(diào)框架?；趯...
-
冰解的破-Flume
Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume...
-
冰解的破-Hbase學(xué)習(xí)整理： hbase運(yùn)行原理，rowkey的作用？ HBase 是一個(gè)高可靠、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用Hbase技術(shù)可在廉價(jià)PC Server上搭建 大...
-
-
冰解的破-RedisRedis 是一個(gè) Key-Value 存儲(chǔ)系統(tǒng)。和 Memcached 類似，它支持存儲(chǔ)的 value 類型相對更多，包括 string(字符串)、 list(鏈表)、 s...
-
@IT人故事會(huì) 謝謝~
恩，你至少看起來是專業(yè)的！
想到專業(yè)，我反正第一個(gè)反應(yīng)就是professional，和這個(gè)那些個(gè)看不懂摸不著的專業(yè)名詞，特別是那些關(guān)于我們工作中的很多引文詞匯，存在便有意義，專業(yè)詞匯一方面方便了業(yè)內(nèi)人士...