站在巨人的肩膀上, 利用Google BigQuery來處理TB級的大量資料

去年的Google I/O， Google對外介紹了原先僅供Google內部使用的工具BigQuery(內部稱之為Dremel)， BigQuery是利用平行處理的技術, 同時間在上千台的機器上, 讓使用者可以輕易的分析terabyte數量級的大量資料。 今天，Google終於對外開放讓外界的公司，透過申請的方式， 開始使用BigQuery服務。 這個服務目前還在beta測試的階段，免費提供給使用者，待技術成熟後，可能會改成收費的模式。

BigQuery主要有什麼功能呢?
快速： 只要幾秒鐘的時間就能分析上億列的資料
簡單：資料查詢的語法和一般工程師熟悉的SQL語言類似
分享：可以設定群組類別，或是個人等級的資料分享
安全性：資料的存取都是經過加密處理
多種的資料存取方式：可以使用REST API，執行列的命令， BigQuery所提供網路版本的圖形化界面，或是Google App Script。 除此之外，使用者還可以將資料查詢的結果輸出到用戶端的電腦上，或是選擇用Google雲端儲存系統來儲存查詢的結果

要處理terabyte數量級的資料，大型的公司通常要花上相當多的IT資源，對於小公司更是幾乎不可能的一件事。有興趣的讀者，可以follow這個連結申請試用BigQuery服務。

來源: Google official blog, Google code labs, VentureBeat