大數據測試課程設計

❶ 計算機組成原理課程設計，用TDM-CM++測試復雜模型機，出現【請檢查數據

計算機組成原理三、名詞解釋1.計算機系統：由硬體和軟體兩大部分組成，有多種層次結構。2.主機：CPU、存儲器和輸入輸出介面合起來構成計算機的主機。3.主存：用於存放正在訪問的信息4.輔存：用於存放暫時不用的信息。5.高速緩存：用於存放正在訪問信息的付本。6.中央處理器：是計算機的核心部件，由運算器和控制器構成。7.硬體：是指計算機實體部分，它由看得見摸得著的各種電子元器件，各類光、電、機設備的實物組成。軟體：指看不見摸不著，由人們事先編制的具有各類特殊功能的程序組成。8.系統軟體：又稱系統程序，主要用來管理整個計算機系統，監視服務，使系統資源得到合理調度，高效運行。應用軟體：又稱應用程序，它是用戶根據任務需要所編制的各種程序。9.源程序：通常由用戶用各種編程語言編寫的程序。目的程序：由計算機將其翻譯機器能識別的機器語言程序。10.匯流排：是連接多個部件的信息傳輸線，是各部件共享的傳輸介質。11.系統匯流排：是指CPU、主存、I/O設備（通過I/O介面）各大部件之間的信息傳輸線。通信匯流排：是指用於計算機系統之間或者計算機系統與其他系統（如控制儀表、移動通信）之間的通信的線路。按傳送方式分並行和串列。串列通信是指數據在單條1位寬的傳輸線上，一位一位的按順序分時傳送。並行通信是指數據在多條並行1位寬的傳輸線上，同時由源傳送到目的地。12.帶寬：單位時間內可以傳送的最大的信息量。13.機器字長：是指CPU一次並行處理數據的位數，通常與CPU的寄存器位數有關。14.主存容量：是指主存中存放二進制代碼的總位數。15.機器數：符號位數字化，0代表正數，1代表負數。16.定點數：小數點固定在某一位位置的數。17.浮點數：小數點的位置可以浮動的數。18.補碼：帶符號數據表示方法之一，正數的反碼和原碼相同，負數的反碼是將二進制按位取反後在最低位再加1.19.溢出：在計算機中，超出機器字長，發生錯誤的結果。20.非編碼鍵盤：採用軟體判斷鍵是否按下及設鍵、譯鍵、計算鍵值的方法的鍵盤。21.A/D轉換器：它能將模擬量轉換成數字量，是計算機的輸入設備。22.I/O介面：指主機與I/O設備之間設置的一個硬體電路及器相應的軟體控制。23.埠：指介面電路中的一些寄存器，用來存放數據信息、控制信息和狀態信息。24.中斷：計算機在執行程序的過程中，當出現異常情況或特殊請求時，計算機停止現行程序的運行轉向對這些異常情況或特殊請求處理，處理結束後再返回到現行程序的間斷處，繼續執行源程序。25.中斷源：凡能向CPU提出中斷請求的各種因素統稱為中斷源。26.中斷嵌套：計算機在處理中斷的過程中，有可能出現新的中斷請求，此時CPU暫停現行中斷服務程序，轉向新的中斷請求，這種現象稱為中斷嵌套。27.優先順序：為使系統能及時響應並處理發生的所有中斷，系統根據引起中斷事件的重要性和緊迫程度，硬體將中斷源分為若干個級別。28.DMA方式：用硬體在主存與外設之間直接進行數據傳送，不須CPU，用軟體控制。29.指令系統：將全部機器指令的集合稱為機器的指令系統。30.定址方式：是指確定本條指令的數據地址以及下一條將要執行的指令地址的方法，它與硬體結構緊密相關，而且直接影響指令格式和指令功能。31.指令周期：完成一條指令的時間，由若干機器周期組成。機器周期：完成摸個獨立操作，由若干時鍾周期組成。時鍾周期：最基本時間單位，由主頻決定。32.微操作：在微程序控制器中，執行部件接受微指令後所進行的最基本的操作。33.微指令：控制器存儲的控制代碼，分為操作控制部分和順序控制部分，由微命令組成。34.微程序：存儲在控制存儲器中的完成指令功能的程序，由微指令組成。35.控制存儲器：CPU內用於存放實現指令系統全部指令的微程序的只讀存儲器。二、計算3.14.設匯流排的時鍾頻率為8MHZ，一個匯流排周期等於一個時鍾周期。如果一個匯流排周期中並行傳送16位數據，試問匯流排的帶寬是多少？解：由於：f=8MHz,T=1/f=1/8M秒，因為一個匯流排周期等於一個時鍾周期所以：匯流排帶寬=16/（1/8M）=128Mbps=16MBps3.15.在一個32位的匯流排系統中，匯流排的時鍾頻率為66MHZ，假設匯流排最短傳輸周期為4個時鍾周期，試計算匯流排的最大數據傳輸率。若想提高數據傳輸率，可採取什麼措施？解：匯流排傳輸周期=4*1/66M秒匯流排的最大數據傳輸率=32/(4/66M)=528Mbps=66MBps若想提高數據傳輸率，可以提高匯流排時鍾頻率、增大匯流排寬度或者減少匯流排傳輸周期包含的時鍾周期個數。3.16.在非同步串列傳送系統中，字元格式為：1個起始位、8個數據位、1個校驗位、2個終止位。若要求每秒傳送120個字元，試求傳送的波特率和比特率。解：一幀包含：1+8+1+2=12位故波特率為：（1+8+1+2）*120=1440bps比特率為：8*120=960bps4.5.什麼是存儲器的帶寬？若存儲器的數據匯流排寬度為32位，存取周期為200ns，則存儲器的帶寬是多少？解：存儲器的帶寬指單位時間內從存儲器進出信息的最大數量。存儲器帶寬=1/200ns×32位=160M位/秒=20MB/秒（註：1ns=10-9s）4.7.一個容量為16K×32位的存儲器，其地址線和數據線的總和是多少？當選用下列不同規格的存儲晶元時，各需要多少片？1K×4位，2K×8位，4K×4位，16K×1位，4K×8位，8K×8位解：地址線和數據線的總和=14+32=46根；選擇不同的晶元時，各需要的片數為：1K×4：（16K×32）/（1K×4）=16×8=128片2K×8：（16K×32）/（2K×8）=8×4=32片4K×4：（16K×32）/（4K×4）=4×8=32片16K×1：（16K×32）/（16K×1）=1×32=32片4K×8：（16K×32）/（4K×8）=4×4=16片8K×8：（16K×32）/（8K×8）=2×4=8片6.4.設機器數字長為8位（含1位符號位在內），寫出對應下列各真值的原碼、補碼和反碼。-13/64，-87解：真值與不同機器碼對應關系如下：真值-13/64-87原碼1.00110101，1010111補碼1.11001101，0101001反碼1.11001011，01010006.5.已知[x]補，求[x]原和x。[x1]補=1.1100;[x2]補=1.1001;[x4]補=1.0000;[x5]補=1,0101;[x6]補=1,1100;[x8]補=1,0000;解：[x]補與[x]原、x的對應關系如下：真值-1/4-7/16-1-11-4-16[x]補1.11001.10011.00001,01011,11001,0000[x]原1.01001.0111無1,10111,0100無x-0.0100-0.0111-1.0000-1011-0100-100006.9.當十六進制數9B和FF分別表示為原碼、補碼、反碼、移碼和無符號數時，所對應的十進制數各為多少（設機器數採用一位符號位）？解：真值和機器數的對應關系如下：原碼補碼移碼無符號數9BH-27-101+27155原碼補碼移碼無符號數FFH-128-1+1282566.12.設浮點數格式為：階碼5位（含1位階符），尾數11位（含1位數符）。寫出-27/1024、-86.5所對應的機器數。要求如下：（1）階碼和尾數均為原碼。（2）階碼和尾數均為補碼。（3）階碼為移碼，尾數為補碼。解：據題意畫出該浮點數的格式：階符1位階碼4位數符1位尾數10位將十進制數轉換為二進制:x1=-27/1024=-0.0000011011B=2-5*(-0.11011B）x3=-86.5=-1010110.1B=27*(-0.10101101B)則以上各數的浮點規格化數為：（1）[x1]原=1，0101；1.1101100000[x3]原=0，0111；1.1010110100（2）[x1]補=1，1011；1.0010100000[x3]補=0，0111；1.0101001100（3）[x1]移補=0，1011；1.0010100000[x3]移補=1，0111；1.01010011006.19.設機器數字長為8位（含1位符號位），用補碼運算規則計算下列各題。（2）A=19/32，B=-17/128，求A-B。（4）A=-87，B=53，求A-B。解：（2）A=19/32=0.1001100B,B=-17/128=-0.0010001B[A]補=00.1001100,[B]補=11.1101111,[-B]補=00.0010001[A-B]補=[A]補+[-B]補=00.1001100+00.0010001=00.1011101——無溢出A-B=0.1011101B=93/128B（4）A=-87=-1010111B,B=53=110101B[A]補=11,0101001,[B]補=00,0110101,[-B]補=11,1001011[A-B]補=[A]補+[-B]補=11,0101001+11,1001011=10,1110100——溢出6.21.用原碼加減交替法和補碼加減交替法計算x÷y。（2）x=-0.10101，y=0.11011；（4）x=13/32，y=-27/32。（2）[x]原=1.10101x*=0.10101[X*]補=1.01011XfYf=10.10101+1.001011.1101001.10100+0.110110.0111100.11110+1.001010.000110110.00110+1.001011.0101101100.10110+0.110111.10001011001.00010+0.110111.11101011000[y]原=0.11011y*=0.11011[Y*]補=0.11011[-y*]補=1.00101[x/y]原=1.11000（4）做法相同，打表格太累，僅給出結果。[x/y]原=1.01111三、應用4.14.某8位微型機地址碼為18位，若使用4K×4位的RAM晶元組成模塊板結構的存儲器，試問：（1）該機所允許的最大主存空間是多少？（2）若每個模塊板為32K×8位，共需幾個模塊板？（3）每個模塊板內共有幾片RAM晶元？（4）共有多少片RAM？（5）CPU如何選擇各模塊板？解：（1）該機所允許的最大主存空間是：218×8位=256K×8位=256KB（2）模塊板總數=256K×8/32K×8=8塊（3）板內片數=32K×8位/4K×4位=8×2=16片（4）總片數=16片×8=128片（5）CPU通過最高3位地址解碼輸出選擇模板，次高3位地址解碼輸出選擇晶元。地址格式分配如下：4.29.假設CPU執行某段程序時共訪問Cache命中4800次，訪問主存200次，已知Cache的存取周期為30ns，主存的存取周期為150ns，求Cache的命中率以及Cache-主存系統的平均訪問時間和效率，試問該系統的性能提高了多少倍？解：Cache被訪問命中率為：4800/(4800+200)=24/25=96%則Cache-主存系統的平均訪問時間為：ta=0.96*30ns+(1-0.96)*150ns=34.8nsCache-主存系統的訪問效率為：e=tc/ta*100%=30/34.8*100%=86.2%性能為原來的150ns/34.8ns=4.31倍，即提高了3.31倍。例7.2設相對定址的轉移指令佔3個位元組，第一位元組為操作碼，第二，三位元組為相對位移量（補碼表示）。而且數據在存儲器中採用以低位元組地址為字地址的存放方式。每當CPU從存儲器取出一個位元組時，即自動完成（PC）+1PC。（1）若PC當前值為240（十進制），要求轉移到290（十進制），則轉移指令的第二、三位元組的機器代碼是什麼？（2）若PC當前值為240（十進制），要求轉移到200（十進制），則轉移指令的第二、三位元組的機器代碼是什麼？解:（1）PC當前值為240，該指令取出後PC值為243，要求轉移到290，即相對位移量為290-243=47，轉換成補碼為2FH。由於數據在存儲器中採用以低位元組地址為字地址的存放方式，故該轉移指令的第二位元組為2FH，第三位元組為00H。（2）PC當前值為240，該指令取出後PC值為243，要求轉移到200，即相對位移量為200-243=-43，轉換成補碼為D5H。由於數據在存儲器中採用以低位元組地址為字地址的存放方式，故該轉移指令的第二位元組為D5H，第三位元組為FFH。例7.3一條雙字長直接定址的子程序調用指令，其第一個字為操作碼喝定址特徵，第二個字為地址碼5000H。假設PC當前值為2000H，SP的內容為0100H，棧頂內容為2746H，存儲器按位元組編址，而且進棧操作時執行（SP）-△-P，後存入數據。試回答下列幾種情況下，PC、SP及棧頂內容各為多少？（1）CALL指令被讀取前。（2）CALL指令被執行後。（3）子程序返回後。解CALL指令被讀取前，PC=2000H，SP=0100H，棧頂內容為2746H。（1）CALL指令被執行後，猶豫存儲器按位元組編制，CALL指令供佔4個位元組，故程序斷電2004H進棧，此時SP=（SP）-2=00FEH，棧頂內容為2004H，PC被更新為子程序入口地址5000H。（2）子程序返回後，程序斷點出棧，PC=2004H，SP被修改為0100H，棧頂內容為2746H。7.6某指令系統字長為16位，地址碼取4位，試提出一種方案，使該地址系統有8條三地址指令、16條二地址指令、100條一地址指令。解：OPA2A1A0三地址指令8條0000•••0111OPA1A0二地址指令16條10000000•••10001111OPA0一地址指令100條1100000000001100011000117.7設指令字長為16位，採用擴展操作碼技術，每個操作碼的地址為6位。如果定義了13條二地址指令，試問還可安排多少條一地址指令。解：（24-3）*26=3*64=192條7.8某機指令字長16位，每個操作數的地址碼為6位，設操作碼長度固定，指令分為零地址，一地址和二地址三種格式，若零地址指令有M種，以抵制指令有N種，則二地址指令最多有幾種？若操作碼位數可變，則二地址指令最多允許有幾種？解：1）若採用定長操作碼時，二地址指令格式如下：OP（4位）A1（6位）A2（6位）設二地址指令有K種，則：K=24-M-N當M=1（最小值），N=1（最小值）時，二地址指令最多有：Kmax=16-1-1=14種2）若採用變長操作碼時，二地址指令格式仍如1）所示，但操作碼長度可隨地址碼的個數而變。此時，K=24-（N/26+M/212）；當（N/26+M/212）1時（N/26+M/212向上取整），K最大，則二地址指令最多有：Kmax=16-1=15種（只留一種編碼作擴展標志用。）9.5設機器A的CPU主頻為8MHz，機器周期為4個時鍾周期，且該機的平均指令執行速度是0.4MIPS，試求該機的平均指令周期和機器周期，每個指令周期中含幾個機器周期？如果機器B的CPU主頻為12MHz，且機器周期也含有4個時鍾周期，試問B機的平均指令執行速度為多少MIPS?A.CLK=8MHzT=1/8MHz=0.125us機器周期=4*T=0.5us因為執行速度為0.4MIPS所以平均指令周期=1/0.4MIPS=2.5us2.5us/0.5us=5個所以每個指令含有5條機器指令B.T=1/f=1/12MHz=1/12us機器指令=4*T=1/3us指令周期=5*1/3=5/3us平均指令執行速度1/(5/3)=0.6MIPS9.6設某計算機的CPU主頻為8MHz，每個機器周期平均含2個時鍾周期，每條指令平均有4個機器周期，試問該計算機的平均指令執行速度為多少MIPS?若CPU主頻不變，但每個機器周期平均含4個時鍾周期，每條指令平均有4個機器周期，試問B機的平均指令執行速度為多少MIPS?1.CLK=8MHz平均指令執行速度1/(1/8M*2*4)=1MIPS2.指令周期=4*4*1/8=2us執行速度=1/(1/8M*4*4)=0.5MIPS9.7某CPU的主頻為10MHz，若已知每個機器周期平均含有4個時鍾周期，該機的平均指令執行速度為1MIPS，試求該機的平均指令執行速度為多少MIPS?若CUP主頻不變，但每個機器周期平均含有4個時鍾周期，每條指令平均有4個機器周期，則該機的平均指令執行速度又是多少MIPS？由此可得出什麼結論1.平均指令周期=1/1MIPS=1usT=1/f=0.1usT機=4*T=0.4us因為1us/0.4us=2.5所以每個指令包含2.5個機器周期2.T=0.4us速度=1/(0.4*2.5*4)=0.25MIPS3.因為速度=0.8MIPS所以T指=1/0.8us因為T指=4*2.5*T所以T=1/8us所以f=1/T=8MHz四、簡答1.馮諾依曼機主機主要特點。○1計算機由運算器、存儲器、控制器、輸入設備和輸出設備五大部件組成。○2.指令和數據一同等地位存放於存儲器內，並可按地址尋訪。○3.指令和數據均用二進製表示。○4.指令由操作嗎和地址碼組成，操作碼用來表示操作的性質，地址碼用來表示操作數在存儲器中的位置。○5.採用存儲控制原理，指令在存儲器內按順序存放。通常指令是順序執行的，在特定條件下，可根據運算結果或根據設定的條件改變執行順序。○6.機器以運算器為中心，輸入輸出設備與存儲器間的數據傳說通過運算器完成。2.計算機硬體主要技術指標，軟體定義與分類。計算機硬體主要技術指標：機器字長、存儲容量、運算速度、主頻等。軟體定義：看不見摸不著，由人們事先編制的具有各類特殊功能的程序組成。分類：系統軟體和應用軟體。3.計算機組成部分與個部分作用。運算器：用來完成算術運算和邏輯運算，並將運算的中間結果暫存在運算器內。存儲器：用來存放數據和程序。控制器：用來控制、指揮程序和數據的輸入、運行以及處理器運算結果。輸入設備：用來將人們熟悉的信息形式轉換為機器能識別的信息形式，常見的有鍵盤、滑鼠等。輸出設備：可將機器運算結果轉換為人們熟悉的信息形式，如列印機輸出，顯示器輸出等。4.匯流排定義與分類方法，系統匯流排定義與分類方法。匯流排定義：匯流排是連接多個部件的信息傳輸線，是各部件共享的傳輸介質。分類：片內匯流排系統匯流排通信匯流排系統匯流排定義：系統匯流排是指CPU、主存、I/O設備（通過I/O介面）各大部件之間的信息傳輸線。分類：數據匯流排地址匯流排控制匯流排5.什麼是匯流排標准，目前流行的匯流排標准有哪些。所謂匯流排標准可視為系統與各模塊，模塊與模塊之間的一個互連的標准界面。ISA匯流排、EISA匯流排、PCI匯流排、RS—232C匯流排、IEEE-488(並行通信匯流排又稱GP-IP匯流排)USB匯流排。6.三級存儲器系統中各級存儲器特點與用途，分哪兩個層次。○1主存特點：隨機訪問、速度快。容量大。用途：存放CPU使用的程序和數據。輔存特點：容量大、速度慢、價格低、可離線保存信息。用途：存放大量後備數據緩存特點：速度快、容量小、價格高用途：用於主存與輔存之間作為緩沖，正在使用的程序和數據的付本。○2緩存-----主存層次和主存---輔村層次。7.半導體存儲器RAM與ROM特點與用途。RAM特點：可讀可寫掉電後信息丟失，存臨時信息。用途：主要做內存ROM特點：只讀不寫掉電後信息不丟失，存長期信息。用途：主要做控制存儲器8.動態RAM與靜態RAM特點與用途，DRAM刷新方式與主要優點。靜態RAM特點：信息讀出後，仍保持其原有狀態，不需要再生。用途：用於Cache動態RAM特點：靠電容存儲電荷的原理來寄存信息。用途：組成內存/主存。DRAM刷新方式集中刷新：集中刷新是在規定的一個刷新周期內對全部存儲單元集中一段時間逐行進行刷新，此刻必須停止讀寫操作。分散刷新：分散刷新是指對每行存儲單元的刷新分散到每個存儲周期內完成。非同步刷新：非同步刷新是前兩種方式的結合，它即可縮短「死時間」，又充分利用最大刷新間隔2ms的特點。優點：單個MOS管組成，集成度高，速度較SRAM慢，價格低，9.Cache工作原理特點，地址映射方式與替換演算法。原理：利用程序訪問的局部性，近期用到信息存於cache。地址映射方式：直接映射、全相聯映射、組相聯映射、替換演算法：先進先出演算法（FIFO）、近期最少使用演算法（LRU）、隨機法。10.主機與外設交換信息採用中斷與DMA方式特點與應用場合。中斷方式：特點：CPU與外設並行工作，效率高應用場合：管理多種外設並行工作、進行實時處理、進行故障自動處理DMA方式：特點：○1從數據傳送看，程序中斷方式靠程序傳送，DMA方式靠硬體傳送。○2從CPU響應時間看，程序中斷方式是在一條指令執行結束時響應，而DMA方式可在指令周期內的任一存取周期結束時響應。○3程序中斷方式有處理異常事件能力，DMA方式沒有這種能力，主要用於大批數據的傳送，如硬碟存取、圖像處理、高速數據採集系統等，可提高數據吞吐量。○4程序中斷方式需要中斷現行程序，故需保護現場；DMA方式不中斷現行程序，無須保護現場。○5DMA的優先順序比程序中斷的優先順序高。應用場合：高速設備如硬碟11.I/O埠與介面的區別，I/O介面分類方法。埠：介面內部寄存器有I/O地址號。一般分為數據口、命令口和狀態口。介面：若干埠加上相應的控制電路組成。介面分類：按數據傳送方式分串列介面和並行介面按功能選擇的靈活性分為可編程介面和不可編程介面按通用性分為通用介面和專用介面按數據傳送的控制方式分為程序型介面和DMA介面。12.中斷處理過程分成哪兩個階段各完成哪些任務響應階段：關中斷、保護斷點地址、轉入中斷服務入口地址處理階段：保護現場、執行用戶編寫的中斷服務程序、恢復現場。13.與中斷方式比較MDA方式主要特點是什麼。○1從數據傳送看，程序中斷方式靠程序傳送，DMA方式靠硬體傳送。○2從CPU響應時間看，程序中斷方式是在一條指令執行結束時響應，而DMA方式可在指令周期內的任一存取周期結束時響應。○3程序中斷方式有處理異常事件能力，DMA方式沒有這種能力，主要用於大批數據的傳送，如硬碟存取、圖像處理、高速數據採集系統等，可提高數據吞吐量。○4程序中斷方式需要中斷現行程序，故需保護現場；DMA方式不中斷現行程序，無須保護現場。○5DMA的優先順序比程序中斷的優先順序高。14.什麼是定址方式，數據定址方式有哪幾種。定址方式：是指確定本條指令的數據地址以及下一條將要執行的指令地址的方法，它與硬體結構緊密相關，而且直接影響指令格式和指令功能。數據定址方式：立即定址、直接定址、隱含定址、間接定址、寄存器定址、寄存器間接定址、基址定址、變址定址、相對定址、堆棧定址。15.RISC主要特點與CISC相比較RISC主要優點。特點：選用使用頻率較高的一些簡單指令以及一些很有用但又不復雜的指令，讓復雜指令的功能由頻度高的簡單指令的組合來實現；指令長度固定指令格式種類少，定址方式種類少；只有取數/存數指令訪問存儲器，其餘指令的操作都在寄存器內完成；採用流水線技術，大部分指令在一個時鍾周期內完成；控制器採用組合邏輯控制，不用微程序控制；採用優化的編譯程序。○1充分利用VLSI晶元的面積。○2提高計算機運算速度。○3便於設計可降低成本提高可靠性。○4有效支持高級語言程序。16.組合邏輯與微程序設計主要特點與應用。組合邏輯：特點：速度快、復雜不靈活。應用：適用於RISC機。微程序：特點：引入程序設計與存儲邏輯技術，硬體軟化，把一條機器指令用一段微程序來實現，存放控制存儲器CM中。應用：系列機。17.什麼是指令周期、機器周期、時鍾周期三者的關系如何。指令周期：完成一條指令的時間，由若干機器周期組成。機器周期：完成摸個獨立操作，由若干時鍾周期組成。時鍾周期：最基本時間單位，由主頻決定。關系：時鍾周期是最基本時間單位，由若干時鍾周期組成機器周期，由若干機器周期組成指令周期。

❷ 大數據能做什麼簡單的課程設計

大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）,平台有hadoop

❸ 軟體測試出來之後可以做大數據測試不

可以，需要你來學習掌握更自多的大數據技術、Hadoop、Maprece等等技術。
對於從事大數據測試的軟體測試工程師而言，與傳統的測試工作相對比，可能會面臨的以下幾個可能的挑戰：
自動化
自動化測試是從事大數據測試必備的技術，但自動化測試工具可能並不具備處理測試過程所引發的異常的能力，意味著現有工具可能並不適用，編程能力將是更好的一種技能。
虛擬化
當前業內大規模使用虛擬化技術，但虛擬機的延遲有可能造成大數據實時測試處理的異常。
對大數據而言，管理影像信息也將是一個巨大的問題：
1、海量數據集
2、需要驗證的數據量巨大，而且需要更快的處理速度
3、需要有效的自動化測試手段
4、需要盡可能的跨平台

❹ 如何構建大量的測試數據

構造海量數據來驗證系統是否能正確執行。怎樣才算正確的執行呢？定義一個清晰的、可測量的標准很重要。在進行大數據量測試之前，首先對測試需求做清晰的分析。我們一般很少從功能評價的角度進行這項測試，更多的時候是考查系統性能和效率。假設一個本科院校的學籍管理系統，主要是用來管理學生的，學生在系統中的生命周期一般是4年，根據學校現有的在校生數以及未來五年每年的招生數據，基本上可以分析出需要構造的各個學年下的學生數。這樣一來，原來在單個學期能正確執行的功能(功能、性能、效率都滿足需求，這個需求可以作為大數據量測試時的參考標准)，在處理4個學年的數據(8個學期)時，各個業務的功能、伺服器性能、業務執行效率(如查詢、統計、數據挖掘等)還能滿足需求嗎？根據業務特點，數據在系統中總是有一個相對確定的生命周期的，我們需要構造的往往是這些全生命周期的數據，注意不同的業務模塊生成的數據量是不一樣的。沒有必要去構造不符合實際情況，數量級過大的測試數據。
對測試需求做了准確清晰的分析之後，接下來對輸入的測試數據進行分析。一方面，我們要求測試數據要盡可能的與生產環境數據一致，盡可能是有意義的數據，可以通過分析使用現有系統的數據或根據業務特點構造數據。另一方面，我們要求測試數據輸入要滿足輸入限制規則，盡可能覆蓋到滿足規則的不同類型的數據。我們遇到最多的還是在資料庫中構造的測試數據，也包括磁碟文件(附件)。
最後一步就是生成測試數據了。生成測試數據的方法無外乎編寫sql腳本(存儲過程)在資料庫端直接生成、編寫程序代碼生成(實際上也是要寫sql)、使用批量數據生成工具(DataFactory、PL/SQL Developer、TOAD等都可以)、使用工具錄制業務參數化之後長時間運行來生成(如4樓的仁兄所說)。不過個人覺得使用sql來做是最靈活的，尤其是涉及到業務數據相互轉換需要充分考慮到內部處理邏輯及約束時。
補充一點，大數據量測試同時也是檢測伺服器性能的好時機(例如執行數據轉換、統計分析的業務過程)，包括磁碟的I/O性能、內存、CPU等，甚至也是對數據增長預測的一個驗證。

❺ 大數據測試需要學什麼

首先是基礎階段。這一階段包括：關系型資料庫原理、LINUX操作系統原理及應用。在掌握了這些基礎知識後，會安排這些基礎課程的進階課程，即：數據結構與演算法、MYSQL資料庫應用及開發、SHELL腳本編程。在掌握了這些內容之後，大數據基礎學習階段才算是完成了。
接下來是大數據專業學習的第二階段：大數據理論及核心技術。第二階段也被分為了基礎和進階兩部分，先理解基礎知識，再進一步對知識內容做深入的了解和實踐。基礎部分包括：布式存儲技術原理與應用、分布式計算技術、HADOOP集群搭建、運維；進階內容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源碼分析、HIVE、HBASE、Mongodb、HADOOP項目實戰。
完成了這部分內容的學習，學員們就已經掌握了大數據專業大部分的知識，並具有了一定的項目經驗。但為了學員們在大數據專業有更好的發展，所學知識能更廣泛地應用到大數據相關的各個崗位，有個更長遠的發展前景。
第三階段叫做數據分析挖掘及海量數據高級處理技術。基礎部分有：PYTHON語言、機器學習演算法、FLUME+KAFKA；進階部分有：機器學習演算法庫應用、實時分析計算框架、SPARK技術、PYTHON高級語言應用、分布式爬蟲與反爬蟲技術、實時分析項目實戰、機器學習演算法項目實戰。

❻ 怎樣提升自己的大數據測試經驗

業務篇
1.業務為核心，數據為王
· 了解整個產業鏈的結構
· 制定好業務的發展規劃
· 了解衡量的核心指標
有了數據必須和業務結合才有效果。
需要懂業務的整體概況，摸清楚所在產業鏈的整個結構，對行業的上游和下游的經營情況有大致的了解。然後根據業務當前的需要，指定發展計劃，從而歸類出需要整理的數據。最後一步詳細的列出數據核心指標（KPI），並且對幾個核心指標進行更細致的拆解，當然具體結合你的業務屬性來處理，找出那些對指標影響幅度較大的影響因子。前期資料的收集以及業務現況的全面掌握非常關鍵。
2.思考指標現狀，發現多維規律
· 熟悉產品框架，全面定義每個指標的運營現狀對
· 比同行業指標，挖掘隱藏的提升空間
· 拆解關鍵指標，合理設置運營方法來觀察效果
· 爭對核心用戶，單獨進行產品用研與需求挖掘
業務的分析大多是定性的，需要培養一種客觀的感覺意識。定性的分析則需要藉助技術、工具、機器。而感覺的培養，由於每個人的思維、感知都不同，只能把控大體的方向，很多數據元素之間的關系還是需要通過數據可視化技術來實現。
3.規律驗證，經驗總結
發現了規律之後不能立刻上線，需要在測試機上對模型進行驗證。
技能篇
1.Excel是否精鑽？
除了常用的Excel函數（sum、average、if、countifs、sumifs、offset、match、index等）之外，Excel圖表（餅圖、線圖、柱形圖、雷達圖等）和簡單分析技能也是經常用的，可以幫助你快速分析業務走勢和異常情況；另外，Excel裡面的函數結合透視表以及VBA功能是完善報表開發的利器，讓你一鍵輕松搞定報表。
2.你需要更懂資料庫
常用的資料庫如MySQL，Sql Server、Oracle、DB2、MongoDB等；除去SQL語句的熟練使用，對於資料庫的存儲讀取過程也要熟練掌握。在對於大數據量處理時，如何想辦法加快程序的運行速度、減少網路流量、提高資料庫的安全性是非常有必要的。
3.掌握數據整理、可視化和報表製作
數據整理，是將原始數據轉換成方便實用的格式，實用工具有Excel、R、Python等工具。數據可視化，是創建和研究數據的視覺表現，方便業務方快速分析數據並定位具體問題，實用工具有Tableau、FineBI、Qlikview.
如果常用excel，那需要用PPT展示，這項技能也需要琢磨透。如果用tableau、FineBI之類的工具做數據可視化，FineBI有推送查看功能，也就是在企業上下建立一套系統，通過許可權的分配讓不同的人看到許可權范圍內的報表。
4.多學幾項技能
大多數據分析師都是從計算機、數學、統計這些專業而來的，也就意味著數學知識是重要基礎。尤其是統計學，更是數據分析師的基本功，從數據採集、抽樣到具體分析時的驗證探索和預測都要用到統計學。
現在社會心理學也逐漸囊括到數據分析師的能力體系中來了，尤其是從事互聯網產品運營的同學，需要了解用戶的行為動向，分析背後的動機。把握了整體方向後，數據分析的過程也就更容易。

❼ 求一份大數據課程設計實驗

大數據課程設計
這個實驗，我來做
但是你有更完整要求嗎