LSx-新年度專案與M&E簡介

文/林倬立

去年九月回台灣參加浩然結訓,重新申請簽證,十月中再度來到倫敦。相較於去年,這個時節氣溫明顯低了許多,好似秋天匆匆離去,冬天急著降臨。撰寫報告的這幾天,倫敦剛好都在下雪。新年度的第一篇報告分為三部分:

(一)說明LSx人事組織變化

(二)新專案介紹:改善學校空氣品質CA4S、氣候變遷與社區發展專案PACT

(三)以PACT為例,簡介「監測與評估Monitoring & Evaluation」的概念和常用方法。

(一)人事組織變化

辦公室兩位正職人員已經在九月離職,一位是本組Behaviour Change的主管,一位是負責財務與環境稽查專案的同事。他們都是我去年一起合作專案的好伙伴。受英國經濟衰退影響,NGO的財務狀況吃緊,LSx也不例外,所以沒有招募人員遞補這兩個職缺。另一位募款與對外溝通的資深主管請產假/育嬰假一整年,也LSx不像過去另聘一年期的員工接掌她的工作。突然間辦公室少了三個熟悉的面孔,讓我有點不習慣。他們三位都是主管,專案與部分財務行政的工作,都分到了CEO與每位工作人員身上,故也看到各專案負責人更忙碌、經常處於壓力與焦慮的狀態。Project 及communication兼職實習生總人數仍然維持在3-4名。

LSx為了節省經費,不再聘用全職的財務人員,僅由財務實習生協助日常資料,加上委外的會計公司專員,每週來辦公室一兩天處理相關事務。此外,為了有效利用空間增加收益,LSx將兩個辦公室座位分別租給會計和貿易公司,兩位「房客」平常固定使用座位,靠網路和電話工作,有時候則有他們的工作伙伴一起來,借用會議室使用。未來LSx的會計財務要交接給會計專業的房客,對LSx工作將更方便有效率。

由於以上人事縮編,以及我對辦公室事務更熟悉,除了維持去年的行政協助項目(收發信件、協助總機電話門鈴、採買廚房用品、準備會議資料等等),今年我也多了些行政事務,包含幫CEO準備每週交通行程資料,分擔行政人員休假時的部分職務,不定時協調實習生工作等等。

 

(二)新專案介紹

1. 改善學校空氣品質CA4S

去年Cleaner Air 4 Schools (CA4S) Pilot試驗計畫在Westminster行政區的三所小學進行,並接著發展出一套Air Quality Toolkit 將在倫敦其他學校推廣。CA4S計畫的成果報告摘要與工作手冊,都能從LSx網站下載

今年LSx繼續在不同行政區的小學執行CA4S。因應新學校需求和贊助單位要求,我們調整了一些活動設計。不過CA4S操作架構雷同,所以本篇報告不再詳加說明。

目前有三所小學參與,一所位在市中心,由LSx與Network Rail鐵路公司合作,該計畫屬於Network Rail企業社會責任與社區投資的一部份,Network Rail除了贊助經費,還有7名員工擔任義工,一起參與培訓,並協助學生們空氣汙染調查活動。另外兩所學校則位於Manor House地區,屬於接下來要介紹的PACT專案中的子計畫。

 

Manor House區內的湖區(儲水池)步道

Manor House區內的湖區(儲水池)步道

2. PACT氣候變遷與社區發展專案

PACT是「準備Prepare, 調適Adapt, 連結Connect, 繁榮Thrive」四個字的縮寫。這是一個跨機構的大型社區發展計畫。Manor House Development Trust (MHDT[1])獲得大樂透基金Big Lottery Fund所提供的一百萬英鎊的金額,實施2012-2015為期三年的社區發展計畫社區發展與氣候變遷專案[2]

PACT主要是為了增進Manor House地區的居家及社區安全、提升居民健康與永續生活實踐、培養對於環境氣後變遷的應變能力。Manor House位於倫敦東區,是Hackney 與Haringey兩個行政區的交界區域,人口約二萬人,包含110英畝的Finsbury Park公園和兩個湖(大型儲水池),此區有很多老舊的社會住宅,普遍家戶所得較低,居民族裔文化非常多元。PACT專案中特別關注弱勢族群,像是老年、幼童、青少年(尤其非就業/非就學/非受訓的尼特族)、有身心疾病或慢性病、低收入及居住環境差的家戶(如燃料貧窮家庭Fuel-Poor household[3])。

由MHDT所領導的PACT計畫龐大,包含三類主題:Pact Home、Open Spaces、Green Vocational Training,此三類主題又各有數個子專案,由LSx和其他許多承辦機構分別執行,有些子專案相互連結或支援,因此各執行單位除了對MHDT負責,也需要彼此溝通協調。這些計畫有公部門、當地企業、非營利機構及學術單位參與,並鼓勵居民與各組織合作,具體活動例如家庭訪視、社區午餐共享、健康飲食、社區地圖、氣後變遷研究與技能培訓等等,經由多樣化的活動達成以下目標:

  • 提升居民意識,了解氣候變遷對社區的影響
  • 讓參與者體認永續生活(Sustainable Living)的益處
  • 促進參與者的行為改變
  • 增加積極參與社區網絡的人數
  • 提升居民實踐永續生活的技能
  • 協助參與者知道從哪裡能取得相關資訊或支援

在PACT裡,LSx承辦的項目包含Pact Home其中二個子專案:更好的鄰里Better Neighbourhoods改善學校空氣品質Cleaner Air 4 Manor House Schools 以及整個PACT總計畫的監測與評估Monitoring and Evaluation。以下說明這兩項LSx的工作。

(1) 子專案:更好的鄰里Better Neighbourhoods

屬於研究類型的計畫LSx要與義工們一起發展Manor House應變氣候變遷的社區風險地圖(community risk map),包含三類研究主題:氣候變遷造成災害的地區(如熱浪或冷浪的極端氣候、水患或旱災)、變遷調適能力較低的高風險族群(如前面提到的燃料貧窮家戶、老人與幼童)、指認易受氣候變遷而危害居民的硬體建築(如不穩固的老舊建築、容易淹水的低窪區房舍、某些冬冷夏熱的頂樓)。MHDT將會招募並引介15名熟悉當地環境與社群網絡的義工給LSx,由LSx協調並執行訓練與田野調查工作。義工們要學習氣候變遷的知識、培養搜尋資料與田野調查的能力。另外還有Greenwich大學的學者支援LSx籌畫公民科學訓練,協助製作風險地圖。

風險地圖要在PACT的第一年(2013年末)執行完成,研究成果將提供給其他PACT的合作夥伴與社區義工,這些資料有助於社區訪視與居民健康有關的其他子計畫。另外風險地圖資訊也會公開在網路,分享給與Haringey及Hackney行政區裡更廣大的社群。

(2) PACT子專案:改善學校空氣品質Cleaner Air 4 Manor House Schools, CA4MH

類似LSx在其他行政區執行的CA4S專案。在PACT計畫中LSx與區域內兩所小學合作,培訓由學生、老師、與家長組成的Air Quality Champions team,用公民科學實驗監測空氣品質,透過社會行銷傳遞訊息給不同社群,促進行為改變。

跟以往CA4S的差異有三項:(1)測量/觀察空氣汙染時,除了這兩所學校周圍,還要擴及到PACT計畫區裡的其他地方,例如重要的交通結點、車多擁擠的大馬路、公園等等,進一步喚起當地社區對空氣品質與永續交通的重視(2)空氣汙染調查的成果,將會整合到Better Neighbourhoods,與其他氣候變遷有關的資訊一起呈現在社區風險地圖中。(3)該計畫的成人們(老師與家長)會被進一步引介到其他PACT的子專案,希望他們能夠有更多面向的參與。

(3) PACT Monitoring and evaluation 總計畫的全面監測與評估

Monitoring and Evaluation (M&E) 向來LSx各專案中很重要的部分,過去報告中曾提過:LSx各種量化和質化方式評估專案的成效,包含:直接參與活動的受惠者(Beneficiary)人數、間接收到訊息或受到影響的受惠人數(家戶人數、看到海報或收到傳單網路宣傳的讀者)、受惠者的意識提升(對環境與永續相關議題的認識)、態度與行為改變的調查(例如空氣品質專案中搭乘汽車的人變少、更多人走路或騎單車上學/上班、健康飲水專案中社區成員減少飲用瓶裝水)、用數據證明或推算出具體成效(例如觀察空氣品質專案中計算引擎空轉的車量、綠化第三部門比較環境稽和專案前後的年度水電帳單及影印紙用量)。此外,還經常用問卷、訪談及焦點團體等方式檢視參與者對專案的滿意度和回饋意見。

LSx有豐富的專案監測與評估經驗,尤其專精於行為改變有關的M&E,所以MHDT委託LSx負責PACT總計畫的全面M&E。LSx的M&E工作目標是確保PACT各計畫能展現其成果和影響、支持並協助其他執行單位和社區組織進行M&E,例如提供操作M&E的資源、協助義工培訓等。

(三)簡介「監測與評估Monitoring & Evaluation」的常用方法

為了讓PACT各執行單位認識PACT的M&E架構,並了解LSx對各子計畫要求的M&E項目,LSx在12月舉辦了一場M&E的工作坊,我協助專案負責人準備材料並以CA4MHS子專案人員的身分出席該工作坊。LSx負責簡報並帶領小組討論,讓十多位來自不同執行單位的成員一起認識M&E,並探討PACT將採用幾項M&E方法的優缺點[4]

M&E工作坊實況

M&E工作坊實況

A. 為什麼要做專案監測與評估?

– 確保計畫能穩定地進步

– 經驗成果可供為未來的專案參考

– 不要重蹈覆轍

– 與他人溝通你在做的事情

– 向金主/投資者(Funder)證明成果

– 組織中內部相互學習與工作紀錄

– 確定若有缺失或不足都得到處理

– 得到具體資料來評估成本效益

– 達到學術嚴謹度(Place academic rigour)

B. 常用的監測與評估方法

1. 問卷調查 Questionnaires

普遍使用的評估法,又常分為兩項階段:專案開始前或初期建立資料的基礎調查Baseline survey,以及專案後期的後續調查 Follow-up survey,用來評估受惠者是否有任何改變。在PACT計畫中,又分為兩類:對協助專案的社區Champions的調查,以及對一般活動出席者Attendees的調查。前者的參與程度較深且時程長,受專案影響比較大,可能有明顯的態度及行為改變。該方法可能遭遇的困難是:冗長問卷令人討厭、填寫完整的數量過低、基礎調查的受訪者沒有留下聯絡方式而無法後續追蹤。此外,對工作人員來說,資料的建檔工作繁瑣耗時。

2. 意見回饋表Feedback Forms

在每次活動後請參與者填寫意見回饋表,了解人們對活動的滿意度與建議。由於很多人可能只出席特定主題的活動,或是單一活動,該問卷雖然能讓主辦單位獲得參與者的建議,評估該次活動成效(如是否滿意、是否有收穫、增長知識或技能),但無法評估是否促成他們的行為改變。

3. 監測管理表Monitoring Spreadsheets

紀錄各活動的主題、時間、參與人數、具體內容等等,屬於數據化的客觀資料,方便執行單位一目了然,進行量化的統計或比較。缺點是繁瑣耗時,且從表格和數字只看到「量」,不容意判斷其「質」。

4. 焦點團體Focus Groups

在專案執行初期,利用焦點團體來收集基礎資訊,或在計畫尾聲讓參與者分享參與心得和提出改善意見。以小規模的團體討論,給參與者公平的發言機會,提升討論的深度。成員須經過謹慎挑選,避免團體中的權力不平等造成有人主導或有人不願發聲。根據主題考量成員的異質性與同質性。例如在PACT專案中,可能依不同的住宅擁有權而分三個不同焦點團體(自購住宅、租賃住宅、政府社會住宅),然而在同一焦點團體中,希望成員有性別、文化、職業、社區參與經驗等條件的多元性。

5. 個案研究Case Studies

透過個案研究,了解本計畫對個人產生的影響及參與過程中的轉變,個人經驗總是比制式分析或報告更有魅力,可以更廣為分享給其他人。個案研究經常來自訪談interview,因此訪談和紀錄都需要技巧,避免誤解受訪者的原意。在PACT專案中,將會用錄影做為個案研究的資料來源,讓參與者說自己的故事。

6. 影像紀錄Video & Photos

照片和攝影紀錄活動可以活潑地呈現活動現場實況,比文字容易吸引大眾。由於很多人面對採訪或攝影機時會害羞,所以計畫由當地熟悉人脈的Champions來協助。為了降低操作技術門檻,LSx將會舉辦培訓工作坊,讓PACT Champions,學習使用輕便攝影機Flip cam及訪談技巧,然後訪問他們認識的活動參與者(受惠者)。

7. 軼事趣談Anecdotal

非正式的觀察或紀錄資料。不像前面的表格或紀錄,某些評估管道可能來自活動時對參與者的從旁觀察、正式會議以外的閒聊、或Email與電話溝通時不經意獲得的消息。例如可能某個居民在會議時害羞不發言,但在茶餘飯後閒談時,跟朋友提到參加PACT活動的經驗。要注意這類資訊可能只是少數人意見,不能代表全體的看法。

M&E工作坊實況

M&E工作坊實況

M&E工作坊實況

M&E工作坊實況


[1] MHDT為一慈善機構,該組織介紹與發展方向參閱http://www.mhdt.org.uk/

[2] PACT計畫網站剛剛成立,目前網站內容還不充實www.manorhousepact.org.uk

[3] 根據英國能源與氣後變遷部Department of Energy and Climate Change定義,燃料貧窮指「欲維持室內舒適 (攝氏18-21度),燃料支出(包含heating water, lights and appliance usage and cooking costs) 佔家戶所得的10%以上」。若為負擔其他基本生活支出(如租金食物醫療)將燃料支出控制在所得10%以下而被迫受寒的家庭,仍屬於燃料貧窮。燃料貧窮主要受三個因素影響:房屋的能源效率差、家戶所得低、能源價格高。http://www.decc.gov.uk/en/content/cms/funding/fuel_poverty/fuel_poverty.aspx

[4] 在有限的時間內,參與者分成2-3人一組,每組討論一項M&E方法的功能和優缺點,然後報告給所有人聽,由主持人補充或接受提問。M&E種類非常多,依子專案的特性不同,每個執行單位使用的方法和工具也不一樣。該工作坊討論的M&E都是LSx常操作的項目,但並非全部,例如:CA4S我們要學生舉手答題,以小測驗檢視學習成效,此方法並未在PACT使用。

廣告

One response to “LSx-新年度專案與M&E簡介

  1. 看了阿立分享後,我們好奇在英國的NGO的人事狀況是否普遍受到這波經濟危機影響?人事聘任的結構有什麼樣的變化?

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

w

連結到 %s