无埋点统计SDK实践-白红宇

背景

埋点模块是一个完整的系统不可获取的一部分，无论是移动端，Web端还是后端（后端可能倾向于叫日志系统）。当然，现在也有很多第三方的埋点SDK，如友盟，接入也很简单，只需要几行代码即可使用。但大多都是侵入式，也就是说，在每个需要埋点的地方手动添加代码，这样耦合性太大，虽然可通过二次封装的方式，降低对这些SDK的依赖，但埋点统计模块耦合性仍然很大，为了解决这个问题，我们可通过无埋点方案来实现数据的收集过程。

埋点系统类型

目前的埋点系统，主要分为2种：侵入式和无埋点。还有一种可视化的埋点方案，可认为是无埋点的一种，只是将设置埋点配置信息的过程做成了可视化而已。

侵入式埋点方案

在每个需要埋点的地方手动添加代码，优点是埋点准确，缺点也很明显，代码耦合度高，后期难以维护，不需要的埋点需要手动删除。

无埋点方案

无埋点方式是通过全局监听或AOP技术添加埋点的一种实现方案，开发者不需要在每个需要埋点的地方添加代码，只需要根据服务器分发的配置，获取相应的埋点数据即可。一方面代码耦合度低，同时灵活度也高，埋点数据直接由服务器控制。缺点就是没有侵入式埋点精准。

需要收集的数据

埋点的主要作用就是用于统计，对于埋点系统而言，最起码需要收集以下数据：

首次使用APP的新设备信息（精确控制还需要后端的配合)；

页面的停留时长；

View的交互事件（点击，滑动等）；

辅助运营的各种数据（渠道号，地理位置，设备信息等）

埋点系统介绍

一个完整的埋点系统，应该至少包含以下三个模块：

网络模块

负责从服务器获取配置信息，上传埋点数据；

存储模块

缓存埋点配置信息，保存产生的埋点数据；

核心处理模块

负责收集埋点数据，并保存在存储模块中，根据配置在指定的时间上传数据。

无埋点系统的工作原理

在APP启动时，对无埋点SDK进行初始化，初始化的时候系统会先从配置中设置的URL请求埋点配置信息，然后对Activity，Fragment，View进行全局监听，当有相应的事件产生时，通过与配置信息比对，将需要收集的事件先将其保存在数据库中，到上传时机时，从数据库中获取数据，然后上传到服务器，上传成功后删除数据库的已上传的内容。

无埋点系统的实现

无埋点系统的主要目标是降低开发人员对埋点过程的参与度，其核心在于如何对事件进行全局监听以及如何生成埋点配置列表。

页面停留时长的监听

Android应用中的页面，也就Activity,Fragment两种。对于Activity，系统了全局的生命周期监听的方法，只需要在onResume中记录页面显示时的时间，在onPause中计算显示的时长，在onDestroy中将停留时长事件添加到数据库即可：

application.registerActivityLifecycleCallbacks(new Application.ActivityLifecycleCallbacks() {        private Map
    
      durationMap = new WeakHashMap<>();    private Map
     
       resumeTimeMap = new WeakHashMap<>();            @Override	public void onActivityCreated(Activity activity, Bundle bundle) {		durationMap.put(activity, 0L);	}	@Override	public void onActivityResumed(Activity activity) {        resumeTimeMap.put(activity, System.currentTimeMillis());	}	@Override	public void onActivityPaused(Activity activity) {        durationMap.put(activity, durationMap.get(activity)			+ (System.currentTimeMillis() - resumeTimeMap.get(activity)));	}    	@Override	public void onActivityDestroyed(Activity activity) {        long duration = durationMap.get(activity);		if (duration > 0) {			// 将事件添加到数据库		}		resumeTimeMap.remove(activity);		durationMap.remove(activity);	}		// 其他生命周期方法});复制代码

而对于Fragment，虽然com.app包中的Fragment没有提供生命周期的全局监听，但25.1.0之后的v4包中提供了全局监听，考虑到通常情况下都使用v4包中的Fragment，所以这里就直接使用了v4包中提供的方法来实现页面停留时长的监听。

FragmentManager fm = getSupportFragmentManager();fm.registerFragmentLifecycleCallbacks(new FragmentManager.FragmentLifecycleCallbacks() {	private Map
    
      resumeTimeMap = new WeakHashMap<>();	private Map
     
       durationMap = new WeakHashMap<>();	@Override	public void onFragmentAttached(@NonNull FragmentManager fm, @NonNull Fragment f, @NonNull Context context) {		super.onFragmentAttached(fm, f, context);		resumeTimeMap.put(f, 0L);	}	@Override	public void onFragmentResumed(@NonNull FragmentManager fm, @NonNull Fragment f) {		super.onFragmentResumed(fm, f);		resumeTimeMap.put(f, System.currentTimeMillis());	}	@Override	public void onFragmentPaused(@NonNull FragmentManager fm, @NonNull Fragment f) {		super.onFragmentPaused(fm, f);		durationMap.put(f, durationMap.get(f) + System.currentTimeMillis() - resumeTimeMap.get(f));	}	@Override	public void onFragmentDetached(@NonNull FragmentManager fm, @NonNull Fragment f) {		super.onFragmentDetached(fm, f);		long duration = durationMap.get(f);		if (duration > 0) {			// 将事件添加到数据库		}		resumeTimeMap.remove(f);		durationMap.remove(f);	}}, true);复制代码

上面的代码只是对Fragment生命周期的监听，但Fragment的可见性与生命周期并不总是一一对应的，如：Fragment show/hide或者ViewPager中的Fragment在切换时生命周期中的方法并不总是执行的，所以还需要监听与这两种情况对应的onHiddenChanged和setUserVisibleHint，但这两个方v4包中提供的全局监听中并没有，所以还需要特殊处理一下。这里提供两种解决方案：

提供一个LifycycleFragment, 对onHiddenChanged和setUserVisibleHint方法进行监听，业务层的Fragment继承此Fragment；

使用AOP，监听onHiddenChanged和setUserVisibleHint；

其中的处理逻辑与onResume和onPause中一致，具体参考后面的源码。

如果要对com.app包中的Fragment实现生命周期的全局监听，可采用以下两种方式：

写一个LifycycleFragment, 在其中实现生命周期的监听，业务层的Fragment实现时继承此Fragment；

使用透明的Fragment，透明的Fragment由于没有UI，其生命周期会与当前Fragment生命周期一致;

由于Fragment总是依赖于Activity存在的，所以其监听范围也是Activity级别的。在Activity的onCreate中对Fragment设置监听即可。

监听View的点击事件

View点击事件的监听可通过两种方式来实现：

基于AOP监听onClick方法；

这里以Aspect为例，实现onClick的全局监听：

@Aspectpublic class ViewClickedEventAspect {	@After("execution(* android.view.View.OnClickListener.onClick(android.view.View))")	public void viewClicked(final ProceedingJoinPoint joinPoint) {		/**		 * 保存点击事件		 */	}}复制代码

通过setAccessibilityDelegate实现：

关于setAccessibilityDelegate我们可先看一下View点击事件被执行的源码：

public boolean performClick() {    // We still need to call this method to handle the cases where performClick() was called    // externally, instead of through performClickInternal()    notifyAutofillManagerOnClick();    final boolean result;    final ListenerInfo li = mListenerInfo;    if (li != null && li.mOnClickListener != null) {        playSoundEffect(SoundEffectConstants.CLICK);        li.mOnClickListener.onClick(this);        result = true;    } else {        result = false;    }    sendAccessibilityEvent(AccessibilityEvent.TYPE_VIEW_CLICKED);    notifyEnterOrExitForAutoFillIfNeeded(true);    return result;}复制代码

从代码中可以看出，View的onClick被执行时，有个sendAccessibilityEvent被执行，我们再看一下sendAccessibilityEvent方法的代码：

public void sendAccessibilityEvent(int eventType) {    if (mAccessibilityDelegate != null) {        mAccessibilityDelegate.sendAccessibilityEvent(this, eventType);    } else {        sendAccessibilityEventInternal(eventType);    }}复制代码

从代码可以看出，只需要为View设置了mAccessibilityDelegate，我们就可以监听View的onClick事件了。而设置View mAccessibilityDelegate的方法刚好是公开的，所以我们可使用此方式对View的点击事件进行监听，核心代码如下：

public class ViewClickedEventListener extends View.AccessibilityDelegate {    	/**	 * 设置Activity页面中View的事件监听	 * @param activity	 */	public void setActivityTracker(Activity activity) {		View contentView = activity.findViewById(android.R.id.content);		if (contentView != null) {			setViewClickedTracker(contentView, null);		}	}	/**	 * 设置Fragment页面中View的事件监听	 * @param fragment	 */	public void setFragmentTracker(Fragment fragment) {		View contentView = fragment.getView();		if (contentView != null) {			setViewClickedTracker(contentView, fragment);		}	}	private void setViewClickedTracker(View view, Fragment fragment) {		if (needTracker(view)) {			if (fragment != null) {				view.setTag(FRAGMENT_TAG_KEY, fragment);			}			view.setAccessibilityDelegate(this);		}		if (view instanceof ViewGroup) {			int childCount = ((ViewGroup) view).getChildCount();			for (int i = 0; i < childCount; i++) {				setViewClickedTracker(((ViewGroup) view).getChildAt(i), fragment);			}		}	}	@Override	public void sendAccessibilityEvent(View host, int eventType) {		super.sendAccessibilityEvent(host, eventType);		if (AccessibilityEvent.TYPE_VIEW_CLICKED == eventType && host != null) {			// 添加事件到数据库		}	}}复制代码

然后在Activity和Fragment的onResume中添加View的监听即可。

生成埋点配置信息

事件的全局监听已经实现了，理论上APP开发人员不需要参与埋点的过程，但后台的统计并不需要所有的数据，所以这里还需要添加埋点配置信息的收集。这里提供了埋点数据实时上传的功能，在APP上线前，将数据上传策略修改成实时上传，即可将所有的事件信息通过Socket发送给后台，然后将需要的数据导入到埋点配置信息列表中，APP上线后，会从服务器获取埋点配置信息，在产生数据后，根据获取的配置信息，保存需要的数据，到指定上传时间时，将数据提交给服务器。

使用

在Application的onCreate中进行初始化即可：

TrackerConfiguration configuration = new TrackerConfiguration()	.openLog(true)	.setUploadCategory(Constants.UPLOAD_CATEGORY.REAL_TIME.getValue())	.setConfigUrl("http://m.baidu.com") // 埋点配置信息的URL	.setHostName("127.0.0.1")   // 接收实时埋点数据的IP和端口	.setHostPort(10001)         	.setNewDeviceUrl("http://m.baidu.com")  // 保存新设备信息的URL	.setUploadUrl("http://m.baidu.com");    // 保存埋点数据的URLTracker.getInstance().init(this, configuration);复制代码

在发布版本之前，将上传策略设置成Constants.UPLOAD_CATEGORY.REAL_TIME收集埋点配置信息，APP上线时务必将数据上传策略改成其他的，避免耗电。

对于埋点数据的上传，提供了以下策略：

REAL_TIME(0),           // 实时传输，用于收集配置信息NEXT_LAUNCH(-1),        // 下次启动时上传NEXT_15_MINUTER(15),    // 每15分钟上传一次NEXT_30_MINUTER(30),    // 每30分钟上传一次NEXT_KNOWN_MINUTER(-1); // 使用服务器下发的上传策略（间隔时间由服务器决定）复制代码

说明

目前此SDK只集成了新设备信息，页面(Activity/Fragment)的停留事件，View的点击事件的统计，对于其他的交互事件还未集成，一些细节方面也还有待改进，随后会进一步完善。

背景